Performance measuring

[Rajnus]

Poz,

zanima me kako izmjeriti odnosno prikazati nekim konacnim brojem koliko se
bolje neka aplikacija vrti na raznim strojevima.

Meni zapravo treba neka metrika. Googlam pa nisam nista konkretno nasao,
osim pustih teorija kako testirati performance.

Ne znam jesam li bio dovoljno jasan. NIje dovoljno razlicite konfiguracije
opteretriti istim load-om i mjeriti cpu, mem, i/o jer manje opterecenju na
CPU ne znaci da je taj stroj utoliko i brzi.

Bavi li se itko na ovdje performance testingom?

[zetor]

Post by Rajnus
Poz,
zanima me kako izmjeriti odnosno prikazati nekim konacnim brojem koliko
se bolje neka aplikacija vrti na raznim strojevima.
Meni zapravo treba neka metrika. Googlam pa nisam nista konkretno nasao,
osim pustih teorija kako testirati performance.
Ne znam jesam li bio dovoljno jasan. NIje dovoljno razlicite
konfiguracije opteretriti istim load-om i mjeriti cpu, mem, i/o jer
manje opterecenju na CPU ne znaci da je taj stroj utoliko i brzi.
Bavi li se itko na ovdje performance testingom?

Kolega, zavrsni rad se radi samostalno :)

[Rajnus]

Post by zetor
Kolega, zavrsni rad se radi samostalno :)

Ne kuzim primjedbu...

[Zeljko Vrba]

Post by Rajnus
zanima me kako izmjeriti odnosno prikazati nekim konacnim brojem koliko se
bolje neka aplikacija vrti na raznim strojevima.

http://www.cse.wustl.edu/~jain/books/perfbook.htm

Post by Rajnus
Ne znam jesam li bio dovoljno jasan. NIje dovoljno razlicite konfiguracije
opteretriti istim load-om i mjeriti cpu, mem, i/o jer manje opterecenju na
CPU ne znaci da je taj stroj utoliko i brzi.

Kaj fali metodi da mjeris ukupno vrijeme (real time, wall-clock time) od starta
do zavrsetka programa? Izvrti eksperiment u identicnim uvjetima na svakoj
masini N (pozeljno N >= 10) puta uzastopno, nadji 95%-tne intervale pouzdanosti
i to je to. Ako se intervali preklapaju, ne mozes zakljuciti da je jedan stroj
brzi od drugog, inace je brzi onaj sa manjom srednjom vrijednosti vremena
izvrsavanja. U ovom kontekstu "brzi" znaci brzi za izvrsavanje testirane
aplikacije na danom stroju u danim uvjetima (kombinacija OS-a, background
servisa, itd..).

[Rajnus]

Post by Zeljko Vrba
Kaj fali metodi da mjeris ukupno vrijeme (real time, wall-clock time) od starta
do zavrsetka programa?  Izvrti eksperiment u identicnim uvjetima na svakoj
masini N (pozeljno N >= 10) puta uzastopno, nadji 95%-tne intervale pouzdanosti
i to je to.  Ako se intervali preklapaju, ne mozes zakljuciti da je jedan stroj
brzi od drugog, inace je brzi onaj sa manjom srednjom vrijednosti vremena
izvrsavanja.  U ovom kontekstu "brzi" znaci brzi za izvrsavanje testirane
aplikacije na danom stroju u danim uvjetima (kombinacija OS-a, background
servisa, itd..).  

Mislis da sa time mogu dobiti ovakve rezulte?

http://www.spec.org/jAppServer2004/results/jAppServer2004.html


Meni konkretno treba za J2EEE AS

[Zeljko Vrba]

Post by Rajnus
Mislis da sa time mogu dobiti ovakve rezulte?

Kakve "ovakve"? Jedino sto rezultati prikazuju je average/max/90-ti
percentile, ostalo su postavke benchmarka. Fali jedino standardna
devijacija.

Post by Rajnus
Meni konkretno treba za J2EEE AS

Kakve to veze ima s tvojim originalnim pitanjem?

[Rajnus]

Post by Rajnus
Mislis da sa time mogu dobiti ovakve rezulte?

Kakve "ovakve"?  Jedino sto rezultati prikazuju je average/max/90-ti
percentile, ostalo su postavke benchmarka.  Fali jedino standardna
devijacija.

Post by Rajnus
Meni konkretno treba za J2EEE AS

Kakve to veze ima s tvojim originalnim pitanjem?

Meni ima... nije bitno, txn any way na prijasnjem savjetu...