1 Introduzione Necessità Misura delle prestazioni affidabili per sistemi di calcolo sempre più vari ed applicazioni evolute Definizione di insieme di programmi di test e modalità di analisi comparativa Necessità di simulare il reale ambiente di utilizzo

2 Toy benchmark Nuclei (kernel) Benchmark sintetici Programmi reali e suite I programmi benchmark

3 Confronto prestazioni Programma macchina 11totale A B C20 40 Per il programma 1 B è il 100% più veloce di C Per il programma 2 C è il 400% più veloce di B Se non accuratamente ponderata, la scelta dei programmi di test può capovolgere i risultati dei confronti

4 Tempo totale di esecuzione Riassunto delle prestazioni relative alle varie macchine Tempo totale di esecuzione di tutti i programmi colonna totale della slide precedente La misura più semplice è la media aritmetica dei tempi di esecuzione, calcolata su tutti i programmi usati per le misure

5 Tempo pesato di esecuzione I programmi non sono tutti eseguiti lo stesso numero di volte Assegno un peso a ciascuno dei programmi Rappresenta la frequenza relativa del programma entro il carico di lavoro Tempo i : tempo di esecuzione del programma i-esimo n : numero di programmi che compongono il carico di lavoro

6 Altre medie Medie dei tempi di esecuzione normalizzati

7 Il progetto SPEC (Standard Performance Evaluation Corporation) –Il progetto SPEC, iniziato da oltre 10 anni, definisce: –Un insieme (suite) di programmi da usare per i test di differenti macchine –Un insieme di metriche –Un database di risultati contenente le analisi effettuate per i calcolatori commerciali più comuni

8 Il progetto SPEC: i sottocomitati CPU : SPECint, SPECfp, SPECrates,... JAVA e WEB: JVM98, JBB2000, WEB96, WEB99 Sistemi ad elevate prestazioni: The High-Performance Group (HPG) Grafica e multimedialità: The Graphics Performance Characterization Group (GPC) SPECmedia, SPECopcSPECmediaSPECopc

9 Le metriche SPEC Categorie Interi e in virgola mobile Compilazione standard ed ottimizzante Velocità rispetto a throughput Facile utilizzo dei risultati per i confronti la macchina è veloce è quella con il valore di SPEC più elevato. Molti risultati sono liberamente disponibili sul sito web Esistono altre iniziative analoghe di standardizzazione delle attività di analisi

10 Riepilogo I programmi usati per valutare le prove influenzano in maniera radicale lanalisi delle prestazioni Sono state proposte diverse modalità per comporre e mediare i tempi di esecuzione dei programmi usati per le misure Esistono iniziative importanti, come quella del gruppo SPEC, che hanno portato a notevoli standardizzazioni nel processo di misura delle prestazioni

11 Test di autovalutazione - 1 Il particolare programma scelto per confrontare due macchine può portare a risultati differenti a)Vero b)Falso

12 Test di autovalutazione - 2 –Due macchine A e B, hanno un valore dello SpecInt rispettivamente di 510 e 430. –La macchina B è la più veloce

13 Test di autovalutazione - 3 I programmi di test più piccoli, come i toy benchmark, sono i più adatti a misurare la valocità di esecuzione in quanto, essendo appunto brevi, vengono eseguti più velocemente