1 Introduzione Necessità Misura delle prestazioni affidabili per sistemi di calcolo sempre più vari ed applicazioni evolute Definizione di insieme di programmi.

Presentazione sul tema: "1 Introduzione Necessità Misura delle prestazioni affidabili per sistemi di calcolo sempre più vari ed applicazioni evolute Definizione di insieme di programmi."— Transcript della presentazione:

1 1 Introduzione Necessità Misura delle prestazioni affidabili per sistemi di calcolo sempre più vari ed applicazioni evolute Definizione di insieme di programmi di test e modalità di analisi comparativa Necessità di simulare il reale ambiente di utilizzo

2 2 Toy benchmark Nuclei (kernel) Benchmark sintetici Programmi reali e suite I programmi benchmark

3 3 Confronto prestazioni Programma macchina 11totale A110001001 B10100110 C20 40 Per il programma 1 B è il 100% più veloce di C Per il programma 2 C è il 400% più veloce di B Se non accuratamente ponderata, la scelta dei programmi di test può capovolgere i risultati dei confronti

4 4 Tempo totale di esecuzione Riassunto delle prestazioni relative alle varie macchine Tempo totale di esecuzione di tutti i programmi colonna totale della slide precedente La misura più semplice è la media aritmetica dei tempi di esecuzione, calcolata su tutti i programmi usati per le misure

5 5 Tempo pesato di esecuzione I programmi non sono tutti eseguiti lo stesso numero di volte Assegno un peso a ciascuno dei programmi Rappresenta la frequenza relativa del programma entro il carico di lavoro Tempo i : tempo di esecuzione del programma i-esimo n : numero di programmi che compongono il carico di lavoro

6 6 Altre medie Medie dei tempi di esecuzione normalizzati

7 7 Il progetto SPEC (Standard Performance Evaluation Corporation) –Il progetto SPEC, iniziato da oltre 10 anni, definisce: –Un insieme (suite) di programmi da usare per i test di differenti macchine –Un insieme di metriche –Un database di risultati contenente le analisi effettuate per i calcolatori commerciali più comuni

8 8 Il progetto SPEC: i sottocomitati CPU : SPECint, SPECfp, SPECrates,... JAVA e WEB: JVM98, JBB2000, WEB96, WEB99 Sistemi ad elevate prestazioni: The High-Performance Group (HPG) Grafica e multimedialità: The Graphics Performance Characterization Group (GPC) SPECmedia, SPECopcSPECmediaSPECopc

9 9 Le metriche SPEC Categorie Interi e in virgola mobile Compilazione standard ed ottimizzante Velocità rispetto a throughput Facile utilizzo dei risultati per i confronti la macchina è veloce è quella con il valore di SPEC più elevato. Molti risultati sono liberamente disponibili sul sito web www.spec.org www.spec.org Esistono altre iniziative analoghe di standardizzazione delle attività di analisi

10 10 Riepilogo I programmi usati per valutare le prove influenzano in maniera radicale lanalisi delle prestazioni Sono state proposte diverse modalità per comporre e mediare i tempi di esecuzione dei programmi usati per le misure Esistono iniziative importanti, come quella del gruppo SPEC, che hanno portato a notevoli standardizzazioni nel processo di misura delle prestazioni

11 11 Test di autovalutazione - 1 Il particolare programma scelto per confrontare due macchine può portare a risultati differenti a)Vero b)Falso

12 12 Test di autovalutazione - 2 –Due macchine A e B, hanno un valore dello SpecInt rispettivamente di 510 e 430. –La macchina B è la più veloce

13 13 Test di autovalutazione - 3 I programmi di test più piccoli, come i toy benchmark, sono i più adatti a misurare la valocità di esecuzione in quanto, essendo appunto brevi, vengono eseguti più velocemente