Profiling Pompeo Faruolo

Profiling Tracciare il profilo del comportamentale di un PROCESSO in funzione delle risorse utilizzate Come il Sistema Operativo esegue il processo

RisorseConteggiate Tempo Cpu Memoria IO (file, stampanti, etc..) Canali di comunicazione

Profiling tradizionale Il campionamento dei tempi in ambiente Unix prende come riferimento il clock di sistema Command Shell sampling time Embedded source-level sampling times(…) getitimer(…)/setitimer(…)

time time [-apvV] [-f format] [-o file] [--append] [-- portability] [--verbose] [--format=format] [--output- file=file] [--version] command [arg...] time esegue command, ed alla fine dellesecuzione mostra le risorse utilizzate Conteggia le risorse solo del processo lanciato escludendo i figli

time: statistiche dei tempi Tempo reale trascorso tra linizio del processo fino alla sua terminazione Numero totale di secondi di CPU utilizzati dal processo(in user-mode) Numero totale di secondi di CPU utilizzati dal sistema per gestire il processo(in kernel-mode) Percentuale di uso di CPU %CPU = (UserTime + SystemTime) / RealTime

time: statistiche della memoria Memoria media utilizzita Massima memoria utilizzata Tagli media dei dati condvisi Taglia media dei dati non-condivisi Numero di page fault Numero di context switch

time: statistiche dellIO Numero di file system output aperti Numero di file system input aperti Numero di messaggi su socket inviati Numero di messaggi su socket ricevuti Numero di segnali ricevuti Valore di exit del processo

time: esempi Processo CPU intensive for( i=0; i< ; i++) ; Processo IO intensive for( i=0; i<20000; i++) printf("%d\n",i); Processo MIX for( i=0; i<5000; i++) { for( j=0; j<50000; j++); printf("%d\n",j); }

time: esempi CPUIOMIX User System Real %CPU97%5%61% Statistiche a macchina scarica

time: esempi CPUIOMIX User System Real %CPU49%1%38% Statistiche rilevate con un processo CPU intensive concorrente

time: esempi CPUIOMIX User System Real %CPU8%0%8% Statistiche rilevate con 10 processi CPU intensive concorrenti

Profiling a livello macchina Aumentiamo il grado di dettaglio delle statistiche rilevate Registriamo come una porzione di codice interagisce con larchitettura sottostante

Parametri rilevati Total cycles Total instructions Floating point operations Load/store instructions Cycles functional units are idle Cycles stalled waiting for memory access waiting for resource Conditional branch instructions executed Mispredicted Cache miss

Hardware Performance Counter Le moderne CPU integrano questo hardware dedicato per il conteggio dellavvenimento di un particolare evento Quando un particolare evento accade viene lanciato automaticamente un segnale che incrementa il relativo registro

Funzionamento hardware REGISTRI CONTATORI CACHE L1 CACHE L2 BUS CPU HPC

Gestione HPC HPC necessitano di driver aggiuntivi perché non supportati dai sistemi operativi Questi moduli aggiuntivi costituiscono il tramite tra lhardware e lutente

Performance API Lo scopo di PAPI è progettare, standardizzare e implementare una interfaccia indipendente dalla piattaforma per accedere agli HPC dei vari processori

Funzionamento software Java Monitor GUI PAPI Low Level PAPI High Level Hardware Performance Counter Operating System Kernel Extension PAPI Machine Dependent Substrate Machine Specific Layer Portable Layer

PAPI high level int PAPI_num_counters(void) int PAPI_start_counters(int *events, int array_len) int PAPI_read_counters(long long *values, int array_len) int PAPI_accum_counters(long long *values, int array_len) int PAPI_stop_counters(long long *values, int array_len)

Latenze della mamoria (indicative) CPU register: 0 cycles L1 cache hit: 2-3 cycles L1 cache miss satisfied by L2 cache hit: 8-12 cycles L2 cache miss satisfied from main memory, no TLB miss: cycles TLB miss requiring only reload of the TLB: ~2000 cycles TLB miss requiring reload of virtual page – page fault: hundreds of millions of cycles

Utilizzo HPC CPU design Monitorare politiche di scheduling di un SO Compilatori Profiling di algoritmi