Metodologie Quantitative per il Calcolo Scientifico

Presentazione sul tema: "Metodologie Quantitative per il Calcolo Scientifico"— Transcript della presentazione:

1 Metodologie Quantitative per il Calcolo Scientifico
Misurare: potenzialità, attività, efficienza Contabilizzare costi: globali, disaggregati, per unità. Corrente (+ Ammort. [inv.], Consumi, Manutenzioni, FTE ecc.) Strategie di ottimizzazione Programmazione Valutazione “commesse” 08/05/2018 Alberto Ciampa: Calcolo Scientifico

2 Un esempio: Survey Pisa
Chiesta dal Direttore di Sezione Spazio RACK: 34 rack, di cui 33 da 42U ed uno da 48U Corrente elettrica installata: 1380A+450A(cop.) = 317.4KW KW(cop.) Corrente impiegata (media): 602A + 228A (cop.) = 138.5KW KW (cop.) = 43.6%, 50.6% (cop.) Condizionamento: 235 KW Impiegato (media): 145 KW = 61.7% Potenziale massima: 315 KW LAN: 900 * 1GbE + 40 * 10 GbE WAN: 1 Gb/s GRID Mb/s Sez. 08/05/2018 Alberto Ciampa: Calcolo Scientifico

3 Survey: Calcolo Scientifico, 1/6/08-31/5/09
Core di calcolo: 1567 = (GRID) (Farm Esperimento) Potenza di calcolo: 2.35MSI2k Core di infrastruttura per Calcolo Scientifico: 98 (GRID+dCache+GPFS) Capacità di storage: 300TB lordi Potenzialità massima: core + 1 PB storage (quad core, 1 TB disk) GRID GRID day-core: pari a 962 anni-core. % di utilizzo: 86% (efficienza generale), 75% (eff. Specifica)=65% (totale) Corrente utilizzata (lordo): KW Consumo di corrente per day-core (lordo): 3.44 KWh Farm di esperimento Farm di esperimento day-core: , pari a 185 anni core. % di utilizzo: 33% (efficienza generale + Specifica) Corrente utilizzata (lordo): 29.2 KW Consumo di corrente per day-core (lordo): KWh 08/05/2018 Alberto Ciampa: Calcolo Scientifico

4 Alberto Ciampa: Calcolo Scientifico
GRID vs Farm 08/05/2018 Alberto Ciampa: Calcolo Scientifico

5 Alberto Ciampa: Calcolo Scientifico
Esempi utilizzo farm 21 core 3.741 d/core, 49% 18 core 3 d/core, 0% 08/05/2018 Alberto Ciampa: Calcolo Scientifico

6 Accenni sulla metodologia
Il calcolo Scientifico come Produzione Non è, in generale, importante il singolo pezzo, ma il flusso di produzione La qualità del sistema è data dal livello di produzione e dalla sua efficienza: Generale = % utilizzo impianti Specifica = % efficienza nell’utilizzo Salvo in casi importanti non entriamo nel merito di cosa si produce, ma come si produce: quanto e come vengono usati gli impianti Si può, ed è indispensabile, misurare il costo di produzione, in generale e per le diverse “linee di produzione” (gruppi di utenti): Corrente, ammortamenti, consumi, manutenzioni, FTE Si può, e si deve essere pronti ad accettare “commesse” sia interne (istituzionali, obbligatorie), che esterne Non copre tutto (interattivo, T3, alcune Farm)  Virtualizzazione? 08/05/2018 Alberto Ciampa: Calcolo Scientifico

7 Il Calcolo Scientifico
Contesto GRID (wn, middleware, SRM), Farm e cluster di esperimento o di Gruppo Storage per le attività sopra elencate (+ disk server, SAN, Switch FC ecc.) LAN di sala (per CS), WAN dedicata al CS Paradigmi di utilizzo GRID: solo batch (LSF), risorse condivise tra le VO, assegnazione dinamica col # di richieste (“fair-share”), accounting effettivo (con efficienza generale) Farm/Cluster di esperimento: titolare può accedervi come preferisce, risorse riservate, accounting per allocazione statica e non utilizzo Utenti GRID: tutte le VO riconosciute da INFN-GRID, fair-share “di ingresso”, assistenza (success job, efficienza) Farm/Cluster: validi motivi, accounting con servizi (rack, reti, reti veloci, ecc.), hosting “esterni” 08/05/2018 Alberto Ciampa: Calcolo Scientifico

8 Metodologie Quantitative
Risorse Globali (% tra CS e Servizi): spazio, elettricità, condizionamento, reti, Servizi* * Servizi comuni (DNS, DHCP, Auth*, storage misto, ecc.) CS: Server, Storage (resto in % con eccezioni) Dati: LSFMON (GRID), Ganglia (Farm) Misure: LSFMON: (#core, #job, #queued) solo media,  VO (#job, walltime, CPUtime) solo , #CPU (Docet?) Integrali? Ganglia:  Farm ( Server (#core, %SIWUN)) con media Calcolati integrali: non banale ConsumoCPU = (CorrenteSala + Cop.)/ (CPUProd + CPUServ) Consumo vs prestazioni – CPU vs Core 08/05/2018 Alberto Ciampa: Calcolo Scientifico

9 Alberto Ciampa: Calcolo Scientifico
Metodologie: GRID Account t di core allocato ad una VO (walltime), indipendentemente dall’esito, no account se jobslot vuoto, account t SIW+UN (lordo efficienza specifica) Efficienza Generale: 100(1-∫coreliberi / ∫core) ≈ 100(1- mean(coreliberi)/mean(core)) ConsumoGRID = ConsumoCPU∙∫CPUGRID ≈ ConsumoCPU∙mean(CPUGRID) ≈ ConsumoCPU∙mean(coreGRID)∙k Consumo/Day-Core = ConsumoGRID/∫(core-coreliberi) ≈ ConsumoGRID/(mean(core) – mean(coreliberi)) Efficienza = (Efficienza Generale)∙(Efficienza Specifica)* * CPUtime/Walltime, sia globale che disaggregato VO 08/05/2018 Alberto Ciampa: Calcolo Scientifico

10 Alberto Ciampa: Calcolo Scientifico
Metodologie: Farm Costo totale indipendente dal livello di utilizzo (no efficienza specifica) = sempre allocato Efficienza Generale: 100(∫coreUN / ∫core) ConsumoFarm = ConsumoCPU∙∫CPUFarm Consumo/Day-Core = ConsumoFarm/∫CoreFarmOccupati Efficienza = (day-core working)/(day-core allocati) = ∫(#core∙%UN)/∫#core * * sia globale che disaggregato per Farm 08/05/2018 Alberto Ciampa: Calcolo Scientifico