Test Storage Resource Manager per SC4 Giacinto Donvito Vincenzo Spinoso

Introduzione È importante cercare di capire se le funzioni necessarie per SC4 e per il lavoro di esperimento sono supportate e con che livello di affidabilità È importante cercare di capire se le funzioni necessarie per SC4 e per il lavoro di esperimento sono supportate e con che livello di affidabilità Il goal primario è quello di aiutare i tier2 ma alcuni parametri potrebbero essere utili anche al tier1 Il goal primario è quello di aiutare i tier2 ma alcuni parametri potrebbero essere utili anche al tier1 È importante prendere in considerazione tutti gli aspetti dei software (da ordinare in funzione della priorità che si vuole dare): È importante prendere in considerazione tutti gli aspetti dei software (da ordinare in funzione della priorità che si vuole dare): Funzionalità baseFunzionalità base PerformancePerformance Stabilità operativaStabilità operativa SupportoSupporto Possibilità di sviluppi futuriPossibilità di sviluppi futuri Funzionalità avanzateFunzionalità avanzate La valutazione dei sistemi deve tenere in considerazione ognuno di questi aspetti La valutazione dei sistemi deve tenere in considerazione ognuno di questi aspetti

Modalità di test Primo livello di test, da farsi in qualsiasi sito (tier2): Primo livello di test, da farsi in qualsiasi sito (tier2): Sono importanti test di installazione (per valutarne la facilità)Sono importanti test di installazione (per valutarne la facilità) Vanno fatti test per coprire le funzionalità di baseVanno fatti test per coprire le funzionalità di base Alcuni test sulla stabilità operative in caso di failure simulateAlcuni test sulla stabilità operative in caso di failure simulate Secondo livello di test, da farsi nel testbed al CNAF: Secondo livello di test, da farsi nel testbed al CNAF: Test di performance alla scala di un futuro Tier2Test di performance alla scala di un futuro Tier2 Sia con programmi contruiti ad arte per “stressare il sistema”, sia con applicazioni reali dei 4 esperimenti Sia con programmi contruiti ad arte per “stressare il sistema”, sia con applicazioni reali dei 4 esperimenti Test di failure in condizioni di elevato “stress”Test di failure in condizioni di elevato “stress” Test di funzionalità avanzateTest di funzionalità avanzate Terzo livello di test, esperienze di SC3 Terzo livello di test, esperienze di SC3 Problemi nell’uso quotidianoProblemi nell’uso quotidiano Performance e feedbackPerformance e feedback

Test di primo livello Sarebbe necessario procedere in parallelo su più sedi ai test sui vari sistemi: DPM, dCache, StoRM(??), DRM (??) Installare il software con le indicazioni fornite (guide ufficiali più note sul WIKI) Installare il software con le indicazioni fornite (guide ufficiali più note sul WIKI) Fornire feedback e/o ulteriori suggerimenti per rendere il più semplice possibile il lavoro dei tier2 durante SC4Fornire feedback e/o ulteriori suggerimenti per rendere il più semplice possibile il lavoro dei tier2 durante SC4 Effettuare test di fuzionalità di base per verificare l’installazione Effettuare test di fuzionalità di base per verificare l’installazione Verrà fornito uno script con pochi test di base da runnare su una UI LCGVerrà fornito uno script con pochi test di base da runnare su una UI LCG Effettuare i test di funzionalità richieste da SC4 Effettuare i test di funzionalità richieste da SC4 Verrà fornito uno script per rendere quando più automatica possibile la proceduraVerrà fornito uno script per rendere quando più automatica possibile la procedura Effettuare test di performance e di stress Effettuare test di performance e di stress Verrà usato un client in C scritto ad hoc da eseguire sui WN per evideziare eventuali problemi di scala della configurazione hardware/softwareVerrà usato un client in C scritto ad hoc da eseguire sui WN per evideziare eventuali problemi di scala della configurazione hardware/software Effettuare test con applicativi reali? Effettuare test con applicativi reali? Secondo noi questo step andrebbe approntato solo al CNAFSecondo noi questo step andrebbe approntato solo al CNAF Effettuare dei test di integrazione con il DBII di sito Effettuare dei test di integrazione con il DBII di sito

Test di secondo livello Concentrare i test sulle performance e sull’affidabilità per failure o per “stress” operativo. Alcuni test su funzionalità avanzate che possono risultare utili in un grosso Tier2 o al Tier1 Motivi: Scalare di un ordine di grandezza la quantità di storage gestito Scalare di un ordine di grandezza la quantità di storage gestito Raggiungere configurazioni hardware (rete e numero di WN) difficilmente raggiungibili in un attuale Tier2 Raggiungere configurazioni hardware (rete e numero di WN) difficilmente raggiungibili in un attuale Tier2Metodi: Usare il programma di benchmark costruito ad-hoc Usare il programma di benchmark costruito ad-hoc Usare software e job di esperimento per simulare l’uso reale Usare software e job di esperimento per simulare l’uso reale Simulare l’accesso via SRM (per provare che il sistema può essere in grado di gestire la mole di lavoro necessaria a fornire i 20 MB/sec per ogni tier2 necessari per SC4) Simulare l’accesso via SRM (per provare che il sistema può essere in grado di gestire la mole di lavoro necessaria a fornire i 20 MB/sec per ogni tier2 necessari per SC4)

Test di secondo livello (2) Configurazione Hardware necessaria: Server: 2 o 3 disc-server con circa 6-8 terabyte 2 o 3 disc-server con circa 6-8 terabyte 1 admin node (no spazio disco, CPU >1GHz e RAM >1GB) 1 admin node (no spazio disco, CPU >1GHz e RAM >1GB) Interfacce di rete gigabit ethernet Interfacce di rete gigabit ethernetClient: Almeno 30 client Almeno 30 client Interfaccia 100Mbit Interfaccia 100Mbit Nessun requirement particolare per CPU e RAM Nessun requirement particolare per CPU e RAM

Test di secondo livello Concentrare i test sulle performance e sull’affidabilità per failure o per “stress” operativo. Alcuni test su funzionalità avanzate che possono risultare utili in un grosso Tier2 o al Tier1 Motivi: Scalare di un ordine di grandezza la quantità di storage gestito Scalare di un ordine di grandezza la quantità di storage gestito Raggiungere configurazioni hardware (rete e numero di WN) difficilmente raggiungibili in un attuale Tier2 Raggiungere configurazioni hardware (rete e numero di WN) difficilmente raggiungibili in un attuale Tier2Metodi: Usare il programma di benchmark costruito ad-hoc Usare il programma di benchmark costruito ad-hoc Usare software e job di esperimento per simulare l’uso reale Usare software e job di esperimento per simulare l’uso reale Simulare l’accesso via SRM (per provare che il sistema può essere in grado di gestire la mole di lavoro necessaria a fornire i 20 MB/sec per ogni tier2 necessari per SC4) Simulare l’accesso via SRM (per provare che il sistema può essere in grado di gestire la mole di lavoro necessaria a fornire i 20 MB/sec per ogni tier2 necessari per SC4)

Test di secondo livello Concentrare i test sulle performance e sull’affidabilità per failure o per “stress” operativo. Alcuni test su funzionalità avanzate che possono risultare utili in un grosso Tier2 o al Tier1 Motivi: Scalare di un ordine di grandezza la quantità di storage gestito Scalare di un ordine di grandezza la quantità di storage gestito Raggiungere configurazioni hardware (rete e numero di WN) difficilmente raggiungibili in un attuale Tier2 Raggiungere configurazioni hardware (rete e numero di WN) difficilmente raggiungibili in un attuale Tier2Metodi: Usare il programma di benchmark costruito ad-hoc Usare il programma di benchmark costruito ad-hoc Usare software e job di esperimento per simulare l’uso reale Usare software e job di esperimento per simulare l’uso reale Simulare l’accesso via SRM (per provare che il sistema può essere in grado di gestire la mole di lavoro necessaria a fornire i 20 MB/sec per ogni tier2 necessari per SC4) Simulare l’accesso via SRM (per provare che il sistema può essere in grado di gestire la mole di lavoro necessaria a fornire i 20 MB/sec per ogni tier2 necessari per SC4)

Test di terzo livello In Italia pochi siti hanno fatto esperienza con i sistemi di SRM in produzione. Questa esperienza è fondamentale e va raccolta. Casi Noti: Bari: SC3 CMS Bari: SC3 CMS Usato dCache come sistema di produzione (File trasferiti, job girati)Usato dCache come sistema di produzione (File trasferiti, job girati) LNL: SC3 CMS LNL: SC3 CMS Usato DPM in produzione (molti problemi incontrati)Usato DPM in produzione (molti problemi incontrati) Torino: SC3 ALICE Torino: SC3 ALICE Usato dCache (NO NEWS)Usato dCache (NO NEWS) Milano: SC3 Atlas Milano: SC3 Atlas Usato DPM (NO NEWS)Usato DPM (NO NEWS) …

Alcuni dettagli DPM Esperienza precedente: Promette di essere un buon compromesso fra facilità di uso e funzionalità Promette di essere un buon compromesso fra facilità di uso e funzionalità Pensato espressamente per i Tier2 Pensato espressamente per i Tier2 Stabilità operativa non sempre a “production level” Stabilità operativa non sempre a “production level” Buon supporto Buon supporto Ancora problemi nell’uso in produzione Ancora problemi nell’uso in produzione Previsti ottimi sviluppi Previsti ottimi sviluppi Elevata velocità ed “efficienza” sull’accesso locale Elevata velocità ed “efficienza” sull’accesso locale Scalabilità da verificare Scalabilità da verificare Attualmente poche funzionalità avanzate Attualmente poche funzionalità avanzate Piani chiari per il supporto a SC4 Piani chiari per il supporto a SC4

Alcuni dettagli (2) dCache Esperienza precedente: Non semplice da gestire Non semplice da gestire Supporto non sempre puntuale Supporto non sempre puntuale Piani non chiari per il supporto a SC4 Piani non chiari per il supporto a SC4 Ottima scalabilità Ottima scalabilità Bassa efficienza per accesso locale Bassa efficienza per accesso locale Stabilità operativa ben provata Stabilità operativa ben provata Funzionalità avanzate utili per i siti più grandi Funzionalità avanzate utili per i siti più grandi …

Alcuni dettagli (3) DPM TO DO: Testing della release Testing della release Funzionalità di baseFunzionalità di base Stabilità Stabilità Funzionalità di SRMv2.1 per SC4Funzionalità di SRMv2.1 per SC4 Quelle più importanti sono dichiarate implementate Quelle più importanti sono dichiarate implementate Accesso localeAccesso locale con Bench con Bench con job reali con job reali ScalabilitàScalabilità Potrà gestire 100 Tb ?? Potrà gestire 100 Tb ?? Interoperabilità con altri SRM e altri servizi di GRID/SC4Interoperabilità con altri SRM e altri servizi di GRID/SC4 FTS FTS …

Alcuni dettagli (4) dCache TO DO: Testing della release Testing della release Funzionalità di baseFunzionalità di base Fix di alcuni problemi evidenziati in SC3 Fix di alcuni problemi evidenziati in SC3 Funzionalità di SRMv2.1 per SC4 ??Funzionalità di SRMv2.1 per SC4 ?? Non è ufficialmente supportato SRMv2.1 Non è ufficialmente supportato SRMv2.1 Non ci è stata comunicata la possibilità di testare versioni di sviluppo (anche se sembrano esistere) Non ci è stata comunicata la possibilità di testare versioni di sviluppo (anche se sembrano esistere) Accesso locale (con Bench e con job reali)Accesso locale (con Bench e con job reali) Sembra che anche a FNAL l’efficienza di CPU non vada oltre il 50% Sembra che anche a FNAL l’efficienza di CPU non vada oltre il 50% ScalabilitàScalabilità Potrebbe essere una scelta per il tier1?? Potrebbe essere una scelta per il tier1?? Interoperabilità con altri SRM e altri servizi di GRID/SC4Interoperabilità con altri SRM e altri servizi di GRID/SC4 FTS FTS …

Alcuni dettagli (5) StoRM TO DO: Testing della prima release Testing della prima release Funzionalità di baseFunzionalità di base Quali sono già implementate? Quali sono già implementate? Quanto sono stabili? Quanto sono stabili? Funzionalità di SRMv2.1 per SC4 ??Funzionalità di SRMv2.1 per SC4 ?? Dovrebbe supportare SRMv2.1 quindi non ci dovrebbero essere problemi Dovrebbe supportare SRMv2.1 quindi non ci dovrebbero essere problemi Accesso locale (con Bench e con job reali)Accesso locale (con Bench e con job reali) Dovrebbero essere il linea con quelle di GPFS Dovrebbero essere il linea con quelle di GPFS ScalabilitàScalabilità Potrebbe essere una scelta per il tier1? Potrebbe essere una scelta per il tier1? Interoperabilità con altri SRM e altri servizi di GRID/SC4Interoperabilità con altri SRM e altri servizi di GRID/SC4 FTS FTS …

Alcuni dettagli (6) DRMOverview: Interfaccia SRM verso un file-system standard Interfaccia SRM verso un file-system standard Fully compliance con SRMv2.1 Fully compliance con SRMv2.1 Può essere una scelta per i siti con piccole esigenze di storage (per sostituire i classicSE) Può essere una scelta per i siti con piccole esigenze di storage (per sostituire i classicSE) Molto utile per testare gli altri SRM Molto utile per testare gli altri SRM Non sono necessari test specifici e intensivi Non sono necessari test specifici e intensivi

Test Pianificati rage/TestSuite.html rage/TestSuite.html rage/TestSuite.html rage/TestSuite.html

Advanced Test dCache Replica temporanea dei file in base al costo di accesso Replica temporanea dei file in base al costo di accesso Uso dei WN per bilanciare il carico Uso dei WN per bilanciare il carico vacating formatting and reusing a pool vacating formatting and reusing a pool Use a very large file-limit (for dcap local access) Use a very large file-limit (for dcap local access) use a very large login limit (in the gridftp/dcap-door) use a very large login limit (in the gridftp/dcap-door) "Hybrid" dCache replicaManger "Hybrid" dCache replicaManger

Conclusioni Molto lavoro da fare in poco tempo Molto lavoro da fare in poco tempo Scadenza stretta anche per gli stessi sviluppatori del software Scadenza stretta anche per gli stessi sviluppatori del software Fondamentale il supporto del tier1 Fondamentale il supporto del tier1 Importante la partecipazione di altri Tier2 Importante la partecipazione di altri Tier2 E’ necessaria una partecipazione degli esperimenti per avere il software che poi verrà usato in SC4 e uno schema del modello di computing che verrà usato E’ necessaria una partecipazione degli esperimenti per avere il software che poi verrà usato in SC4 e uno schema del modello di computing che verrà usato