A.Fanfani - C.Grandi CMS Bologna 10 febbraio 2009 La nuova farm di CMS Bologna al CNAF Alessandra Fanfani Claudio Grandi

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 2 Hardware farm Acquisti 2008: –Storage: Sistema Proware EPICa EP-3169S-F4S3 con doppio controller Fibre Channel ognuno 2*4Gbps, 1GB cache/controller, 16 dischi SATA-II da 1 TB; 13248,00 IVA inclusa –CPU: 2 lame HP Blade Server BL460c con 2 CPU quad- core Intel Xeon E5430, 2.66 GHz,, 16 GB RAM, 1 disco SAS 73 GB; 5644,80 IVA inclusa –Schede HBA: 1 Qlogic QLA2462 (2*4 Gbps); 816,00 IVA inclusa. Inoltre 1 Qlogic QLA 2340 (1*2 Gbps) in prestito da Legnaro Esistente: –CPU: 3 workstation 1U SUN FIRE V20Z con 2 CPU AMD Opteron 252, 2.6 GHz, 4 GB RAM, 2 dischi SCSI 73 GB

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 3 Configurazione farm bo.infn.it cmsbo01cmsbo02cmsbo03cmsbo04cmsbo05 storage 16 TB 2 Gbps Fibre Ch. LAN cnaf.infn.it 1 Gbps ethernet nuove lame ospitate nellenclosure di ATLAS vecchie sun dalla farm attuale 2*4Gbps Fibre Ch. accesso alla rete del cnaf tramite la back- door (senza firewall) stand-by (subentr a in caso di problemi) active Front-end Storage User Interface Punto daccesso alle risorse Grid Analisi locale Login interattivo

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 4 Riassunto NodoHardwareSoftwareStato cmsbo01 SUN FIRE V20Z dual-AMD Opteron single core SLC4 32-bit Storage front-end Attivo cmsbo02 SUN FIRE V20Z dual-AMD Opteron single core SLC4 32-bit Storage front-end Attivo cmsbo03 SUN FIRE V20Z dual-AMD Opteron single core SLC4 32-bit (?) User Interface Ancora sulla farm vecchia cmsbo04 HP Blade Server BL460c dual-Intel Xeon quad-core SLC4 64-bit User Interface Attivo cmsbo05 HP Blade Server BL460c dual-Intel Xeon quad-core SLC4 64-bit User Interface Attivo

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 5 Configurazione dischi 16 TB (raw) configurati in un unico volume da 12 TB (netti) in RAID-6 con un disco hot-swap –supporta la rottura contemporanea di due dischi e il recover automatico in caso di rottura di un disco 12 TB suddivisi in 6 partizioni logiche da 2 TB Al momento 3 partizioni sono attive: 1./data: dati (area senza backup) 2./gw_share: home directories e software 3.backup delle home (attualmente della farm vecchia) visibile solo da cmsbo01/2, quindi non accessibile agli utenti Le altre partizioni possono essere aggiunte a ciascuna delle 3 in base alle esigenze –quando si aggiunge alla home (2) si deve aggiungere anche alla partizione di backup (3), quindi bisogna cercare di usare /data (1) quando possibile

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 6 Migrazione Grazie alla back-door non ci sono problemi di firewall. Partendo da macchine in bo.infn.it ssh –Y cmsbo04.cnaf.infn.it vi fa avere il display sulla vostra macchina come di solito [Partendo da altri domini occorre passare da lnxbo.bo.infn.it] Le home directories sulla nuova farm sono congelate al 28/1/2009. E necessario sincronizzarle con quelle della vecchia farm per tutti lo stesso giorno, altrimenti diventa un delirio... –Una volta terminati configurazione e setup finale dello storage (un paio di settimane) ci sarà da decidere quando fare la migrazione –La migrazione comporterà inaccessiblità della farm per una giornata Account di persone che non lavorano piu nel gruppo saranno rimossi e gli account di persone del gruppo che non si collegano da anni avranno login disabilitato di default

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 7 Migrazione: CMSSW Dopo la migrazione ognuno dovra ricrearsi le proprie aree CMSSW perche i path fisici sono cambiati mv CMSSW_X_Y_Z OLDCMSSW_X_Y_Z scramv1 project CMSSW CMSSW_X_Y_Z cp –r OLDCMSSW_X_Y_Z/src CMSSW_X_Y_Z/src/. cd CMSSW_X_Y_Z/src cmsenv scramv1 b Al momento sono installate: –CMSSW_2_0_12 –CMSSW_2_1_9 –CMSSW_2_2_1, CMSSW_2_2_3, CMSSW_2_2_4 –Non saranno installate releases precedenti come CMSSW_1_8-* e CMSSW_1_6-*, a meno che non ne sia fatta esplicita richiesta

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 8 Come si può usare la Farm Copiare un file di dati –Usare FileMover per copiarloFileMover Testare/debuggare il proprio codice in locale Sottomettere jobs su Grid con CRAB per analizzare tutta la statistica dei dataset di interesse –È necessario un certificato Grid Recuperare i propri istogrammi o ntuple prodotte in Grid, analizzarle (interattivamente) con ROOT e condividerle con altri utenti del gruppo –se gli output prodotti sono ciascuno decine di MB si possono copiare direttamente sulla farm (via CRABServer) –se gli output prodotti sono grandi O(1GB) andranno copiati dai job sullo Storage Element di Legnaro

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 9 Perchè usare la farm Perchè avete spazio per immagazzinare i vostri output e per le vostre aree di lavoro Perchè potete analizzare interattivamente i vostri output o piccole frazioni di dati Perchè non funzionerà laccesso di tutti alla CAF ed è meglio imparare prima che poi ad utilizzare le risorse disponibili Perchè in base allesperienza di utilizzo si potranno identificare le reali esigenze del gruppo di Bologna e fare evolvere la farm secondo le necessità

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 10 Storage Element e PhEDEx Possibilità di far diventare lo storage uno Storage Element Grid Funzionalità di uno Storage Element per un utente –Copiarci direttemente loutput dai job Grid –Installarci PhEDEx per copiare moli di dati da altri siti Le competenze ci sono ma costano....si aggiungono solo le funzionalità realmente utilizzate

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 11 Prospettive Sito INFN-Bologna in Grid –In comune con gli altri esperimenti –Sito Grid a tutti gli effetti (Tier-3++) Con CPUs e con Storage Element Grid –Finanziata in gran parte dallUniversità –Quasi sicuramente non attiva fino allinizio del 2010 Indipendentemente dalla creazione del sito come gruppo di Bologna abbiamo bisogno di mantenere un pool di macchine per il login-interattivo e lanalisi locale –Prevediamo nel 2009 di avere bisogno di altro spazio? Il costo di una espansione con 16 dischi da 1 TB da collegare allo storage (max 4 espansioni) e di 6684,00 IVA inclusa (prezzo estate 2008, ora sara sicuramente meno) –Finche non avremo il sito Grid avremo comunque bisogno di uno Storage Element? Dipende se cè realmente un uso massiccio della farm e se questa funzionalità diventa rilevante.

A.Fanfani - C.Grandi 10 febbraio 2009 CMS Bologna 12 Supporto Andrea Paolucci del servizio di calcolo per la sistemistica Alessandra Fanfani e Claudio Grandi per il software (CMS e UI) Daniele Bonacorsi per un eventuale StorageElement e Phedex Un giovane volonteroso non guasterebbe...