IV Corso di formazione INFN per amministratori di siti GRID Gestione degli incidenti di sicurezza in un sito Grid R. Brunetti INFN-Torino 7/8/20161

IV Corso di formazione INFN per amministratori di siti GRID Sommario 7/8/20162 Perche’ servono delle procedure ben definite Gestione degli incidenti Cose da fare subito Cose da fare con piu’ calma Procedura di incident response Forensic “grigliata” HowtoGestione delle vulnerabilita’

IV Corso di formazione INFN per amministratori di siti GRID Gestione degli incidenti 7/8/20163

IV Corso di formazione INFN per amministratori di siti GRID Importanza di una procedura di incident response 1.Evita di farci prendere dal panico 2.Aiuta a contenere l’incidente in modo piu’ efficiente 3.Permette agli altri di ottenere informazioni importanti (cruciale in un ambiente fortemente interconnesso come la Grid) 7/8/20164

IV Corso di formazione INFN per amministratori di siti GRID “Legislazione” Grid Site Operation Policy – “ You shall comply with the Grid incident response procedures regarding the notification of security incidents and where appropriate, shall restore access as soon as reasonably possible.” Grid Acceptable Use Policy – You shall immediately report any known or suspected security breach or misuse of the Grid or access credentials to the incident reporting locations specified by the Grid and to the relevant credential issuing authorities. 7/8/20165

IV Corso di formazione INFN per amministratori di siti GRID La procedura di Incident Response 7/8/20166

IV Corso di formazione INFN per amministratori di siti GRID Cosa e’ un incidente di sicurezza “A security incident is the act of violating an explicit or implied security policy (ex: local security policy, EGI Acceptable Use Policy).” Come ci accorgiamo di un incidente di sicurezza? – Comportamento anomalo di un calcolatore – Notifica da parte di un IDS – Notifica da parte di terzi 7/8/20167

IV Corso di formazione INFN per amministratori di siti GRID Cose da fare subito (entro 4 ore) 7/8/20168 Contenere il problemaInformare i responsabili della sicurezzaValutare la gravita’ e lo “scope”Avvisare la comunita’ Grid

IV Corso di formazione INFN per amministratori di siti GRID Contenere il problema Contenimento iniziale – Scollegare la macchina dalla rete e/o filtrarla – Eventualmente collegarla ad una rete privata isolata o tramite un cavo cross. NON SPEGNERE o REINSTALLARE IL CALCOLATORE 7/8/20169

IV Corso di formazione INFN per amministratori di siti GRID Informare i responsabili della sicurezza 7/8/201610

IV Corso di formazione INFN per amministratori di siti GRID Valutare la gravita’ e lo “scope” C’e’ ragionevole possibilita’ di root escalation? La macchina offre servizi con autenticazione? – Ha un suo certificato installato? La macchina serve piu’ utenti? – Ci sono certificati personali? (es. UI) La macchina fa parte di una farm Grid? – Si: che tipo di servizio offre? (WN,CE,SE…) – No: puo’ raggiungere la farm Grid locale? La macchina offre un servizio Grid di tipo “globale” (myproxy,WMS,File Catalog…)? Eseguire una prima valutazione Low – Medium – High risk 7/8/201611

IV Corso di formazione INFN per amministratori di siti GRID Avvisare la comunita’ Grid Il primo avviso deve essere inoltrato una volta accertato l’incidente e comunque entro 4 ore all’indirizzo: E’ stato proposto un template comune, per uniformare questo tipo di messaggi 7/8/ FIRMARE i MAIL

IV Corso di formazione INFN per amministratori di siti GRID Cosa includere nel primo mail (se possibile) Il vostro Nome, Cognome, , Telefono Indicazione temporale Indirizzo IP dell’host compromesso tipologia di calcolatore e OS Indirizzo IP dell’host sorgente dell’attacco o UI/WMS sorgente Evidenze dell’attacco Eventuali credenziali compromesse (Username,X509) 7/8/ Non perdere troppo tempo per recuperare tutte queste informazioni. Meglio avvisare subito del problema

IV Corso di formazione INFN per amministratori di siti GRID Avvisare il GARR-CERT Modulo on line per la segnalazione di un incidente – Procedura di incident response disponibile su: – Lista degli APM GARR: – 7/8/201614

IV Corso di formazione INFN per amministratori di siti GRID Cose da fare con piu’ calma (ma non troppa) 7/8/ Se necessario segnalare un downtime sul GOCSe necessario richiedere la revoca di credenziali compromesseKillare i job sospetti, bannare gli utenti sospetti ecc..Se necessario contattare i responsabili della VO di appartenenzaRecuperare il maggior numero di informazioni sull’incidente (forensic)Ripristinare il servizioPreparare e spedire un report finale di chiusura incidente

IV Corso di formazione INFN per amministratori di siti GRID Segnalare il downtime sul GOC Nel caso l’incidente richieda un arresto del/i servizio/i del sito (CE,SE,….) eseguire la procedura di downtime sul portale GOC – – Motivazione: “ Security operations in progress” 7/8/201616

IV Corso di formazione INFN per amministratori di siti GRID Richiesta di revoca di credenziali Nel caso si sospetti la compromissione di un certificato personale, procedere avvisando I responsabili della CA e chiedere la revoca. – pma.org/showca.p hp pma.org/showca.p hp 7/8/201617

IV Corso di formazione INFN per amministratori di siti GRID Avvisare i responsabili della VO Nel caso si sia richiesta la revoca di un certificato personale occorre avvisare anche i responsabili della/delle VO I contatti si trovano sul CIC Portal g/index.php?section= vo&page=homepag e g/index.php?section= vo&page=homepag e 7/8/201618

IV Corso di formazione INFN per amministratori di siti GRID Recuperare e fornire piu’ informazioni possibile Processi e/o eseguibili sospetti Rootkits Vulnerabilita’ sfruttate Azioni intraprese per contenere e/o risolvere il problema Responsabili, amministratori, contatti etc.. Inoltre: – Recuperare:  log files relativi ai servizi grid interessati dall’incidente  Log files di sistema (messages, secure, tomcat etc..) Per un periodo di almeno 3 mesi antecedenti l’incidente 7/8/201619

IV Corso di formazione INFN per amministratori di siti GRID Forensic “grigliata” 7/8/ /var/log/messages /opt/glite/var/log/glite-ce-cream.log /opt/glite/var/cream_sandbox/VO/DN /var/log/globus-gridftp.log CREAM CE /var/log/messages /var/log/globus-gatekeeper.log /var/log/globus-gridftp.log LCG CE Poi occorre collegarsi direttamente al WN per un’analisi piu’ dettagliata

IV Corso di formazione INFN per amministratori di siti GRID Forensic “grigliata” 7/8/ CREAM CE /opt/glite/var/log/glite-ce- cream.log DN utente MyProxy usato WMS IP addr Grid Job ID Lrms job ID e WN

IV Corso di formazione INFN per amministratori di siti GRID Forensic “grigliata” 7/8/ CREAM CE/opt/glite/var/cream_sandbox/VO/DNSandBoxExecutable Command line Job Wrapper

IV Corso di formazione INFN per amministratori di siti GRID Riferimenti utili 7/8/ Service Reference Cards EGEE/ServiceReferenceCards Contengono per ogni servizio una sezione dedicata alla security con Log files Porte TCP Istruzioni per il banning/unbanning degli utenti etc..

IV Corso di formazione INFN per amministratori di siti GRID Recuperare i contatti necessari 7/8/ dig –x whois Responsabili della rete Contatti di sicurezza Nazionalita’ Sul GOC si possono poi trovare I riferimenti al ROC Security Officer di competenza

IV Corso di formazione INFN per amministratori di siti GRID Chi amministra il nodo grid X? Sul portale GOC e’ possibile ricercare informazioni su un nodo grid. Utile per trovare gli amministratori di WMS, UI, CE, MYPROXY ecc.. 7/8/201625

IV Corso di formazione INFN per amministratori di siti GRID Comunicare i progressi Ad intervalli regolari mandare aggiornamenti circa i progressi fatti nell’analisi dell’incidente ed il ripristino dei servizi. 7/8/ Template disponibile Nella sezione WIKI di EGI-CSIRT

IV Corso di formazione INFN per amministratori di siti GRID Step finale: Report di chiusura incidente Timeline dell’incidenteRiassunto dell’accaduto Azioni intrapreseCosa abbiamo imparato Entro un mese 7/8/ site-security-

IV Corso di formazione INFN per amministratori di siti GRID Incident response flowchart 7/8/201628

IV Corso di formazione INFN per amministratori di siti GRID Gestione delle vulnerabilita’ 7/8/201629

IV Corso di formazione INFN per amministratori di siti GRID Gestione delle vulnerabilita’ Procedura generale di gestione delle vulnerabilita’ – In EGI-Inspire esiste un apposito gruppo che si occupa della gestione delle vulnerabiita’ del software rilasciato nell’ambito di UMD: Software Vulnerability Group (SVG) – L’analisi e la valutazione del rischio (Risk Assessment) porta a classificare le vulnerabilita’ in:  Low  Moderate  High  Critical – “When notified by the Grid of software patches and updates required for security and stability, you shall, as soon as reasonably possible in the circumstances, apply these to your systems. Other patches and updates should be applied following best practice. (Grid Site Operations Policy)” 7/8/201630

IV Corso di formazione INFN per amministratori di siti GRID Vulnerabilita’ Critiche Nel caso di vulnerabilita’ del SO, la valutazione della sua gravita’ viene fatta da EGI-CSIRT in collaborazione con il gruppo SVG  “A critical operating system vulnerably is considered a weakness in the software which could be exploited by either an unauthorized user to gain access to a system, or legitimate users to gain elevated privileges.” “It is worth noting that sites are responsible for their own security, CSIRT will advise and recommend on security matters and have the power to suspend sites from the infrastructure if they fail to apply critical security patches.” (Software Vulnerability Issue Handling Process) Se una vulnerabilita’ viene classificata critica, viene adottata una procedura che richiede di aggiornare i siti entro 7 giorni dalla data dell’annuncio – Criteri  Root escalation  Esistenza di un exploit pubblico  Facilita’ di esecuzione dell’exploit 7/8/201631

IV Corso di formazione INFN per amministratori di siti GRID Vulnerabilita’ Critiche E dopo i 7 giorni …?? – Il Security Duty Contact apre un ticket sul RT di EGI-CSIRT e notifica il sito e i ROC/NGI security officers – Se entro 24 ore non c’e’ risposta, viene scalata la cosa ai ROC/NGI managers – Dopo 48 ora dall’avviso EGI-CSIRT puo’ decidere di bannare il sito  Viene avvisato il ROC/NGI management  Viene coinvolto il COD/ROD per le procedure di banning … Fatto salvo che se esistono motivazioni forti per non upgradare, queste verranno valutate singolarmente. 7/8/201632

IV Corso di formazione INFN per amministratori di siti GRID Installazione dei Calcolatori E’ un aspetto correlato alla gestione delle vulnerabilita’ – Meno pacchetti e/o servizi inutili sono installati e meno si hanno problemi di vulnerabilita’  httpd  samba  X server – A volte non e’ facile rimuovere un pacchetto a causa delle dipendenze. – Suggerimenti, esempi di kickstart etc… sono ben accetti 7/8/ Su un worker node forse possono non essere installati

IV Corso di formazione INFN per amministratori di siti GRID Conclusioni Le risorse ed i servizi Grid sono e saranno inevitabilmente soggetti a problemi di sicurezza E’ importante avere una procedura chiara e comune per reagire in modo tempestivo, contenere gli incidenti e ripristinare i servizi Come ROC/NGI italiana adottiamo la procedura standard in uso nel progetto EGI Inspire (coinvolgendo anche il GARR-CERT) – Contenere il problema – Informare la comunita’ – Capire cosa e’ successo – Ripristinare i servizi La gestione delle vulnerabilita’ e’ un altro aspetto importante per il quale esistono procedure da conoscere e seguire 7/8/201634

IV Corso di formazione INFN per amministratori di siti GRID Riferimenti e documenti EGI Inspire Security Incident Response Procedure – on=11&filename=EGI-MS405-IRTF-47-V12.pdf on=11&filename=EGI-MS405-IRTF-47-V12.pdf EGI Inspire Vulnerability Issue Handling Process – on=11&filename=EGI-MS405-SVG-47-V12.pdf on=11&filename=EGI-MS405-SVG-47-V12.pdf GARR-CERT Incident Handling Procedure – Integrazione procedure EGI-GARR – 7/8/201635

IV Corso di formazione INFN per amministratori di siti GRID Domande 7/8/201636