Www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Gestione degli incidenti di sicurezza in un sito Grid R. Brunetti INFN-Torino.

Presentazione sul tema: "Www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Gestione degli incidenti di sicurezza in un sito Grid R. Brunetti INFN-Torino."— Transcript della presentazione:

1 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Gestione degli incidenti di sicurezza in un sito Grid R. Brunetti INFN-Torino 7/8/20161

2 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Sommario 7/8/20162 Perche’ servono delle procedure ben definite Gestione degli incidenti Cose da fare subito Cose da fare con piu’ calma Procedura di incident response Forensic “grigliata” HowtoGestione delle vulnerabilita’

3 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Gestione degli incidenti 7/8/20163

4 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Importanza di una procedura di incident response 1.Evita di farci prendere dal panico 2.Aiuta a contenere l’incidente in modo piu’ efficiente 3.Permette agli altri di ottenere informazioni importanti (cruciale in un ambiente fortemente interconnesso come la Grid) 7/8/20164

5 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID “Legislazione” Grid Site Operation Policy – “ You shall comply with the Grid incident response procedures regarding the notification of security incidents and where appropriate, shall restore access as soon as reasonably possible.” Grid Acceptable Use Policy – You shall immediately report any known or suspected security breach or misuse of the Grid or access credentials to the incident reporting locations specified by the Grid and to the relevant credential issuing authorities. 7/8/20165

6 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID La procedura di Incident Response 7/8/20166

7 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Cosa e’ un incidente di sicurezza “A security incident is the act of violating an explicit or implied security policy (ex: local security policy, EGI Acceptable Use Policy).” Come ci accorgiamo di un incidente di sicurezza? – Comportamento anomalo di un calcolatore – Notifica da parte di un IDS – Notifica da parte di terzi 7/8/20167

8 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Cose da fare subito (entro 4 ore) 7/8/20168 Contenere il problemaInformare i responsabili della sicurezzaValutare la gravita’ e lo “scope”Avvisare la comunita’ Grid

9 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Contenere il problema Contenimento iniziale – Scollegare la macchina dalla rete e/o filtrarla – Eventualmente collegarla ad una rete privata isolata o tramite un cavo cross. NON SPEGNERE o REINSTALLARE IL CALCOLATORE 7/8/20169

10 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Informare i responsabili della sicurezza 7/8/201610

11 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Valutare la gravita’ e lo “scope” C’e’ ragionevole possibilita’ di root escalation? La macchina offre servizi con autenticazione? – Ha un suo certificato installato? La macchina serve piu’ utenti? – Ci sono certificati personali? (es. UI) La macchina fa parte di una farm Grid? – Si: che tipo di servizio offre? (WN,CE,SE…) – No: puo’ raggiungere la farm Grid locale? La macchina offre un servizio Grid di tipo “globale” (myproxy,WMS,File Catalog…)? Eseguire una prima valutazione Low – Medium – High risk 7/8/201611

12 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Avvisare la comunita’ Grid Il primo avviso deve essere inoltrato una volta accertato l’incidente e comunque entro 4 ore all’indirizzo: abuse@egi.eu E’ stato proposto un template comune, per uniformare questo tipo di messaggi https://wiki.egi.eu/wiki/EGI_CSIRT:Incident_reporting#Initial_HEADS-UP_message 7/8/201612 FIRMARE i MAIL

13 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Cosa includere nel primo mail (se possibile) Il vostro Nome, Cognome, E-mail, Telefono Indicazione temporale Indirizzo IP dell’host compromesso tipologia di calcolatore e OS Indirizzo IP dell’host sorgente dell’attacco o UI/WMS sorgente Evidenze dell’attacco Eventuali credenziali compromesse (Username,X509) 7/8/201613 Non perdere troppo tempo per recuperare tutte queste informazioni. Meglio avvisare subito del problema

14 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Avvisare il GARR-CERT Modulo on line per la segnalazione di un incidente – http://www.cert.garr.it/incident-report-form.php3 http://www.cert.garr.it/incident-report-form.php3 Procedura di incident response disponibile su: – http://www.cert.garr.it/incidenti.php3 http://www.cert.garr.it/incidenti.php3 Lista degli APM GARR: – http://www.garr.it/ilGARR/referenti/cerca_apm.php http://www.garr.it/ilGARR/referenti/cerca_apm.php 7/8/201614

15 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Cose da fare con piu’ calma (ma non troppa) 7/8/201615 Se necessario segnalare un downtime sul GOCSe necessario richiedere la revoca di credenziali compromesseKillare i job sospetti, bannare gli utenti sospetti ecc..Se necessario contattare i responsabili della VO di appartenenzaRecuperare il maggior numero di informazioni sull’incidente (forensic)Ripristinare il servizioPreparare e spedire un report finale di chiusura incidente

16 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Segnalare il downtime sul GOC Nel caso l’incidente richieda un arresto del/i servizio/i del sito (CE,SE,….) eseguire la procedura di downtime sul portale GOC – https://goc.gridops.org https://goc.gridops.org – Motivazione: “ Security operations in progress” 7/8/201616

17 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Richiesta di revoca di credenziali Nel caso si sospetti la compromissione di un certificato personale, procedere avvisando I responsabili della CA e chiedere la revoca. – https://www.eugrid pma.org/showca.p hp https://www.eugrid pma.org/showca.p hp 7/8/201617

18 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Avvisare i responsabili della VO Nel caso si sia richiesta la revoca di un certificato personale occorre avvisare anche i responsabili della/delle VO I contatti si trovano sul CIC Portal https://cic.gridops.or g/index.php?section= vo&page=homepag e https://cic.gridops.or g/index.php?section= vo&page=homepag e 7/8/201618

19 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Recuperare e fornire piu’ informazioni possibile Processi e/o eseguibili sospetti Rootkits Vulnerabilita’ sfruttate Azioni intraprese per contenere e/o risolvere il problema Responsabili, amministratori, contatti etc.. Inoltre: – Recuperare:  log files relativi ai servizi grid interessati dall’incidente  Log files di sistema (messages, secure, tomcat etc..) Per un periodo di almeno 3 mesi antecedenti l’incidente 7/8/201619

20 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Forensic “grigliata” 7/8/201620 /var/log/messages /opt/glite/var/log/glite-ce-cream.log /opt/glite/var/cream_sandbox/VO/DN /var/log/globus-gridftp.log CREAM CE /var/log/messages /var/log/globus-gatekeeper.log /var/log/globus-gridftp.log LCG CE Poi occorre collegarsi direttamente al WN per un’analisi piu’ dettagliata

21 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Forensic “grigliata” 7/8/201621 CREAM CE /opt/glite/var/log/glite-ce- cream.log DN utente MyProxy usato WMS IP addr Grid Job ID Lrms job ID e WN

22 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Forensic “grigliata” 7/8/201622 CREAM CE/opt/glite/var/cream_sandbox/VO/DNSandBoxExecutable Command line Job Wrapper

23 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Riferimenti utili 7/8/201623 Service Reference Cards https://twiki.cern.ch/twiki/bin/view/ EGEE/ServiceReferenceCards Contengono per ogni servizio una sezione dedicata alla security con Log files Porte TCP Istruzioni per il banning/unbanning degli utenti etc..

24 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Recuperare i contatti necessari 7/8/201624 dig –x whois Responsabili della rete Contatti di sicurezza Nazionalita’ Sul GOC si possono poi trovare I riferimenti al ROC Security Officer di competenza https://goc.gridops.org/user/security_contacts

25 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Chi amministra il nodo grid X? Sul portale GOC e’ possibile ricercare informazioni su un nodo grid. Utile per trovare gli amministratori di WMS, UI, CE, MYPROXY ecc.. 7/8/201625

26 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Comunicare i progressi Ad intervalli regolari mandare aggiornamenti circa i progressi fatti nell’analisi dell’incidente ed il ripristino dei servizi. 7/8/201626 Template disponibile Nella sezione WIKI di EGI-CSIRT https://wiki.egi.eu/wiki/EGI_CSIRT:Incident_reporting#Follow-up_message

27 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Step finale: Report di chiusura incidente Timeline dell’incidenteRiassunto dell’accaduto Azioni intrapreseCosa abbiamo imparato Entro un mese 7/8/201627 site-security- contacts@mailman.egi.eu

28 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Incident response flowchart 7/8/201628

29 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Gestione delle vulnerabilita’ 7/8/201629

30 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Gestione delle vulnerabilita’ Procedura generale di gestione delle vulnerabilita’ – In EGI-Inspire esiste un apposito gruppo che si occupa della gestione delle vulnerabiita’ del software rilasciato nell’ambito di UMD: Software Vulnerability Group (SVG) – L’analisi e la valutazione del rischio (Risk Assessment) porta a classificare le vulnerabilita’ in:  Low  Moderate  High  Critical – “When notified by the Grid of software patches and updates required for security and stability, you shall, as soon as reasonably possible in the circumstances, apply these to your systems. Other patches and updates should be applied following best practice. (Grid Site Operations Policy)” 7/8/201630

31 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Vulnerabilita’ Critiche Nel caso di vulnerabilita’ del SO, la valutazione della sua gravita’ viene fatta da EGI-CSIRT in collaborazione con il gruppo SVG  “A critical operating system vulnerably is considered a weakness in the software which could be exploited by either an unauthorized user to gain access to a system, or legitimate users to gain elevated privileges.” “It is worth noting that sites are responsible for their own security, CSIRT will advise and recommend on security matters and have the power to suspend sites from the infrastructure if they fail to apply critical security patches.” (Software Vulnerability Issue Handling Process) Se una vulnerabilita’ viene classificata critica, viene adottata una procedura che richiede di aggiornare i siti entro 7 giorni dalla data dell’annuncio – Criteri  Root escalation  Esistenza di un exploit pubblico  Facilita’ di esecuzione dell’exploit 7/8/201631

32 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Vulnerabilita’ Critiche E dopo i 7 giorni …?? – Il Security Duty Contact apre un ticket sul RT di EGI-CSIRT e notifica il sito e i ROC/NGI security officers – Se entro 24 ore non c’e’ risposta, viene scalata la cosa ai ROC/NGI managers – Dopo 48 ora dall’avviso EGI-CSIRT puo’ decidere di bannare il sito  Viene avvisato il ROC/NGI management  Viene coinvolto il COD/ROD per le procedure di banning … Fatto salvo che se esistono motivazioni forti per non upgradare, queste verranno valutate singolarmente. 7/8/201632

33 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Installazione dei Calcolatori E’ un aspetto correlato alla gestione delle vulnerabilita’ – Meno pacchetti e/o servizi inutili sono installati e meno si hanno problemi di vulnerabilita’  httpd  samba  X server – A volte non e’ facile rimuovere un pacchetto a causa delle dipendenze. – Suggerimenti, esempi di kickstart etc… sono ben accetti 7/8/201633 Su un worker node forse possono non essere installati

34 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Conclusioni Le risorse ed i servizi Grid sono e saranno inevitabilmente soggetti a problemi di sicurezza E’ importante avere una procedura chiara e comune per reagire in modo tempestivo, contenere gli incidenti e ripristinare i servizi Come ROC/NGI italiana adottiamo la procedura standard in uso nel progetto EGI Inspire (coinvolgendo anche il GARR-CERT) – Contenere il problema – Informare la comunita’ – Capire cosa e’ successo – Ripristinare i servizi La gestione delle vulnerabilita’ e’ un altro aspetto importante per il quale esistono procedure da conoscere e seguire 7/8/201634

35 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Riferimenti e documenti EGI Inspire Security Incident Response Procedure – https://documents.egi.eu/public/RetrieveFile?docid=47&versi on=11&filename=EGI-MS405-IRTF-47-V12.pdf https://documents.egi.eu/public/RetrieveFile?docid=47&versi on=11&filename=EGI-MS405-IRTF-47-V12.pdf EGI Inspire Vulnerability Issue Handling Process – https://documents.egi.eu/public/RetrieveFile?docid=47&versi on=11&filename=EGI-MS405-SVG-47-V12.pdf https://documents.egi.eu/public/RetrieveFile?docid=47&versi on=11&filename=EGI-MS405-SVG-47-V12.pdf GARR-CERT Incident Handling Procedure – http://www.cert.garr.it/incidenti-en.php3 http://www.cert.garr.it/incidenti-en.php3 Integrazione procedure EGI-GARR – http://www.infn.it/CCR/sicurezza_informatica/security_IT_rew3.pdf http://www.infn.it/CCR/sicurezza_informatica/security_IT_rew3.pdf 7/8/201635

36 www.ccr.infn.it IV Corso di formazione INFN per amministratori di siti GRID Domande 7/8/201636