Problema T1 30 settembre Andrea Chierici CDG T1

21 settembre: email egi svg [Site-Security-Contacts] EGI SVG Advisory [TLP:AMBER] 'CRITICAL' risk - gridsite impersonation vulnerability [EGI-SVG-2016-11476] CRITICAL risk vulnerability concerning gridsite /canl-c A vulnerability has been found in the canl-c library which is used by gridsite where it is possible for a user with any certificate, including a self-created one, to impersonate any other user. This is present in all recent versions of gridsite up to version 2.2.5, and all versions of canl-c up to and including 2.1.6. Actions required/recommended ============================ Sites running gridsite/canl-c are required to urgently install updates.

21 settembre: email egi svg Affected software details ========================= This is fixed in caNl-c version 2.1.7-1. Earlier versions are all likely to be affected. Affected software dependent on this include:-- anything which depends on Gridsite DPM LFC FTS - but only in limited circumstances. WMS - ditto Also the CREAM CE uses GridSite, but it turns out not to be affected.

30 settembre: email egi svg [EGI #11681] Critical Vulnerability Exposed - EGI-SVG-2016-11476 - NGI_IT - INFN-T1 Dear security contact for INFN-T1 (cc to NGI security officer), EGI monitoring indicates a Critical Vulnerability exposed at your site. Please be aware that we need you to take urgent action. According to our monitoring, the following nodes expose one or more CRITICAL vulnerabilities: + wn-200-03-33-04-a.cr.cnaf.infn.it vulnerable to EGI-SVG- 2016-11476, last reported at 2016-09-29T20:04Z

Azioni intraprese venerdi` 30 settembre alle 16 Aggiornato canl-c su WN del T1 (puppet) Aggiornato canl-c sui CE del T1, tralasciando quindi T2 e T3 (quattor) Contestualmente installato client puppet «sconfigurato» per futuri utilizzi

Problemi A partire da sabato, circa 12 ore dopo l’installazione, moria generale di job e sito «non funzionante» FailureReason = [Problem to detect the lifetime of the proxy; Job has been terminated (got SIGTERM); reason=143] T2-LHCb stessa situazione T3 nessun problema

Indagini e tentativi di fix Sabato, domenica e lunedì, Stefano più di tutti ha cercato di capire il problema Un semplice donwgrade dei pacchetti non ha sortito alcun effetto Lunedì alle 18 uno dei CE che ho reinstallato ex novo ha ripreso a funzionare Reinstallati 5 dei 6 CE di produzione, con apparente ripristino della produzione Martedì 4 (santo Patrono di Bologna) di nuovo fallimenti e sito di nuovo non funzionante Stefano capisce con Massimo Sgaravatto che rimuovendo il pacchetto dracut- fips si ovvia al problema di creazione dei proxy Il ce non reinstallato, che dava problemi, ha ripreso a funzionare rimuovendo lo stesso pacchetto

Conclusioni Abbiamo dovuto applicare una patch di sicurezza «non necessaria» per poter «silenziare» il software che verifica le vulnerabilità sui WN, pur questi ultimi non essendo affetti dal problema (pakiti) Per eccesso di zelo (mi assumo la responsabilità di questo) ho applicato la stessa patch anche ai CE, pur non essendo necessario Ripristinare la situazione originale non è servito a nulla La soluzione individuata non ha alcuna correlazione con gli interventi effettuati il 30 settembre Il pacchetto rimosso è sempre stato presente sui CE, nessuna configurazione e’ cambiata negli ultimi mesi