Casistica degli Interventi sul Sistema di Controllo Procedure per malfunzionamenti comuni, fisiologici e procedure eccezionali 09 Gennaio 2015 Corso Introduttivo.

Presentazione sul tema: "Casistica degli Interventi sul Sistema di Controllo Procedure per malfunzionamenti comuni, fisiologici e procedure eccezionali 09 Gennaio 2015 Corso Introduttivo."— Transcript della presentazione:

1 Casistica degli Interventi sul Sistema di Controllo Procedure per malfunzionamenti comuni, fisiologici e procedure eccezionali 09 Gennaio 2015 Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

2 Procedure per malfunzionamenti comuni e/o fisiologici Controllo della memoria SWAP delle console Reboot dei computer DEVIL Apple Riavvio DEVILs Linux Riavvio DEVIL Windows Riavvio del sistema di acquisizione dell’orbita Riavvio del secondo livello del Sistema di Controllo 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

3 Controllo della memoria SWAP delle console http://danteweb/devil_manager/console.php Per liberare la SWAP di una console, chiudere la barra dante con il consumo di memoria più alto 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

4 Reboot dei computer DEVIL Apple Informazioni presenti sul WiKi: http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_contr ollo/manuale_per_operatori/il_livello_3/riavvio_process ori_apple 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

5 Reboot dei computer DEVIL Apple Prima del riavvio Controllare se ci sono più DEVIL sullo stesso bus VME Chiudere tutte le finestre afferenti agli elementi controllati dal DEVIL che deve essere riavviato Scollegare dal server Apple BIBLE (tramite il monitor Apple in sala controllo) il DEVIL da riavviare 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_processori_apple

6 Reboot dei computer DEVIL Apple Riavvio Identificare dov’è situato il DEVIL da riavviare, utilizzando le informazioni presenti al link: http://dafne.lnf.infn.it/info/riavvio_livello_3.htm 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_processori_apple

7 Reboot dei computer DEVIL Apple Riavvio Riavviare tutti i DEVIL presenti sul bus, utilizzando la “levetta” presente sulla scheda VME BUS MONITOR ATTENZIONE: Se sono presenti più DEVIL su di un unico bus, riavviare anche i singoli DEVIL con il loro tasto di reset DOPO aver utilizzato il BUS MONITOR 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_processori_apple

8 Reboot dei computer DEVIL Apple Dopo il riavvio Il DEVIL impiega dai 3 ai 5 minuti per ripartire. Dopo questo lasso di tempo, controllare sul server Apple BIBLE (tramite il monitor Apple in sala controllo) che il DEVIL riavviato sia presente nella lista delle connessioni attive (“idle” per almeno 1 minuto) 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_processori_apple

9 Riavvio DEVILs Linux I DEVILs Linux possono essere riavviati dalla pagina web: http://danteweb/devil_manager/ 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

10 Riavvio DEVILs Linux Prima del riavvio Chiudere tutte le finestre afferenti agli elementi controllati dal DEVIL che deve essere riavviato Riavvio Premere il tasto “Reset” vicino al DEVIL che si vuole riavviare e confermare nel popup che comparirà 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://danteweb/devil_manager/

11 Riavvio DEVILs Linux Dopo il riavvio Controllare dalla finestra del devil manager o dalle barre dante che il DEVIL sia tornato nello stato di ALIVE 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://danteweb/devil_manager/

12 Riavvio DEVIL Windows Al momento, l’unico DEVIL Windows è il DEVIL 601 che si occupa della radiofrequenza Non c’è una procedura automatizzata che permette il riavvio della macchina virtuale dove gira il DEVIL Solo le persone del servizio controlli e della radiofrequenza possono accedere alla macchina e riavviarla Si sta provvedendo affinchè anche gli operatori possano eseguire questa procedura in autonomia 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

13 Riavvio del sistema di acquisizione dell’orbita Informazioni presenti sul WiKi: http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_contr ollo/manuale_per_operatori/il_livello_3/riavvio_acquisiz ione_orbita 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

14 Riavvio del sistema di acquisizione dell’orbita Il sistema di acquisizione dell’orbita è costituito da 4 DEVIL della serie 3XX (364, 365, 366, 367) posizionati sulla piattaforma della sala DAΦNE e dal DEVIL 204 posizionato nella sala Strumentazione Nel caso in cui anche solo uno dei quattro devil 3XX abbia un problema, è necessario riavviare tutto il sistema di acquisizione dell’orbita 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_acquisizione_orbita

15 Riavvio del sistema di acquisizione dell’orbita Chiudere sulle console tutte le finestre del display dell’orbita Chiudere il programma DCSServer.vi che gira nella console di controllo con smart card Fermare il DEVIL 204 (tramite il monitor Apple in sala controllo) Disconnettere i DEVIL 364, 365, 366 e 367 dal server Apple BIBLE (tramite il monitor Apple in sala controllo) 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_acquisizione_orbita

16 Riavvio del sistema di acquisizione dell’orbita Reset dei DEVIL 364, 365, 366 e 367 In sala strumentazione, sul panello di distribuzione S11- 21/42, inserire e disinserire un tappo a 50 Ohm (~1 secondo) sul connettore BNC nr. 8 contrassegnato con il nome dei quattro DEVIL 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_acquisizione_orbita

17 Riavvio del sistema di acquisizione dell’orbita Controllare sul server Apple BIBLE che i quattro devil dell’orbita risultino di nuovo connessi ed in stato di “IDLE” da almeno un minuto Eseguire un riavvio di secondo livello 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_acquisizione_orbita

18 Riavvio del secondo livello del Sistema di Controllo Informazioni presenti sul WiKi: http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_contr ollo/manuale_per_operatori/il_livello_2/riavvio_livello_2 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

19 Riavvio del secondo livello del Sistema di Controllo Necessario quando: Si verifica una condizione di bus error simultaneo su più DEVIL della serie 3XX Si deve riavviare il sistema di acquisizione dell’orbita I programmi di secondo livello vanno in ripetuto crash (finestra che si chiude inaspettatamente) dopo il loro riavvio 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_2/riavvio_livello_2

20 Riavvio del secondo livello del Sistema di Controllo Fare la login sulla console con la smartcard Se non è presente la finestra sysreset, aprirla da un terminale con il comando: /home/dafne/scripts/sysreset.sh sr_dafne_login -k 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_2/riavvio_livello_2

21 Riavvio del secondo livello del Sistema di Controllo Sulla finestra sysreset premere il bottone Start recovery e seguire le indicazioni, procedendo di schermata in schermata. Le varie schermate danno la possibilità di impostare alcune opzioni: lasciare le opzioni già marcate. Eseguire gli interventi manuali richiesti dalla procedura al momento richiesto e non proseguire prima di averli fatti. 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_2/riavvio_livello_2

22 Riavvio del secondo livello del Sistema di Controllo Se la fase di inizializzazione del bus VME si conclude con una finestra rossa che riporta degli errori, tentare le seguenti operazioni di recupero: Rieseguire ancora una volta l’inizializzazione del VME Se dovesse continuare a comparire la finestra rossa, leggere sulla finestra rossa tutti i nomi dei DEVIL Apple riportati, disconnetterli dal server Apple BIBLE e resettarli. Attendere che ricompaiano sul server Apple BIBLE e poi rieseguire l’inizializzazione del VME 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_2/riavvio_livello_2

23 Riavvio del secondo livello del Sistema di Controllo Alla fine della procedura, avviare in sequenza i sei programmi di secondo livello: caron.vi aliveMonitor.vi DCSServer.vi devil202.vi devil203.vi devil205.vi 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_2/riavvio_livello_2

24 Riavvio del secondo livello del Sistema di Controllo Cautele particolari: A volte, le “levette” per il reset del bus VME del secondo livello rimangono bloccate in posizione abbassata ed è quindi essenziale riportarle manualmente nella loro posizione originale Quando si aziona il reset sul crate di livello 2 dove è presente il DEVIL 204 (processore centrale del sistema di acquisizione dell’orbita), questo esegue un reboot 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_2/riavvio_livello_2

25 Procedure Eccezionali Reboot di una VMIC Reboot di una macchina virtuale Riavvio del terzo livello APPLE 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

26 Reboot di una VMIC Informazioni presenti sul WiKi: http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_contr ollo/manuale_per_operatori/il_livello_3/riavvio_process ori_vmic 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

27 Reboot di una VMIC Quando è necessario Quando il reset di un Devil linux che gira su di una VMIC non viene eseguito correttamente Come si esegue Una VMIC si resetta dal suo pannello frontale, premendo il pulsante RST. Il pulsante RST è protetto da manovre accidentali e deve essere premuto con una punta isolata Se non dovesse ripartire, emettendo dei “BEEP” Il reset deve essere effettuato con monitor, tastiera e mouse connessi alla VMIC (segnalare questa anomalia al gruppo controlli) 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_processori_vmic

28 Reboot di una macchina virtuale Informazioni presenti sul WiKi: http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_contr ollo/sviluppatori/reboot_vm 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

29 Reboot di una macchina virtuale Tutte le macchine virtuali sono gestite da un software che si occupa del loro riavvio automatico in caso di guasti Non c’è una procedura automatizzata che permette il riavvio delle macchine virtuali da parte degli operatori Solo le persone del servizio controlli possono riavviare le macchine virtuali in caso di anomalie Si sta provvedendo affinchè anche gli operatori possano eseguire questa procedura in autonomia 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/sviluppatori/reboot_vm

30 Riavvio del terzo livello APPLE Informazioni presenti sul WiKi: http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_contr ollo/manuale_per_operatori/il_livello_3/riavvio_livello_3 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo

31 Riavvio del terzo livello APPLE Quando è necessario Nel caso in cui il server Apple BIBLE vada in crash o sia stato riavviato Come si esegue Seguire passo-passo la procedura descritta nel WiKi Se qualche punto non si conclude con l’esito descritto, è necessario contattare il Servizio Controlli per chiarimenti e/o interventi Tempo stimato per il riavvio completo: ~ 30 minuti 09 Gennaio 2015Corso Introduttivo all’Operazione di DAΦNE – Sistema di Controllo http://wiki.infn.it/strutture/lnf/da/dafne/sistema_di_controllo/manuale_per_operatori/il_livello_3/riavvio_livello_3