Rembo Toolkit v.2 come soluzione globale per PC e farm

Presentazione sul tema: "Rembo Toolkit v.2 come soluzione globale per PC e farm"— Transcript della presentazione:

1 Rembo Toolkit v.2 come soluzione globale per PC e farm
Rembo 2: La vendetta Rembo Toolkit v.2 come soluzione globale per PC e farm Servizio di Calcolo dei LNF N.Amanzi, S.Angius, D.Maselli, M.Pistoni, C.Soprano, A.Veloce Cagliari maggio 2004 26 maggio 2004 Servizio di Calcolo dei LNF

2 Indice Rembo ToolKit Nuove funzionalita’ di Rembo ToolKit v. 2
Introduzione e principi di funzionamento Funzionalita’ della Versione 1 Nuove funzionalita’ di Rembo ToolKit v. 2 Strategia di uso di Rembo ai LNF Aspetti infrastrutturali Ridondanza e affidabilita’ del servizio Metodologie implementative Caratteristiche degli script site specific Risultati, esempi e snapshot 26 maggio 2004 Servizio di Calcolo dei LNF

3 Copyright Rembo Toolkit e’ un software commerciale della Ditta Svizzera Rembo Technology Sarl. E’ una evoluzione del software free BpBatch sviluppato all’Universita’ di Ginevra. Quest’ultimo presenta molte limitazioni importanti e purtroppo non viene piu’ sviluppato. Tali limitazioni non sono presenti nella versione commerciale. 26 maggio 2004 Servizio di Calcolo dei LNF

4 Rem.bo. (Remote Boot) v. 1 e 2 Rembo Toolkit e’ una piattaforma per il pre-OS management dei PC. Puo’ essere usato per effettuare una grande quantita’ di operazioni al momento del boot di qualsiasi PC (architettura Intel o compatibile). Rembo e’ di fatto un mini Sistema Operativo, differente da qualsiasi altro perche’ puramente network-based. Il kernel di rembo toolkit e’ scaricato da un server tramite la rete ed eseguito localmente dalla bootrom del PXE al termine del processo del BIOS bootstrap. 26 maggio 2004 Servizio di Calcolo dei LNF

5 Rembo Toolkit schema PXE boot: DHCP request Image File request
DHCP Server Rembo Server PXE boot: DHCP request Image File request DHCP answer Rembo answer Image download Clients (software-less) 26 maggio 2004 Servizio di Calcolo dei LNF

6 Requisiti lato server Sistemi operativi:
Windows NT/2000/XP Linux Sparc Solaris E’ necessario un DHCP server per inviare i parametri di boot alla bootrom PXE del client (puo’ essere lo stesso Rembo server) Una applicazione Windows GUI viene fornita per configurare il server in modo semplice 26 maggio 2004 Servizio di Calcolo dei LNF

7 Requisiti lato client Lato client:
processore Intel 386 (o superiore, anche compatibile) Scheda di rete con supporto del protocollo PXE (Preboot eXecution Environment) vers 1.1 o 2.1 Non ci sono limitazioni s/w sul client, dato che rembo toolkit non usa informazioni residenti sul disco locale per partire (network boot). Per questo motivo Rembo funziona anche su computers diskless. 26 maggio 2004 Servizio di Calcolo dei LNF

8 Introduzione Rembo Toolkit include:
Una Virtual Machine (VM) per eseguire programmi in linguaggio Rembo-C compilati o testuali (script) Una interfaccia grafica per l’interazione con l’utilizzatore Un accesso di basso livello all’hard disk (per il cloning, restoring, updating e customizing dei sistemi operativi) Un’ interfaccia di rete tramite la bootrom del PXE 26 maggio 2004 Servizio di Calcolo dei LNF

9 Client management Operazioni di management possono essere effettuate:
Interattivamente tramite alcuni wizard GUI (Rembo Wizard e Rembo Pro Interactive Tools) Interattivamente tramite l’inserimento di istruzioni Rembo-C al prompt interattivo In modalita’ batch tramite script contenente istruzioni e/o chiamate Rembo-C Per ottimizzare le performance, e’ anche disponibile un Kit di sviluppo s/w in grado di compilare gli script Rembo-C ed ottenere codice eseguibile nella Virtual Machine 26 maggio 2004 Servizio di Calcolo dei LNF

10 Disk Cache Rembo puo’ usare spazio non partizionato sull’hard disk locale del client ed adibirlo a funzioni di disk cache per immagazzinare copie locali di file trasferiti dal server, in modo da accelerare gli accessi successivi agli stessi files senza coinvolgere nuovamente il server e la rete. E’ consigliato lasciare un po’ di spazio non partizionato adibito a local cache, specialmente quando Rembo Toolkit e’ usato per ripristinare frequentemente un sistema operativo. 26 maggio 2004 Servizio di Calcolo dei LNF

11 Funzionalita’ centrali
Linguaggio di programmazione potente e facile da usare (Rembo-C). E’ praticamente identico al C con qualche lievissima differenza Virtual Machine in grado di eseguire codice Rembo-C compilato: la Virtual Machine e’ multi-threaded, e supporta exception handlers strutturate Compilatore “on-the-fly” che interattivamente traduce le istruzioni Rembo-C in codice VM Sistema di Hard-disk buffering. 26 maggio 2004 Servizio di Calcolo dei LNF

12 Funzionalita’ grafiche
GUI basata su HTML, con gestione degli eventi stile javascript (onmouseup, onchange, ...) per eseguire istruzioni Rembo-C quando una determinata azione e’ richiesta dall’utente. Tutte le modalita’ VESA standard sono supportate a 8 e 16 bit di colore (fino a 1600x1200) Supporto per mouse seriale, PS/2 e USB. Tutti gli oggetti grafici vengono mappati in variabili Rembo-C, in modo da poter essere modificati interattivamente o negli script. Supporto per le immagini in formato PCX a 256 colori 26 maggio 2004 Servizio di Calcolo dei LNF

13 Funzionalita’ sui Filesystem
Supporto per l’accesso al singolo file per i seguenti Filesystem FAT12, FAT16, BIGDOS, FAT32, EXT2FS, EXT3FS, LINUXSWAP, NTFS (NT4.0, Win2K e WinXP). Funzioni Rembo-C di partizionamento “al volo”. Funzioni Rembo-C per l’accesso ai file (read, write, copy, delete, rename, move file e directory). 26 maggio 2004 Servizio di Calcolo dei LNF

14 Funzionalita’ di cloning
Creazione e ripristino di immagini di sistemi operativi. Un’immagine corrisponde ad una collezione di file, senza vincoli sul filesystem di origine. Le immagini delle partizioni sono compresse e possono essere “sfogliate” direttamente dal Rembo Toolkit client. Supporto per immagini fino a 100GB ( 2TB). Supporto di immagini Virtuali. Un’immagine virtuale e’ una copia esatta della struttura del filesystem, ma senza il contenuto dei file. Supporto di illimitate immagini differenziali. 26 maggio 2004 Servizio di Calcolo dei LNF

15 Funzionalita’ di cloning (2)
Supporto di cloning basato sui file, per il ripristino in funzione di un sistema operativo (self-healing). Il self-healing e’ effettuato comparando il contenuto dell’hard disk con il contenuto di un’immagine sul server (o sulla local cache partition), quindi tramite il recupero dei file persi o corrotti (NT puo’ impiegare meno di 1 min). Supporto per una post-configurazione illimitata. La possibilita’ di accesso a basso livello al Filesystem (quindi al singolo file) consente una facile implementazione di operazioni di post-installazione e di personalizzazione del singolo PC. 26 maggio 2004 Servizio di Calcolo dei LNF

16 Funzionalita’ OS-specific
Accesso a basso livello ai file dei registri di Windows NT/2000/XP. Il file dei registri e’ gestito come un filesystem, quindi e’ possibile creare immagini di base e differenziali anche del file dei registri. Particolarmente utile per gli updates di OS e del s/w applicativo. Funzione di rigenerazione del SID (NT's system identifier) Supporto per il Linux kernel boot module (come LILO o Grub). 26 maggio 2004 Servizio di Calcolo dei LNF

17 Funzionalita’ di rete Implementazione di protocollo IP proprietario, disegnato per ottenere le migliori performance, basato su UDP: NETfs, unicast file transfer protocol, usato per trasferire file da e verso il Rembo server MCAST, multicast file transfer protocol, usato per trasferire le immagini dal server ai client (circa 5-10 volte piu’ veloce del protocollo standard MTFTP Il protocollo MCAST non richiede nessun tipo di sincronizzazione tra i client. Percio’ nessun intervento manuale e’ richiesto per clonare centinaia di PCs se MCAST e’ usato in combinazione con il Wake On LAN. 26 maggio 2004 Servizio di Calcolo dei LNF

18 Funzionalita’ di rete (2)
La comunicazione tra il server e i client e’ criptata usando un algoritmo standard. Tutti i protocolli sono a prova di failure: i client si riconnettono al server, non appena si rende disponibile, dopo una qualunque interruzione. Server di backup: i client sono in grado di ristabilire verso un server di backup una connessione interrotta con il server primario, anche nel mezzo di un file transfer. Accesso dei client ai servizi TCP attraverso meccanismi di tunnel instaurati dal server Supporto dell’SMTP ( s con Rembo Toolkit) Accesso Completo (RW) a database, in ODBC 26 maggio 2004 Servizio di Calcolo dei LNF

19 Altre Funzionalita’ MS-DOS, Windows e Linux ramdisks: Rembo puo’ caricare l’immagine di un floppy disk su ramdisk e poi esegue il boot dal ramdisk Remote Console: il client display puo’ essere controllato e catturato da un nodo remoto su cui risiede la applicazione Rembo Remote Console. Anche la comunicazione di Remote Console e’ compressa e criptata Autenticazione: per autenticare un utente supporta i seguenti protocolli di autenticazione: Windows authentication Unix (passwd), NIS/NIS+ RADIUS 26 maggio 2004 Servizio di Calcolo dei LNF

20 Altre Funzionalita’ (2)
Hardware detection: e’ in grado di rivelare l’hardware plug and play. CDRom and Floppy mode: Rembo puo’ partire anche da floppy o da CDRom qualora il network o il protocollo PXE non fosse disponibile. L’immagine su CDRom puo’ essere personalizzata per contenere specifiche immagini di partizioni e/o Rembo-C script. 26 maggio 2004 Servizio di Calcolo dei LNF

21 Efficiente e flessibile
Rembo e’ stato costruito curando molto gli aspetti di performance, in modo da renderlo peculiare quando il numero dei PC da gestire diventa elevato (come nel caso di farm). Le sue capacita’ di disk-cloning sono molto efficienti. Inoltre la gestione delle partizioni e’ molto piu’ flessibile in virtu’ delle sue capacita’ di accedere al File System e quindi al singolo file. 26 maggio 2004 Servizio di Calcolo dei LNF

22 Rembo v. 2 Gestione di NTFS (di WinXP) e EXT3FS
Supporto di immagini fino a 2TB E’ in grado di accedere ai filesystem compressi NTFS e di decriptare files criptati con le chiavi di cifratura di Windows Implementazione del protocollo multicast di comunicazione PCAST ottimizzato per il trasferimento multiplo di files dalla shared repository del server verso piu’ client contemporaneamente La grande rivoluzione di Rembo v. 2 e’ rappresentata dalla Shared Repository 26 maggio 2004 Servizio di Calcolo dei LNF

23 Shared Repository Rembo v. 1  Immagini monolitiche contenenti i files di ciascuna partizione in formato compresso (valore medio: ~2 GB/partition) Rembo v. 2  vengono salvati in formato compresso (a blocchi di 128MB) soltanto i files che non siano gia’ presenti nella shared repository, piu’ un catalogo dei files della partizione con i relativi MD5 (valore medio a regime: 100 MB/partizione) 26 maggio 2004 Servizio di Calcolo dei LNF

24 Strategia di uso ai LNF Rembo v. 2 ai LNF viene utilizzato per salvare le partizioni di sistema di tutte le macchine Intel based della LAN: Farm di calcolo (Linux RedHat) Servizi essenziali su macchine di tipo Slot 1U/2U (Linux o Windows) PC delle sale utenti e delle aule didattiche (Master) Server Windows del Sistema Informativo Tutti i PC degli utenti desktop e portatili (Windows, Linux e/o dual boot) 26 maggio 2004 Servizio di Calcolo dei LNF

25 LNF internal routing (OSPF)
Garr Multicast PIM e IGMP Swkloe1 e 2 2 x Cisco 6509 HSRP VLAN 2 – /24 VLAN 2 – /24 secondary VC 34Mbps Verso il GARR Swlat Cisco 6006 Lnfgw Cisco 7507 VLAN 129 – /24 Swcalc1 Cisco 6509 VLAN 192 /24 VLAN 130 – /24 VLAN 131 /24 Secondary: /24 VLAN 1 – /21 Secondary: /24, /24, /24, /16 VLAN 160 /24 VLAN 161 /24 VLAN 228 /24 Sistema Informativo INFN Swares1 – Cisco 4006 26 maggio 2004 Servizio di Calcolo dei LNF

26 LNF Rembo service schema
DHCP Servers Rembo v. 2 Servers LNF LAN L2/L3 Switching Multicast PIM e IGMP Libreria Magstar MySQL Servers Rembo clients 26 maggio 2004 Servizio di Calcolo dei LNF

27 Rembo servers 2 HP Proliant DL 360 (Slot 1U) ciascuna con:
CPU: Dual processor Xeon 2.8GHz RAM: 1GB SDRAM ECC HD SCSI: 1x18GB 15K rpm per OS HD SCSI: 1x143GB 10K rpm per rembo files NET: 2xGigabit Ethernet (1000 BaseTX) OS: Windows XP Professional REMBO server: Windows Version (.2 = specifica per i LNF) 26 maggio 2004 Servizio di Calcolo dei LNF

28 Ridondanza I rembo server sono definiti uno come “master” e uno come “backup”. Per l’allineamento, e’ stato realizzato un opportuno script VisualBasic che ogni notte sul server di backup effettua: Il mirror di tutto il directory tree di Rembo dal master (tramite Robocopy Windows Resource Kit) L’aggiornamento dei registri relativi alla definizione degli host e dei gruppi (tramite LNF regsync.exe) Una volta a settimana il backup su libreria IBM tramite Tivoli Storage Manager Client Scrittura di event e LOG file di tutte le operazioni effettuate 26 maggio 2004 Servizio di Calcolo dei LNF

29 Configurazione di Rembo
Rembo prevede la definizione di gruppi di Host (o di host singoli) a cui attribuire specifiche politiche di management attraverso definizione di variabili ed esecuzione di specifici script. Prevede inoltre la creazione di parametri e di variabili: Globali (validi per tutti gli host) Di gruppo (validi per un gruppo di host) Di host (validi per un solo host) Di user (validi per l’utente autenticato) 26 maggio 2004 Servizio di Calcolo dei LNF

30 Configurazione Rembo serve solo gli host definiti nel suo database di configurazione. In realta’ e’ in grado di servire qualunque host, purche’ sia definito un gruppo default (anche vuoto). Quando un host esegue il PXE boot, carica ed esegue lo script definito nel proprio gruppo di appartenenza sul Rembo server. Inoltre carica le variabili di environment con la seguente priorita’: user, host, group, global 26 maggio 2004 Servizio di Calcolo dei LNF

31 Politiche LNF Sfruttando tali caratteristiche, ai LNF e’ stato realizzato un unico script di management per gestire tutti i client della LAN. LNF.shtml che a sua volta esegue: systeminfo.rbc scriptlib.rbc Eventuali specializzazioni vengono raramente effettuate attraverso la definizione di opportune variabili. 26 maggio 2004 Servizio di Calcolo dei LNF

32 Funzionalita’ dello script dei lnf
Raccoglie informazioni relative alla configurazione H/W del client: Marca e modello, tipo e versione di BIOS, Processore/i, RAM, dischi, device “on board”, tutte le periferiche P&P Scrive tutte queste informazioni in un database tramite SQL e ODBC. Nel nostro caso il DB e’ MySQL v su LINUX RedHat 7.3 26 maggio 2004 Servizio di Calcolo dei LNF

33 Funzionalita’ dello script dei lnf (2)
Verifica l’esistenza di un disco e di un OS e presenta un primo menu’ di boot. In mancanza di una scelta, il boot avviene automaticamente dopo un time-out di 30s. Il menu’ permette di esportare il desktop su un altro PC della LAN. Oppure di autenticarsi per acquisire maggiori privilegi (5 livelli totali): Administrator, Creator, Clone, Owner, Null Presentazione di due Menu: OS Image Creation Restore 26 maggio 2004 Servizio di Calcolo dei LNF

34 Script lnf: Image Creation Menu
Permette di salvare le immagini della prima partizione NTFS/FAT e della prima partizione EXT2/3 sul Rembo server, nella directory relativa all’host o al suo gruppo di appartenenza. L’immagine e’ un file di puntatori e checksum MD5. I file verranno salvati nella Shared Directory (se non gia’ presenti). E’ possibile escludere interattivamente alcuni file o directory tree dall’operazione di salvataggio (con una sorta di file manager “windows explorer” like) 26 maggio 2004 Servizio di Calcolo dei LNF

35 Script lnf: Restore Menu
Permette di restorare sui dischi del client le immagini delle partizioni Windows e/o Linux precedentemente salvate sul server Gestione interattiva o batch delle partizioni Quick format Restore di MBR e/o Windows e/o Linux Creazione non assistita e completa di un clone Generazione di un nuovo sistema da un nodo identico o similare Aggiornamento eventuale dei Registri: Hostname, DiskSignature, etc. 26 maggio 2004 Servizio di Calcolo dei LNF

36 Script lnf: Clone from another node
Viene interrogato il DB e vengono selezionati i nodi che hanno la stessa configurazione hardware oppure nodi con configurazione similare Una finestra presenta le varie opzioni in ordine di peso (similitudine) La copia da nodi simili funziona quasi sempre a meno di alcuni veloci aggiustamenti (installazione di driver specifici) 26 maggio 2004 Servizio di Calcolo dei LNF

37 Script lnf: Altre funzionalita’
Gestione delle versioni Esecuzione di script subito dopo il restore: postinstall_win.rbc e postinstall_linux.rbc Esecuzione di uno script subito prima di effettuare il boot da disco: preboot.rbc (aggiornamento di file) Aggiornamento dei registri di Windows preboot.reg (formato Regedit4) Generazione di Log su console e su file Aggiornamento del DB con info relative a image “creation”, “restore” e partition table Specializzazione tramite variabili speciali 26 maggio 2004 Servizio di Calcolo dei LNF

38 Script lnf: Variabili speciali
URL: forza/vieta l’uso della cache disk SavedVersions: gestione delle versioni FileManager_Flag: gestione interattiva del filesystem da salvare RemoteConsole: IP address per l’export del desktop WindowsPartition: Tipo di FileSystem Win Make_a_Clone_Flag: esegue un batch rebuild EndBoot: boot dopo il rebuild 26 maggio 2004 Servizio di Calcolo dei LNF

39 PC Support Ai LNF il servizio di PC Support utilizza costantemente Rembo Di ciascun PC che viene installato e configurato, viene creata l’immagine su Rembo Per ripristinarlo in futuro Per creare cloni da tale immagine su hardware identico o similare PC Support esegue il boot da rembo sfruttando il gruppo default Si autentica con privilegio di “creator” Verifica se esistono immagini salvate di nodi identici o similari da cui clonare 26 maggio 2004 Servizio di Calcolo dei LNF

40 PC Support (2) Se si: Se no:
carica tali immagini ed eventualmente ricarica i driver delle periferiche differenti dal nodo originale eventuali aggiustamenti per richieste specifiche Se no: installa e configura il PC secondo le richieste dell’utente: Windows e/o Linux Innumerevoli applicazioni, custom setup, etc In ogni caso effettua il salvataggio finale delle immagini su Rembo server 26 maggio 2004 Servizio di Calcolo dei LNF

41 Tempi misurati Creazione di immagini per host dual boot (con uso di disk cache): Windows XP (4.5GB): min – 20 min Linux Fedora (5.5GB): min – 25 min Restore di immagini per host dual boot (con uso di disk cache): Windows XP (4.5GB): min – 30 min Linux Fedora (5.5GB): min – 35 min Rembo puo’ permettere di ridurre di almeno un ordine di grandezza i tempi di installazione e setup dei PC sulla LAN. 26 maggio 2004 Servizio di Calcolo dei LNF

42 Setup di una farm di calcolo
Installazione e setup di Linux RedHat 7.3 su un nodo della farm (lxcalc1) Definizione su Rembo server di: gruppo lxcalc Ethernet Address di tutte le macchine nel gruppo lxcalc Boot di lxcalc1 via PXE e OS Image Creation nella directory di gruppo Variabile di gruppo Make_a_Clone_Flag = 1 Variabile di gruppo EndBoot = Y 26 maggio 2004 Servizio di Calcolo dei LNF

43 Setup di una farm di calcolo (2)
Power on di tutte le macchine del gruppo lxcalc tramite la funzione Wake on LAN di Rembo Le macchine effettuano il boot via PXE e caricano tutte la stessa immagine da Rembo con protocollo IP multicast (procedura non assistita) Rimozione automatica di Make_a_Clone_Flag Boot automatico finale di tutte le macchine Dopo circa 25 minuti una farm di x nodi e’ Up and Running (con x a piacere; testato ai LNF con x=5 per uno spazio disco di 4.2GB) 26 maggio 2004 Servizio di Calcolo dei LNF

44 Problemi riscontrati La Shared Repository dei LNF e’ attualmente di 30GB e contiene circa files Il limite della versione ufficiale e’ di Oltre tale limite Rembo diventa lentissimo a creare immagini Dopo un breve scambio di informazioni la Rembo Sarl ha compilato una nuova release che risolve il problema dei LNF La disponibilita’ della Ditta e’ assoluta Si interagisce direttamente con gli sviluppatori I tempi di risposta si possono definire “svizzeri” Peraltro non esiste nessun contratto sul s/w 26 maggio 2004 Servizio di Calcolo dei LNF

45 LNF Rembo Script Flow Chart: Part 1
Get system Info: (Hardware Configuration) Record Info: Write into DB Write into file Write in Console Start OSs on HD? Wait for a 30 s timeout Y N User Menu: Boot Remote Console Set Priv Remote Console User Menu: Remote Console Set Priv Remote Console Boot procedure Set Priv Execute preboot custom script: Copy and patch Win and Linux files Patch Windows Registry Login Login OK? N Y Part 2: Priv Menu Boot (end) 26 maggio 2004 Servizio di Calcolo dei LNF

46 LNF Rembo Script Flow Chart: Part 2
Priv Menu 1a: Create host OS Image Part 3: Create OS Image Part 2 start N OSs on HD? Group defined? Y N Y Priv Menu 1b: Create Group OS Image Create host OS Image Priv Menu 2b: Boot Fdisk Clean Partitions Clean MBR Clean Cache Clone from another node host image on Rembo? Part 4: Priv Menu 2b N Y Priv Menu 2a: Boot FDisk Restore Partitions Clean Partitions Clean MBR Clean Cache Restore MBR Restore Windows Restore Linux Restore Windows & Linux Rebuild Node Clone from another Node Part 5: Priv Menu 2a 26 maggio 2004 Servizio di Calcolo dei LNF

47 LNF Rembo Script Flow Chart: Part 3 Part 4
Part 4 start Part 3 start Priv Menu 2b: Boot Fdisk Clean Partitions Clean MBR Clean Cache Clone from another node Boot procedure Read Partition Tables from HD Fdisk Utility Format Partitions Format MBR Save Partition Table (on host or group dir) Clone from another node: Search for similar into the Database Format Cache Part 4a start Save MBR (on host or group dir) Choose a clone or most similar Save Firsrt NTFS Partition (on host or group dir) Display HW and SW Configuration Save Firsrt Linux Partition (on host or group dir) Part 5: Priv Menu 2a Clone from chosen node Y N Close Priv Menu 1 26 maggio 2004 Servizio di Calcolo dei LNF

48 LNF Rembo Script Flow Chart: Part 5
Part 5 start Read Partition Tables (from Rembo) Priv Menu 2a: Boot FDisk Utility Restore Partitions Clean Partitions Clean MBR Clean Cache Restore MBR Restore Windows Restore Linux Restore Windows & Linux Rebuild Node Clone From Another Node Fdisk Utility Boot procedure Restore Partitions Format Partitions Execute preboot custom script: Copy and patch Win and Linux files Patch Windows Registry Format MBR Format Cache Restore MBR Restore Images Boot (end) Rebuild Node Part 4a: Search for Similar Clone From Another Node 26 maggio 2004 Servizio di Calcolo dei LNF

49 26 maggio 2004 Servizio di Calcolo dei LNF

50 26 maggio 2004 Servizio di Calcolo dei LNF

51 26 maggio 2004 Servizio di Calcolo dei LNF

52 26 maggio 2004 Servizio di Calcolo dei LNF

53 26 maggio 2004 Servizio di Calcolo dei LNF

54 26 maggio 2004 Servizio di Calcolo dei LNF

55 26 maggio 2004 Servizio di Calcolo dei LNF

56 26 maggio 2004 Servizio di Calcolo dei LNF

57 26 maggio 2004 Servizio di Calcolo dei LNF

58 Riferimenti Rembo Documentazione e software Rembo: Presentazione e file di configurazione LNF 26 maggio 2004 Servizio di Calcolo dei LNF

59 Domande ? 26 maggio 2004 Servizio di Calcolo dei LNF