LA GESTIONE DEI DATI.

Slides:



Advertisements
Presentazioni simili
Unità D1 Architetture di rete.
Advertisements

Linux la gestione dei dischi. Agenda I nomi delle unità fisiche in ambiente Linux Partizioni e associazione tra file system e unità Amministrare le unità
Disco magnetico (2) Ciascuna traccia è divisa in settori
Dischi in RAID  Redundant Array of Independent Disk Configurazione che permette di combinare più dischi secondo obiettivi di performance e ridondanza.
Luglio 2004Accesso al Disco Fisso1 Velocità di accesso al disco fisso.
Simulazione Computer Essentials
Belluno.linux.it 25 ottobre 2008 Centralina meteorologica fatta in casa Vedere il tempo che fa a casa propria quando si è lontani o mostrare agli amici.
D. Talia - UNICAL 1. 1 Sistemi Operativi Domenico Talia Facoltà di Ingegneria Università della Calabria.
Giuditta Cantoni, 4 E S.I.A I DATABASE. Definizione databese In informatica, il termine database, banca dati o base di dati (a volte abbreviato con il.
LTSP (Linux Terminal Server Project) GNU/Linux ed Workshop di Enrico Teotti powered with Gentoo Linux Linux Day LUG Mantova.
RAID Redundant Array of Inexpensive Disks Che cos'è Perché si usa Come funziona I tipi (principali) di RAID.
Configurazioni Hardware  Esistono diversi tipi di configurazioni hardware, a seconda del compito che il sistema dovrà svolgere:  Casa/Ufficio (tipicamente.
Orientamento. Il Kernel Il Kernel è un programma scritto in linguaggio vicino all'hardware che ha il compito di fornire ai processi in esecuzione sul.
E’ costituita da due blocchi:  Interfaccia di rete  Blocco di simulazione L’ interfaccia di rete fornisce il collegamento elettrico con la rete sotto.
Informatica di base FoLUG - Forlì Linux User Group - – 2012 Pag. 1 “Partizionamento” FoLUG Forlì Linux User Group Quello che occorre.
AFS NELLA SEZIONE DI PADOVA aree_utenti: attualmente nessuno ha la proria home in AFS e quasi nessuno utilizza l'area utenti di AFS. /usr/local: si preferisce.
Il calcolo per l’esperimento GERDA: prospettive per la Fase II Luciano Pandola INFN, Laboratori del Gran Sasso e Laboratori del Sud Workshop della CCR,
12/11/2016www.renatopatrignani.net1 DIETRO IL COMPUTER PORTE E PERIFERICHE.
14/11/ D E N T R O I L COMPUTER.
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
Approfondimento Porte USB e Interfacce In elettronica l'Universal Serial Bus (USB) è uno standard di comunicazione seriale che consente di collegare diverse.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
Concetti Di Base Informatica
Corso di Elementi di Informatica
Sistemi e Applicazioni per l’Amministrazione Digitale
Infrastruttura cloud servizi realizzata nella Sezione di Napoli
A scuola con il computer
Fondamenti di Informatica IL P.C. ED IL SOFTWARE
Riccardo Veraldi - Massimo Donatelli CCR 3-4 Marzo 2008
15.
Servizio di recupero dati
Sistemi e Applicazioni per l’Amministrazione Digitale
Prof. Giuseppe Chiumeo INTRODUZIONE Prof. Giuseppe Chiumeo
PRESENTAZIONE di RICCARDO
dCache Test effettuati al CNAF
CARATTERISTICHE DI UN DATACENTER
Engineering Faculty University of Messina, Italy Marco Scarpa
Installazione Storage 2016
Sistema di Analisi e di Acquisizione
Cloud per HA nei Servizi
Attivita’ e compiti del Servizio Impianti Calcolo e Reti
Stato tape CDG 6/10/2016.
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Sicurezza dati: Backup
Seconda lezione → Navigare nel File System
GPT Vs. MBR Vantaggi introdotti dalla formattazione con la tabella delle partizioni GPT.
Care and Feeding of the ALICE Grid
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Organizzazione fisica
INTRODUZIONE Il termine Informatica deriva dalla fusione dei termini INFORmazione autoMATICA si intende indicare la scienza che ha il compito di raccogliere,
ai termini e ai principi informatici utili per utilizzare Linux
analizzatore di protocollo
Fondamenti di Informatica IL P.C. ED IL SOFTWARE
Recupero polizze assicurative
Database
HARDWARE La struttura fisica interna ed esterna, prende il nome di hardware ( hard = duro ware = componente ). Comprende tutti i dispositivi del computer,
Salvataggio dei dati Principali memorie di massa:
MODULO 1 – Computer essentials
istalliamo l’ambiente di sviluppo - ide
Smart City.
© 2007 SEI-Società Editrice Internazionale, Apogeo
Unità D1 Architetture di rete.
Le reti informatiche di Roberto Minotti 17/01/2019.
Le reti informatiche di Roberto Minotti 15/02/2019.
LE PARTI INTERNE DEL COMPUTER
IA2 Massimo Sponza IA2 – Osservatorio Astronomico di Trieste 2018 ICT Workshop - Catania.
Parti interne del computer
Architettura del computer
Fondamenti di Informatica IL P.C. ED IL SOFTWARE
CLOUD.
Transcript della presentazione:

LA GESTIONE DEI DATI

I PESI IN GIOCO Un film contiene mediamente 130.000 ftg Ogni ftg a 2k pesa 12,5 MB quindi un film pesa circa 1,5 TB Se fosse a 4k peserebbe 50 MB per un totale di circa 6 TB Anche i film b/n vengono acquisiti in RGB Un film in HD non compresso pesa quasi 800 GB Un film in SD pesa in media 27 GB Una foto pesa in media 40 MB

Il tutto assistito da numerosi servizi: IL TRAFFICO Il sistema ha in carico: 1 scanner cine 1 telecinama 6 scanner foto 3 postazioni di montaggio Backup in duplice copia Restore di filmati, tape e foto Generazione di file di consultazione Generazione di snapshot Creazione di thumbnail Il tutto assistito da numerosi servizi: Ingest di filmati, tape e foto Dialoga con diversi Sisemi Operativi: MacOs X Linux Stornext Doremì Windows 2000 server, 2003 server, Xp, Vista

STANDARD DI COMUNICAZIONE USB 2 (universal serial bus) 480 Mbit/s (280 Mb/s) USB 3 (universal serial bus) 4,8 Gbit/s (3,2 Gb/s) Firewire (IEEE1394) 800 Mbit/s Ethernet rame (Rj 45) 1 Gbit/s Ethernet fibra 4/8 Gbit/s

HARD DISK Velocità di rotazione 5.400 rpm Hd per portatili 7.200 rpm Hd standard 10.000 rpm Hd server 15.000 rpm Hd alte prestazioni Tipo di interfaccia Ide 66 MB/s ormai in disuso Sata 100/150 MB/s i più diffusi Scsi 400 MB per uso professionale Fibra 2/4 GB/ per sistemi complessi Memoria di buffer Da 8 a 32 Mbyte

CONFIGURAZIONI RAID Redundant Array of Inexpensive Disks Raid 0 (streeping) Distribuisce il dato su più dischi. Maggiore è il numero dei dischi maggiore sarà la velocità ma aumenta anche il pericolo di perdita dei dati. Raid 1 (mirror) Occorrono due dischi identici. I dati del disco 1 sono copiati per intero sul disco 2, In caso di rottura del disco 1 subentra in automatico il disco 2. Si perde il 50% della capacità disco Raid 3 Occorrono almeno 3 dischi identici. I dati sono spartiti tra i primi due guadagnando in velocità e il terzo disco è usato per il controllo di parità che garntisce il recupero dei dati in caso di rottura di un disco. Si perde il 33% della capacità disco Raid 5 Occorrono almeno 4 dischi identici. Funziona come un Raid 3 ma la parità non è solo sul terzo disco ma è distribuita su ogni unità. Questo velocizza ulteriormente il sistema Raid 6 Come il Raid 5 ma con un disco di Spare. In pratica un doppio controllo di parità; sacrificando un disco ci si può permettere di avere fino a 2 hd in avaria senza perdere i dati

RAID 0 (Streeping) 1 1 Vantaggi Maggiore è il numero di dischi maggiore sarà la velocità La capacità totale è la somma dei dischi Svantaggi Maggiore è il numero di dischi maggiore sarà la possibilità di perdere definitivamente i dati 1 1 1 1 HD 1 HD 2

RAID 1 Vantaggi Buona sicurezza dei dati Svantaggi (Mirror) Vantaggi Buona sicurezza dei dati Svantaggi Lentezza del sistema Lo spazio utilizzato è la metà del totale 1 1 1 1 1 1 HD 1 HD 2

RAID 3 Tabella di parità Vantaggi Buona velocità Buona sicurezza dei dati Si perde solo il 33% della capacità totale Svantaggi Servono almeno 3 dischi 0 0 1 1 1 0 1 0 1 0 0 1 1 1 1 1 1 HD 1 HD 2 HD controllo parità

RAID 5 Tabella di parità Vantaggi Eccellente velocità Ottima sicurezza dei dati Si perde solo il 25% della capacità totale Svantaggi Servono almeno 4 dischi 0 0 1 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 HD 1 HD 2 HD 3 HD 4

RAID 6 Tabella di parità Vantaggi Eccellente velocità Eccellente sicurezza dei dati Svantaggi Servono almeno 5 dischi Si perde il 35% dello spazio totale 0 0 1 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 HD 1 HD 2 HD 3 HD 4 HD controllo parità

COFFEE BREAK

I dati possono essere memorizzati e diffusi in varie maniere: LO STORAGE I dati possono essere memorizzati e diffusi in varie maniere: DAS (direct attached storage) Sono dischi generalmente in raid collegati ad un solo computer NAS (network attached storage) Sono dischi in raid collegati a più computer tramite una rete SAN (storage area network) Sono dischi in raid collegati a più computer tramite una rete propria e spesso usa file system proprietari

LA SAN E’ il cuore di ogni sistema informatico E’ un insieme i dischi ad alte prestazioni Ha spesso un suo file system (stornext) Permette di impostare diverse policy class Ha un assistenza h24 di primo livello E’ divisa in 2 aree distinte: una parte di produzione visibile a tutte le macchine una parte di gestione visibile solo al file system (20 TB) La parte visibile è divisa in tre aree di chache: una partizione da 15,4 TB per la parte Cine una partizione da 12,7 TB per la parte Video una partizione da 5,4 TB per i Servizi Viaggia su fibra a 4 Gb 53,5 TB

LA LIBRERIA E’ un’unità robotizzata che effettua backup Può scrivere su vari supporti Può supportare vari drive La libreria è solo un jukebox! E’ STORNEXT che definisce le policy di backup. ADIC Scalar i500 ha 120 slot ha 3 drive scrive su LTO3 da 400/800 GB viaggia su fibra a 4 Gb gestisce 3 archivi di cui 2 in doppia copia (presto saranno 4)

L’AUTOSTRADA INFORMATICA Unmanaged area Das E1 Das S Edit 1 Scanner Das E2 Das V Edit 2 Videoserver SAN Das R Das T Restoration Telecinema

LA GESTIONE Unmanaged area SAN Stornext MDC1 MDC2 SQL Database Managed Libreria

IL BACKUP E’ la l’operazione che mette in sicurezza i dati L’ideale è avere 3 copie su 3 diversi supporti Vanno conservati in luoghi diversi CINE 1 CINE 2 Archivio CINE Scalar i500 VIDEO 1 VIDEO 2 Archivio VIDEO FOTOGRAFICO

n stazioni di scansione IL FOTOGRAFICO n stazioni di scansione Server Thumbnail Fill Db Jpg Cache 6 pc point to point 12 canali input NAS SAN Libreria

I SERVIZI Unmanaged area STORNEXT SAN SQL TRANSCODE Managed area Truncate Backup SAN SQL TRANSCODE Low res Snap Shot Managed area Libreria

LA SICUREZZA Abbiamo 2 livelli di sicurezza: Ambiente Hardware - Ambientale - Hardware Ambiente Gli LTO vanno mantenuti entro i 26° La principale causa di incendio è da attribuire a disfunzioni degli impianti elettrici Hardware Il sistema NON TOLLERA spegnimenti irrazionali Spegnere la SAN comporta un lavoro misurabile in ore con il conseguente blocco totale di tutte le attività

AMBIENTE La temperatura è stabilizzata a 18° e l’umidità è del 40% La gran quantità di dischi e di server genera anche una gran quantità i calore La temperatura è stabilizzata a 18° e l’umidità è del 40% In caso di blocco della macchina condizionatrice avviene: Un allarme telefonico dato dalla stessa macchina condizionatrice Un allarme telefonico dato da un sensore ambientale al raggiungimento dei 20° Lo spegnimento automatico di tutti i dischi di servizio al raggiungimento dei 24° L’eventuale spegnimento dell’intero sistema via rete eseguibile da telefono Sistema antincendio automatico a gas inerte

La SAN non deve MAI arrestarsi incontrollatamente HARDAWARE Un server si differenzia da un computer in quanto ha molte parti ridondate Tutti i dischi e gli alimentatori possono essere sostituiti a caldo La SAN non deve MAI arrestarsi incontrollatamente Stornext è istallato su due server identici di cui uno lavora, l’altro riamane pronto Una “ciabatta” elettrica switcha instantanemate all’altro server in caso di faillure Un UPS da 24 KV/A garantisce l’energia in caso di blackout

RIEPILOGANDO Stornext Database Transcode

DOMANDE?