Definizione intuitiva di informazione Definizione quantitativa, misurabile By prof. Camuso

Senza, è impossibile affrontare in modo rigoroso temi quali l’elaborazione e la trasmissione delle informazioni By prof. Camuso

Trasmissione di messaggi da una sorgente S ad una destinatario D Rumore + Disturbo Rumore=fattori interni Disturbo=fattori esterni By prof. Camuso

Teoria dell’Informazione Branca della matematica applicata che si prefigge di definire una unità di misura dell’informazione e di approfondire le tecniche di rappresentazione (codifica) dei dati anche in relazione alle problematiche poste dalla loro trasmissione. By prof. Camuso

Questo quando si registra qualche cosa sull’hard disk. Esempio 1 elaboratore (sorgente), hard disk (destinatario), interfaccia e cavo SATA (canale trasmissivo). Questo quando si registra qualche cosa sull’hard disk. Quando si legge ovviamente sorgente e destinatario si invertono rumore e disturbo ? By prof. Camuso

il vostro cellulare e la torretta radio della compagnia telefonica Esempio 2 il vostro cellulare e la torretta radio della compagnia telefonica cellulare e torretta sono alternativamente la sorgente e la destinazione il canale è l’etere (facciamo finta che non ci sia l’aria …) rumore e disturbo ? By prof. Camuso

due pc che si scambiano dati Esempio 3 due pc che si scambiano dati usando la rete locale di nuovo, i due pc sono sia sorgente che destinazione; il canale può essere un cavo in rame (rete cablata) o l’etere (rete wireless) rumore e disturbo ? By prof. Camuso

Dati due messaggi, quale ha il maggior contenuto informativo? Quello più grande? Eppure un documento ‘zippato’ intuitivamente contiene la stessa quantità di informazione dell’originale… By prof. Camuso

Qual è la capacità massima di un canale (massimo numero di simboli trasmissibili in un secondo = banda passante)? E’ possibile accorgersi degli errori? Si possono correggere? A che ‘prezzo’? By prof. Camuso

Informazione e probabilità degli eventi interpretazione matematica dell’informazione legata alla probabilità del verificarsi di uno stato di un sistema tra tutti i possibili stati in cui può trovarsi. Maggiore è l’incertezza sullo stato e maggiore è l’informazione associata ad un messaggio che chiarisca quale sia questo stato By prof. Camuso

By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

(il terzo lo possiamo considerare trascurabile) 2 stati possibili (il terzo lo possiamo considerare trascurabile) ciascuno ha 1/2 = 0,5 = 50% di probabilità di verificarsi By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

di probabilità di verificarsi 6 stati possibili ciascuno ha 1/6 = 0,16 = 16% di probabilità di verificarsi By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

di probabilità di verificarsi 36 stati possibili ciascuno ha 1/36 = 0,03 = 3% di probabilità di verificarsi By prof. Camuso

Maggior numero di stati equiprobabili della sorgente = più informazione in un messaggio da essa emesso Sono le 16:20:53 Sono le 18:24 By prof. Camuso l’approssimativo … il precisino …

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

ciascuno ha 1/1440 = 0,0007 = 0,07% di probabilità di verificarsi 1440 stati possibili ciascuno ha 1/1440 = 0,0007 = 0,07% di probabilità di verificarsi By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

ciascuno ha 1/86400 = 0,00001 = 0,001% di probabilità di verificarsi 86400 stati possibili ciascuno ha 1/86400 = 0,00001 = 0,001% di probabilità di verificarsi By prof. Camuso

Ovvio, io so sempre di più di tutti … Quindi un messaggio che chiarisca lo stato del sistema ‘orologio del precisino’ ha un contenuto d’informazione notevolmente superiore perché ‘toglie’ maggiore incertezza Ovvio, io so sempre di più di tutti … By prof. Camuso

Eventi non equiprobabili: come calcolare il contenuto informativo medio dei messaggi emessi dalla sorgente ‘sistema solare’ in riferimento all’evento sorgere del sole? By prof. Camuso

minore probabilità (maggiore incertezza) maggiore informazione + stati = minore probabilità (maggiore incertezza) maggiore informazione codifica più lunga By prof. Camuso

Il prezzo per un contenuto informativo maggiore è una codifica più lunga dei messaggi emessi dalla sorgente Questo indipendentemente dall’alfabeto dei simboli usati e dalla codifica adottata By prof. Camuso

La relazione tra probabilità di un evento e contenuto informativo non definisce però un’unità di misura vera e propria. La teoria dell’informazione riconduce l’informazione a una sequenza di scelte binarie sì/no, vero/falso, 1/0 By prof. Camuso

Volendo un’informazione da una persona e potendo questa rispondere solo sì o no, con che strategia dovrei porre le domande? Esempio: gioco in cui i due partecipanti pensano ad un numero da 1 a 10000. Poi … By prof. Camuso

Soluzione: quella che ad ogni risposta dimezza l’incertezza. Quindi con il gioco di prima … By prof. Camuso

Applichiamolo al lancio di un dado. >3? 4 o 5 o 6 >5? 6 4 o 5 >4? 5 4 1 o 2 o 3 >2? 3 1 o 2 >1? 2 1 Domanda 1 Domanda 2 Domanda 3 3 bit (max; ma anche 2) By prof. Camuso

(dimezzamento incertezza) NON OTTIMALE   Valore del dado Messaggio 0 = risposta no 1 = risposta sì 1 2 3 4 5 6 D1 D2 D3 D4 D5 D6 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 0 0 1 By prof. Camuso

Con il sistema di numerazione binario lo stato di ogni risposta viene memorizzato usando un bit (0 od 1). Più risposte in successione corrispondono semplicemente a sequenze di 1 e 0 sempre in successione. By prof. Camuso

Quanti bit per codificare un orario? Si calcolano prima quanti stati possibili ci sono Si stima la potenza del 2 >= numero stati By prof. Camuso

Codificando separatamente ore minuti secondi Strategia 1 Codificando separatamente ore minuti secondi 24 ore: servono 5 bit 25 = 32>=24 60 minuti: servono 6 bit 26 = 64>=60 60 secondi: servono 6 bit 26 = 64>=60 In tutto: 5+6+6 = 17bit By prof. Camuso

Codificando l’orario come uno degli 86400 secondi Strategia 2 Codificando l’orario come uno degli 86400 secondi servono ancora 17 bit 217 = 131072 >= 86400 Ci sono casi in cui la strategia di codifica fornisce prestazioni diverse. By prof. Camuso

Sul pianeta XYZ ci sono 24 hh di 24 min di 24 sec Strategia 1 Codificando l’orario ore, minuti, secondi 24 ore: servono 5 bit 25 = 32>=24 24 minuti: servono 5 bit 25 = 32>=24 24 secondi: servono 5 bit 25 = 32>=24 In tutto: 5+5+5 = 15bit By prof. Camuso

Sul pianeta XYZ ci sono 24 di 24 minuti di 24 secondi Strategia 2 Codificando l’orario come uno degli 13824 secondi servono 14 (uno in meno!) bit 214 = 16384 >= 13824 By prof. Camuso

Che macchina hai visto passare? 1 Fiat 2 Kia 3 Ferrari 4 Citroen 38 2 4 3 107 1 Universal 2 Testa Rossa 3 … 1 500 2 600 3 650 … 38 3000 1 7000 2 7200 3 8000 … 107 1000000 1 utilitaria 2 city 3 berlina 4 sportiva By prof. Camuso

Che macchina hai visto passare? 3000 di cilindrata Testa Rossa sportiva Ferrari 1000000€ !! Marca 20 caratteri Modello 50 caratteri Cilindrata 4 caratteri Tipo Costo 8 caratteri By prof. Camuso

Se lo si invia un carattere alla volta Un messaggio testuale Se lo si invia un carattere alla volta ASCII 256 simboli (stati possibili) 8 bit infatti 28 = 256 UNICODE migliaia di simboli 16 bit 216 = 65536 By prof. Camuso

Un messaggio testuale Se lo si invia usando un dizionario di parole note sia alla sorgente che al destinatario: il numero di possibili stati è pari al numero di parole. Ad ogni parola viene assegnato un codice. La sorgente impiega però tempo a cercare il codice a partire dalla parola da trasmettere. Il destinario usa tempo per cercare la parola a partire dal codice ricevuto. By prof. Camuso

Se la si invia un sub pixel (RGB) alla volta Una immagine Se la si invia un sub pixel (RGB) alla volta 256 stati (le intensità di un colore) 8 bit infatti 28 = 256 By prof. Camuso

Se la si invia un pixel alla volta 2563 stati = 16777216 Una immagine Se la si invia un pixel alla volta 2563 stati = 16777216 24 bit infatti 224 = 16777216 By prof. Camuso

Una immagine con dizionario Se la si invia usando un dizionario di immagini. Ipotizziamo una risoluzione 1000x1000 e 256 livelli per ogni colore base (true color) By prof. Camuso

Una immagine con dizionario 1000x1000 = 1000000 pixel * 2563 = 16777216000000 stati! 44 bit infatti 244 = 17592186044416 UN MOMENTO… SOLO 44bit ??? By prof. Camuso

Semplice generalizzazione del caso immagine. Un video Semplice generalizzazione del caso immagine. By prof. Camuso

Caso interessante: la sorgente è analogica, non discreta. Un suono By prof. Camuso

By prof. Camuso

By prof. Camuso

By prof. Camuso

By prof. Camuso