METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura dellinformazione Giorgio Goldoni

IL BIT LA MISURA DELLINFORMAZIONE

bit = binary digit (numero binario)

1 | |||| |||| || || || | 1

1 0 || |||| |||| || || || | 2

1 1 ||| |||| |||| || || || | 3

1 0 0 |||| |||| |||| || || || | 4

1 0 1 ||||| |||| |||| || || || | 5

1 1 0 |||||| |||| |||| || || || | 6

1 1 1 ||||||| |||| |||| || || || | 7

|||||||| |||| |||| || || || | 8

||||||||| |||| |||| || || || | 9

|||||||||| |||| |||| || || || | 10

|||||||||| | |||| |||| || || || | 11

|||||||||| || |||| |||| || || || | 12

|||||||||| ||| |||| |||| || || || | 13

|||||||||| |||| |||| |||| || || || | 14

|||||||||| ||||| 15

×

byte = sequenza di 8 bit

kilobyte byte bit

Megabyte kilobyte byte bit

Gigabyte Megabyte byte bit

binit = binary digit

Codifica binaria a lunghezza fissa

MilanoMessina Sole25%50% Pioggia25% Coperto25%12,5% Nebbia25%12,5%

messaggiocodifica Sole00 Pioggia01 Coperto10 Nebbia11

Esempio di codifica: Sole-Coperto-Coperto-Pioggia:

Esempio di decodifica: Pioggia-Nebbia-Sole-Pioggia

2 binit per messaggio

MilanoMessina Sole25%50% Pioggia25% Coperto25%12,5% Nebbia25%12,5%

Codifica binaria a lunghezza variabile Idea: codifiche corte per messaggi frequenti codifiche lunghe per messaggi rari

MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia000112,5%

Esempio di codifica: Sole-Sole-Pioggia-Coperto:

Esempio di decodifica: Pioggia-Sole-Sole-Nebbia

Su 8 messaggi ce ne sono in media: 4 di 1 binit 2 di 2 binit 1 di 3 binit 1 di 4 binit Lunghezza media di un messaggio binit

Perché da Messina è possibile inviare messaggi con codifiche più brevi che da Milano? È possibile ridurre ulteriormente la lunghezza media dei messaggi? Esiste un limite inferiore alla lunghezza media dei messaggi?

La sequenza di binit usata per la codifica dei possibili messaggi di una sorgente può essere interpretata come una strategia di domande da porre ad un oracolo binario, cioè un essere onnisciente che risponde solo con dei sì e con dei no, al fine di indovinare un messaggio.

Sole o Pioggia? Sole? sìno Coperto? sì no SolePioggiaCopertoNebbia Strategia ottimale per Milano Sempre 2 domande per messaggio

sìno sì no Sole? Sole Pioggia? Pioggia Coperto? Coperto Nebbia Strategia ottimale per Messina In media 1,75 domande per messaggio Su 8 volte: 4 volte 1 domanda 2 volte 2 domande 2 volte 3 domande

MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia000112,5%

MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia00012,5%

sìno sì no Sole? Sole Pioggia? Pioggia Coperto? Coperto Nebbia Strategia non ottimale per Milano In media 2,25 domande per messaggio Su 4 volte: 1 volta 1 domanda 1 volta 2 domande 2 volte 3 domande

Studio del caso di n messaggi equiprobabili

n2n2n log 2 mm

…… × 2 + 1

…… : 2 - 1

…… -30, ,25 0, …… : 2 - 1

+1 = +0,5 +0,5 ×2 = ×1,4142 ×1,4142

…… -20,25 -1,50,3536 0,5 -0,50, ,51, ,52, …… × 1, ,5

+0,5 = +0,25 +0,25 ×1,4142 = ×1,1892 ×1,1892

…… 0,5 -0,750, ,50, ,250, ,251,1892 0,51,4142 0,751, …… × 1, ,25

?

Strategia per indovinare uno di tre messaggi equiprobabili 1 domanda 1/3 delle volte 2 domande 2/3 delle volte Media domande:

3 messaggi: A B C 9 coppie di messaggi: AA AB AC BA BB BC CA CB CC

3 domande 7/9 delle volte 4 domande 2/9 delle volte Media domande: per 2 messaggi per messaggio

27 terne di messaggi: AAA AAB AAC ABA ABB ABC ACA ACB ACC BAA BAB BAC BBA BBB BBA BCA BCB BCC CAA CAB CAC CBA CBB CBC CCA CCB CCC

4 domande 5/27 delle volte 5 domande 22/27 delle volte Media domande: 3 messaggi per messaggio

quaterne di messaggi. Ci sono Essendooccorrono dalle 6 alle 7 domande per indovinare una quaterna di messaggi. per cui in 34 casi occorre fare 7 domande e 6 domande nei rimanenti 47 casi.

Gruppi di 5 messaggi: Media domande:

Per indovinare 1 tra n messaggi equiprobabili è possibile usare una strategia il cui numero medio di domande per messaggio da formulare a un oracolo binario si avvicini a piacere al valore

Analogamente è possibile codificare gli n messaggi equiprobabili usando un numero medio di binit per messaggio che si avvicina a piacere al valore

Probabilità di ciascun messaggio: Limite inferiore al numero medio di domande da porre alloracolo binario per indovinare il messaggio:

Più in generale affermiamo che il verificarsi di un evento casuale di probabilità p fornisce uninformazione di bit

La quantità di informazione è tanto maggiore quanto più levento è raro. Un evento certo fornisce una quantità nulla di informazione.

SORGENTE DI INFORMAZIONE SENZA MEMORIA Trasmette n tipi di messaggi diversi, ciascuno indipendente dal precedente, e con una determinata probabilità.

ENTROPIA DI INFORMAZIONE Quantità media di informazione ricevuta da un messaggio

Lentropia di informazione rappresenta il limite inferiore, approssimabile a piacere, del numero medio di domande da porre ad un oracolo binario per indovinare il messaggio trasmesso dalla sorgente o, equivalentemente, il limite inferiore, approssimabile a piacere, del numero medio di binit per codificare un messaggio.

Stazione meteorologica di Milano MessaggioProbabilità Sole1/4 Pioggia1/4 Coperto1/4 Nebbia1/4

Stazione meteorologica di Messina MessaggioProbabilità Sole1/2 Pioggia1/4 Coperto1/8 Nebbia1/8

Quando, per la stazione meteorologica di Messina, utilizziamo una codifica di 2 binit per messaggio, ogni binit non trasporta un bit di informazione, ma con un rendimento dell87,5% e una ridondanza del 12,5%.

UN BINIT TRASPORTA AL MASSIMO UN BIT DI INFORMAZIONE

Claude E. Shannon (1916 – 2001)

D

DD

DDD

DDDB

DDDBD

DDDBDB

DDDBDBS

DDDBDBSS

DDDBDBSSA

DDDBDBSSAS

DDDBDBSSASS

DDDBDBSSASSA

SpostamentoCodifica Destra00 Sinistra01 Alto10 Basso11

D D D B D B S S A S S A

D D D B D B S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D A S S A S S A

D D D B D B S S A S S A

Idea: 1. Eliminare tutta la ridondanza, ricorrendo ad una codifica idealmente coincidente con lentropia di informazione 2. Aggiungere una ridondanza organizzata per proteggere il messaggio dal rumore

Ogni m binit di messaggio aggiungo c binit di controllo. I c binit di controllo possono assumere 2 c configurazioni diverse, le quali devono poter indicare quale degli m + c binit è stato ricevuto in modo errato oppure se il messaggio non contiene errori.

Con c binit di controllo posso tentare di proteggere un messaggio di lunghezza

Sole-Sole-Pioggia

Richard W. Hamming (1915 – 1998)