Alle origini della scienza dellinformazione /4 Luca Mari

2 Dove ci siamo lasciati … Per portare informazione abbiamo bisogno di supporti fisici Un supporto fisico può essere usato in modo più o meno efficiente: A parità di quantità di supporto impegnato, la prima immagine porta una quantità di informazione assai minore! … e quindi dovrebbe essere possibile ridurre la quantità di supporto senza perdere informazione: la compressione 10 KB – 10 KB0,2 KB – 10 KB compressione

3 Supporti non efficienti? Il fenomeno per cui un supporto porta meno informazione di quella che potrebbe si chiama … ridondanza … una caratteristica fondamentale per caratterizzare la relazione tra mondo fisico e mondo dellinformazione, e assai diffusa nei sistemi che usiamo per comunicare Ma perché allora la accettiamo? La ridondanza è sempre e solo motivo di inefficienza, oppure esiste anche una ridondanza utile?

4 Ridondanza o ridondanze? Un chiarimento: una comunicazione (per esempio testuale) può includere livelli diversi di ridondanza: Ci-ci-ciao a tu-tuttinei componenti elementari (singoli caratteri o fonemi) Ciao a tuttiinternamente ai termini lessicali Ciao ciao a tuttinei termini lessicali Ciao a tutti: vi salutonella struttura semantica cia o nella situazione pragmatica

5 Comunicazione: obiettivi e condizioni Dal nostro punto di vista, lobiettivo generale della comunicazione è scambiare informazione Un supporto fisico impiegato per questo scopo dovrebbe consentire al destinatario della comunicazione di ricostruire integralmente linformazione inviatagli dal mittente; ma … mittentedestinatario supporto / canale ciaocibo … disturbi / rumore a cui il supporto è sottoposto distorcono, in generale, linformazione inviata Come assicurarsi che ciò non accada?

6 Per esempio: un gioco … Ognuno di noi deve comunicare agli altri il suo numero di telefono: 1. e ognuno, al suo turno, ha 10 secondi per parlare 2. e ognuno, al suo turno, ha 10 secondi per parlare in un ambiente rumoroso 3. e ognuno, al suo turno, ha 3 secondi per parlare 4. e ognuno, al suo turno, ha 3 secondi per parlare in un ambiente rumoroso

7 Qualche conclusione Un supporto a k stati porta al più log 2 (k) bit i di informazione … mentre la quantità minima di informazione che un supporto può portare è … 0 bit i, ovviamente! Se disponiamo di informazione per x<log 2 (k) bit i su un supporto a k stati (che quindi è ridondante), possiamo (se vogliamo eliminare la ridondanza …) ridurre il numero degli stati (cioè comprimere il supporto) fino a un valore k tale che x=log 2 (k) bit i Dunque il limite alla possibilità di compressione di un supporto è dato (naturalmente!) dalla quantità di informazione che esso deve portare

8 Il problema, dunque Come stabilire quanta informazione è portata effettivamente da un certo supporto? e quindi qual è il limite alla possibilità di comprimere quel supporto senza perdere linformazione che esso porta?

9 Un esempio Ho una classe di 100 studenti, e a ognuno devo comunicare un voto: A, B, C o D … … e per la comunicazione posso usare solo dispositivi bistabili, cioè bit m A B C D A priori, per esempio: In questo modo, per comunicare i 100 voti devo usare 200 bit m : possiamo ridurre questo valore?

10 Un esempio /2 Supponiamo che la distribuzione dei voti non sia uniforme, ma (voto e frequenza): A: 1/2B: 1/4C: 1/8D: 1/8 A B C D Supponiamo di ri-codificare i voti così : B A D C A Per cui, per esempio: Cioè la regola di codifica è corretta, nel senso che consente di ricostruire univocamente i voti

11 Un esempio /3 quanti bit m sono necessari per comunicare i 100 voti? Problema: con questa distribuzione e questa codifica: A: 1/2B: 1/4C: 1/8D: 1/8 e dato che i voti sono 100 … … siamo passati da 200 a 175 bit m … Abbiamo compresso il supporto! Ogni voto richiede in media 1*1/2+2*1/4+3*1/8+3*1/8 = 1,75 bit m

12 Un esempio /4 ci consente di giungere, per esemplificazione, a un risultato fondamentale a proposito di (quantità di) informazione: quanto meno è frequente / probabile unentità di informazione, tanto maggiore è la quantità di informazione che losservazione di tale entità porta La codifica che abbiamo adottato: A: 1/2B: 1/4C: 1/8D: 1/8

13

14

15 Qualche passo verso una formalizzazione Dato linsieme degli stati riconosciuti come possibili per il sistema fisico X = {x 1, …, x n }, ipotizziamo che nessuno di essi sia certo e nessuno impossibile Dunque a ogni x i losservatore dovrebbe essere in grado di associare un grado di (in)certezza Ci sa come si fa? Si usa, tipicamente, la funzione PROBABILITA

16 Qualche idea sulla probabilità Dato un insieme di stati X = {x 1, …, x n }, a ogni x i si associa un grado di certezza P(x i ) nellintervallo (0,1), tale che: P(x i )=0 significa che x i è giudicato impossibile P(x i )=1 significa che x i è giudicato certo P(x i )>P(x j ) significa che x i è giudicato più certo di x j e tale che: P(x i oppure x j )=P(x i )+P(x j ) e quindi i P(x i )=1

17 Probabilità e informazione Data la struttura probabilistica del sistema fisico impiegato come supporto per informazione: x 1, …, x n P(x 1 ), …, P(x n ) quale relazione ci dovrebbe essere tra la probabilità di x i e la quantità di informazione Qinf(x i ) che losservazione dello stato x i porta allosservatore ?

18 Probabilità e informazione /2 Qualche condizione: se P(x i )=1, QInf(x i )=0 (lo sapevo già …) se P(x i )=0, QInf(x i ) è indefinito (tanto non è osservabile …) … e più in generale: … e quella fondamentale: se P(x i )>P(x j ), QInf(x i )<QInf(x j )