Definizione intuitiva di informazione

Presentazione sul tema: "Definizione intuitiva di informazione"— Transcript della presentazione:

1 Definizione intuitiva di informazione
Definizione quantitativa, misurabile By prof. Camuso

2 Senza, è impossibile affrontare in modo rigoroso temi quali l’elaborazione e la trasmissione delle informazioni By prof. Camuso

3 Trasmissione di messaggi da una sorgente S ad una destinatario D
Rumore + Disturbo Rumore=fattori interni Disturbo=fattori esterni By prof. Camuso

4 Teoria dell’Informazione
Branca della matematica applicata che si prefigge di definire una unità di misura dell’informazione e di approfondire le tecniche di rappresentazione (codifica) dei dati anche in relazione alle problematiche poste dalla loro trasmissione. By prof. Camuso

5 Questo quando si registra qualche cosa sull’hard disk.
Esempio 1 elaboratore (sorgente), hard disk (destinatario), interfaccia e cavo SATA (canale trasmissivo). Questo quando si registra qualche cosa sull’hard disk. Quando si legge ovviamente sorgente e destinatario si invertono rumore e disturbo ? By prof. Camuso

6 il vostro cellulare e la torretta radio della compagnia telefonica
Esempio 2 il vostro cellulare e la torretta radio della compagnia telefonica cellulare e torretta sono alternativamente la sorgente e la destinazione il canale è l’etere (facciamo finta che non ci sia l’aria …) rumore e disturbo ? By prof. Camuso

7 due pc che si scambiano dati
Esempio 3 due pc che si scambiano dati usando la rete locale di nuovo, i due pc sono sia sorgente che destinazione; il canale può essere un cavo in rame (rete cablata) o l’etere (rete wireless) rumore e disturbo ? By prof. Camuso

8 Dati due messaggi, quale ha il maggior contenuto informativo?
Quello più grande? Eppure un documento ‘zippato’ intuitivamente contiene la stessa quantità di informazione dell’originale… By prof. Camuso

9 Qual è la capacità massima di un canale (massimo numero di simboli trasmissibili in un secondo = banda passante)? E’ possibile accorgersi degli errori? Si possono correggere? A che ‘prezzo’? By prof. Camuso

10 Informazione e probabilità degli eventi
interpretazione matematica dell’informazione legata alla probabilità del verificarsi di uno stato di un sistema tra tutti i possibili stati in cui può trovarsi. Maggiore è l’incertezza sullo stato e maggiore è l’informazione associata ad un messaggio che chiarisca quale sia questo stato By prof. Camuso

11 By prof. Camuso

12 QUANTI stati possibili? Che percentuale di probabilità
ha ogni stato di verificarsi? By prof. Camuso

13 (il terzo lo possiamo considerare trascurabile)
2 stati possibili (il terzo lo possiamo considerare trascurabile) ciascuno ha 1/2 = 0,5 = 50% di probabilità di verificarsi By prof. Camuso

14 QUANTI stati possibili? Che percentuale di probabilità
ha ogni stato di verificarsi? By prof. Camuso

15 di probabilità di verificarsi
6 stati possibili ciascuno ha 1/6 = 0,16 = 16% di probabilità di verificarsi By prof. Camuso

16 QUANTI stati possibili? Che percentuale di probabilità
ha ogni stato di verificarsi? By prof. Camuso

17 di probabilità di verificarsi
36 stati possibili ciascuno ha 1/36 = 0,03 = 3% di probabilità di verificarsi By prof. Camuso

18 Maggior numero di stati equiprobabili della sorgente
= più informazione in un messaggio da essa emesso Sono le 16:20:53 Sono le 18:24 By prof. Camuso l’approssimativo … il precisino …

19 QUANTI stati possibili? Che percentuale di probabilità
ha ogni stato di verificarsi? By prof. Camuso

20 ciascuno ha 1/1440 = 0,0007 = 0,07% di probabilità di verificarsi
1440 stati possibili ciascuno ha 1/1440 = 0,0007 = 0,07% di probabilità di verificarsi By prof. Camuso

21 QUANTI stati possibili? Che percentuale di probabilità
ha ogni stato di verificarsi? By prof. Camuso

22 ciascuno ha 1/86400 = 0,00001 = 0,001% di probabilità di verificarsi
86400 stati possibili ciascuno ha 1/86400 = 0,00001 = 0,001% di probabilità di verificarsi By prof. Camuso

23 Ovvio, io so sempre di più di tutti …
Quindi un messaggio che chiarisca lo stato del sistema ‘orologio del precisino’ ha un contenuto d’informazione notevolmente superiore perché ‘toglie’ maggiore incertezza Ovvio, io so sempre di più di tutti … By prof. Camuso

24 Eventi non equiprobabili: come calcolare il contenuto
informativo medio dei messaggi emessi dalla sorgente ‘sistema solare’ in riferimento all’evento sorgere del sole? By prof. Camuso

25 minore probabilità (maggiore incertezza) maggiore informazione
+ stati = minore probabilità (maggiore incertezza) maggiore informazione codifica più lunga By prof. Camuso

26 Il prezzo per un contenuto informativo maggiore è una codifica più lunga dei messaggi emessi dalla sorgente Questo indipendentemente dall’alfabeto dei simboli usati e dalla codifica adottata By prof. Camuso

27 La relazione tra probabilità di un evento e contenuto informativo non definisce però un’unità di misura vera e propria. La teoria dell’informazione riconduce l’informazione a una sequenza di scelte binarie sì/no, vero/falso, 1/0 By prof. Camuso

28 Volendo un’informazione da una persona e potendo questa rispondere solo sì o no, con che strategia dovrei porre le domande? Esempio: gioco in cui i due partecipanti pensano ad un numero da 1 a Poi … By prof. Camuso

29 Soluzione: quella che ad ogni risposta dimezza l’incertezza.
Quindi con il gioco di prima … By prof. Camuso

30 Applichiamolo al lancio di un dado.
>3? 4 o 5 o 6 >5? 6 4 o 5 >4? 5 4 1 o 2 o 3 >2? 3 1 o 2 >1? 2 1 Domanda 1 Domanda 2 Domanda 3 3 bit (max; ma anche 2) By prof. Camuso

31 (dimezzamento incertezza) NON OTTIMALE
Valore del dado Messaggio 0 = risposta no 1 = risposta sì 1 2 3 4 5 6 D1 D2 D3 D4 D5 D6 By prof. Camuso

32 Con il sistema di numerazione binario lo stato di ogni risposta viene memorizzato usando un bit (0 od 1). Più risposte in successione corrispondono semplicemente a sequenze di 1 e 0 sempre in successione. By prof. Camuso

33 Quanti bit per codificare un orario?
Si calcolano prima quanti stati possibili ci sono Si stima la potenza del 2 >= numero stati By prof. Camuso

34 Codificando separatamente ore minuti secondi
Strategia 1 Codificando separatamente ore minuti secondi 24 ore: servono 5 bit 25 = 32>=24 60 minuti: servono 6 bit 26 = 64>=60 60 secondi: servono 6 bit 26 = 64>=60 In tutto: = 17bit By prof. Camuso

35 Codificando l’orario come uno degli 86400 secondi
Strategia 2 Codificando l’orario come uno degli secondi servono ancora 17 bit = >= 86400 Ci sono casi in cui la strategia di codifica fornisce prestazioni diverse. By prof. Camuso

36 Sul pianeta XYZ ci sono 24 hh di 24 min di 24 sec
Strategia 1 Codificando l’orario ore, minuti, secondi 24 ore: servono 5 bit 25 = 32>=24 24 minuti: servono 5 bit 25 = 32>=24 24 secondi: servono 5 bit 25 = 32>=24 In tutto: = 15bit By prof. Camuso

37 Sul pianeta XYZ ci sono 24 di 24 minuti di 24 secondi
Strategia 2 Codificando l’orario come uno degli secondi servono 14 (uno in meno!) bit = >= 13824 By prof. Camuso

38 Che macchina hai visto passare?
1 Fiat 2 Kia 3 Ferrari 4 Citroen 38 2 4 3 107 1 Universal 2 Testa Rossa 3 … 1 500 2 600 3 650 … 38 3000 1 7000 2 7200 3 8000 … 107 1 utilitaria 2 city 3 berlina 4 sportiva By prof. Camuso

39 Che macchina hai visto passare?
3000 di cilindrata Testa Rossa sportiva Ferrari € !! Marca 20 caratteri Modello 50 caratteri Cilindrata 4 caratteri Tipo Costo 8 caratteri By prof. Camuso

40 Se lo si invia un carattere alla volta
Un messaggio testuale Se lo si invia un carattere alla volta ASCII 256 simboli (stati possibili) 8 bit infatti 28 = 256 UNICODE migliaia di simboli 16 bit 216 = 65536 By prof. Camuso

41 Un messaggio testuale Se lo si invia usando un dizionario di parole note sia alla sorgente che al destinatario: il numero di possibili stati è pari al numero di parole. Ad ogni parola viene assegnato un codice. La sorgente impiega però tempo a cercare il codice a partire dalla parola da trasmettere. Il destinario usa tempo per cercare la parola a partire dal codice ricevuto. By prof. Camuso

42 Se la si invia un sub pixel (RGB) alla volta
Una immagine Se la si invia un sub pixel (RGB) alla volta 256 stati (le intensità di un colore) 8 bit infatti 28 = 256 By prof. Camuso

43 Se la si invia un pixel alla volta 2563 stati = 16777216
Una immagine Se la si invia un pixel alla volta 2563 stati = 24 bit infatti 224 = By prof. Camuso

44 Una immagine con dizionario
Se la si invia usando un dizionario di immagini. Ipotizziamo una risoluzione 1000x1000 e 256 livelli per ogni colore base (true color) By prof. Camuso

45 Una immagine con dizionario
1000x1000 = pixel * 2563 = stati! 44 bit infatti 244 = UN MOMENTO… SOLO 44bit ??? By prof. Camuso

46 Semplice generalizzazione del caso immagine.
Un video Semplice generalizzazione del caso immagine. By prof. Camuso

47 Caso interessante: la sorgente è analogica, non discreta. Un suono
By prof. Camuso

48 By prof. Camuso

49 By prof. Camuso

50 By prof. Camuso

51 By prof. Camuso