La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Definizione intuitiva di informazione Definizione quantitativa, misurabile By prof. Camuso.

Presentazioni simili


Presentazione sul tema: "Definizione intuitiva di informazione Definizione quantitativa, misurabile By prof. Camuso."— Transcript della presentazione:

1 Definizione intuitiva di informazione Definizione quantitativa, misurabile By prof. Camuso

2 Senza, è impossibile affrontare in modo rigoroso temi quali lelaborazione e la trasmissione delle informazioni By prof. Camuso

3 Rumore + Disturbo Trasmissione di messaggi da una sorgente S ad una destinatario D Rumore=fattori interni Disturbo=fattori esterni By prof. Camuso

4 Teoria dellInformazione Branca della matematica applicata che si prefigge di definire una unità di misura dellinformazione e di approfondire le tecniche di rappresentazione (codifica) dei dati anche in relazione alle problematiche poste dalla loro trasmissione. By prof. Camuso

5 Esempio 1 elaboratore (sorgente), hard disk (destinatario), interfaccia e cavo SATA (canale trasmissivo). Questo quando si registra qualche cosa sullhard disk. Quando si legge ovviamente sorgente e destinatario si invertono rumore e disturbo ? By prof. Camuso

6 Esempio 2 il vostro cellulare e la torretta radio della compagnia telefonica cellulare e torretta sono alternativamente la sorgente e la destinazione il canale è letere (facciamo finta che non ci sia laria …) rumore e disturbo ? By prof. Camuso

7 Esempio 3 due pc che si scambiano dati usando la rete locale di nuovo, i due pc sono sia sorgente che destinazione; il canale può essere un cavo in rame (rete cablata) o letere (rete wireless) rumore e disturbo ? By prof. Camuso

8 Dati due messaggi, quale ha il maggior contenuto informativo? Quello più grande? Eppure un documento zippato intuitivamente contiene la stessa quantità di informazione delloriginale… By prof. Camuso

9 Qual è la capacità massima di un canale (massimo numero di simboli trasmissibili in un secondo = banda passante)? E possibile accorgersi degli errori? Si possono correggere? A che prezzo? By prof. Camuso

10 Informazione e probabilità degli eventi interpretazione matematica dellinformazione legata alla probabilità del verificarsi di uno stato di un sistema tra tutti i possibili stati in cui può trovarsi. Maggiore è lincertezza sullo stato e maggiore è linformazione associata ad un messaggio che chiarisca quale sia questo stato By prof. Camuso

11

12 QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi?

13 By prof. Camuso 2 stati possibili (il terzo lo possiamo considerare trascurabile) ciascuno ha 1/2 = 0,5 = 50% di probabilità di verificarsi

14 By prof. Camuso QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi?

15 By prof. Camuso 6 stati possibili ciascuno ha 1/6 = 0,16 = 16% di probabilità di verificarsi

16 By prof. Camuso QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi?

17 By prof. Camuso 36 stati possibili ciascuno ha 1/36 = 0,03 = 3% di probabilità di verificarsi

18 Maggior numero di stati equiprobabili della sorgente = più informazione in un messaggio da essa emesso Sono le 18:24 Sono le 16:20:53 lapprossimativo …il precisino … By prof. Camuso

19 QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi?

20 1440 stati possibili ciascuno ha 1/1440 = 0,0007 = 0,07% di probabilità di verificarsi By prof. Camuso

21 QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

22 86400 stati possibili ciascuno ha 1/86400 = 0,00001 = 0,001% di probabilità di verificarsi By prof. Camuso

23 Quindi un messaggio che chiarisca lo stato del sistema orologio del precisino ha un contenuto dinformazione notevolmente superiore perché toglie maggiore incertezza Ovvio, io so sempre di più di tutti … By prof. Camuso

24 Eventi non equiprobabili: come calcolare il contenuto informativo medio dei messaggi emessi dalla sorgente sistema solare in riferimento allevento sorgere del sole? By prof. Camuso

25 + stati = minore probabilità (maggiore incertezza) = maggiore informazione = codifica più lunga By prof. Camuso

26 Il prezzo per un contenuto informativo maggiore è una codifica più lunga dei messaggi emessi dalla sorgente Questo indipendentemente dallalfabeto dei simboli usati e dalla codifica adottata By prof. Camuso

27 La relazione tra probabilità di un evento e contenuto informativo non definisce però ununità di misura vera e propria. La teoria dellinformazione riconduce linformazione a una sequenza di scelte binarie sì/no, vero/falso, 1/0 By prof. Camuso

28 Volendo uninformazione da una persona e potendo questa rispondere solo sì o no, con che strategia dovrei porre le domande? Esempio: gioco in cui i due partecipanti pensano ad un numero da 1 a Poi … By prof. Camuso

29 Soluzione: quella che ad ogni risposta dimezza lincertezza. Quindi con il gioco di prima … By prof. Camuso

30 Applichiamolo al lancio di un dado. >3?4 o 5 o 6>5?64 o 5>4?541 o 2 o 3>2?31 o 2>1?21 Domanda 1 Domanda 2 Domanda 3 By prof. Camuso 3 bit (max; ma anche 2)

31 By prof. Camuso OTTIMALE (dimezzamento incertezza) NON OTTIMALE Valor e del dado Messaggio 0 = risposta no 1 = risposta sì Messaggio 0 = risposta no 1 = risposta sì D1D2D3D1D2D3D4D5D

32 Con il sistema di numerazione binario lo stato di ogni risposta viene memorizzato usando un bit (0 od 1). Più risposte in successione corrispondono semplicemente a sequenze di 1 e 0 sempre in successione. By prof. Camuso

33 Quanti bit per codificare un orario? 1)Si calcolano prima quanti stati possibili ci sono 2)Si stima la potenza del 2 >= numero stati

34 By prof. Camuso Strategia 1 Codificando separatamente ore minuti secondi 24 ore: servono 5 bit 2 5 = 32>=24 60 minuti: servono 6 bit 2 6 = 64>=60 60 secondi:servono 6 bit 2 6 = 64>=60 In tutto: = 17bit

35 By prof. Camuso Strategia 2 Codificando lorario come uno degli secondi servono ancora 17 bit 2 17 = >= Ci sono casi in cui la strategia di codifica fornisce prestazioni diverse.

36 By prof. Camuso Sul pianeta XYZ ci sono 24 hh di 24 min di 24 sec Strategia 1 Codificando lorario ore, minuti, secondi 24 ore: servono 5 bit 2 5 = 32>=24 24 minuti: servono 5 bit 2 5 = 32>=24 24 secondi:servono 5 bit 2 5 = 32>=24 In tutto: = 15bit

37 By prof. Camuso Sul pianeta XYZ ci sono 24 di 24 minuti di 24 secondi Strategia 2 Codificando lorario come uno degli secondi servono 14 (uno in meno!) bit 2 14 = >= 13824

38 Che macchina hai visto passare? By prof. Camuso Fiat 2Kia 3Ferrari 4Citroen 1Universal 2Testa Rossa 3… …… utilitaria 2city 3berlina 4sportiva ……

39 Che macchina hai visto passare? Ferrari !! By prof. Camuso Testa Rossa 3000 di cilindrata sportiva Marca20 caratteri Modello50 caratteri Cilindrata4 caratteri Tipo20 caratteri Costo8 caratteri

40 Un messaggio testuale By prof. Camuso Se lo si invia un carattere alla volta ASCII 256 simboli (stati possibili) 8 bit infatti 2 8 = 256 UNICODE migliaia di simboli 16 bit 2 16 = 65536

41 Un messaggio testuale By prof. Camuso Se lo si invia usando un dizionario di parole note sia alla sorgente che al destinatario: il numero di possibili stati è pari al numero di parole. Ad ogni parola viene assegnato un codice. La sorgente impiega però tempo a cercare il codice a partire dalla parola da trasmettere. Il destinario usa tempo per cercare la parola a partire dal codice ricevuto.

42 Una immagine By prof. Camuso Se la si invia un sub pixel (RGB) alla volta 256 stati (le intensità di un colore) 8 bit infatti 2 8 = 256

43 Una immagine By prof. Camuso Se la si invia un pixel alla volta stati = bit infatti 2 24 =

44 Una immagine con dizionario By prof. Camuso Se la si invia usando un dizionario di immagini. Ipotizziamo una risoluzione 1000x1000 e 256 livelli per ogni colore base (true color)

45 Una immagine con dizionario By prof. Camuso 1000x1000 = pixel * = stati! 44 bit infatti 2 44 = UN MOMENTO… SOLO 44bit ???

46 Un video By prof. Camuso Semplice generalizzazione del caso immagine.

47 Un suono By prof. Camuso Caso interessante: la sorgente è analogica, non discreta.

48 By prof. Camuso

49

50

51


Scaricare ppt "Definizione intuitiva di informazione Definizione quantitativa, misurabile By prof. Camuso."

Presentazioni simili


Annunci Google