By prof. Camuso. Misura del grado di incertezza (medio) dei messaggi emessi da una sorgente.

Presentazione sul tema: "By prof. Camuso. Misura del grado di incertezza (medio) dei messaggi emessi da una sorgente."— Transcript della presentazione:

1 By prof. Camuso

2 Misura del grado di incertezza (medio) dei messaggi emessi da una sorgente

3 By prof. Camuso Dobbiamo prima definire il logaritmo in base 2 di un numero

4 By prof. Camuso Dobbiamo prima definire il logaritmo in base 2 di un numero N, N>0 log 2 N è lesponente da dare alla base 2 per ottenere quel numero

5 By prof. Camuso log 2 0 = ??? IMPOSSIBILE!

6 By prof. Camuso log 2 1 = ??? 0, infatti 2 0 =1

7 By prof. Camuso log 2 2 = ??? 1, infatti 2 1 =2

8 By prof. Camuso log 2 8 = ??? 3, infatti 2 3 =8

9 By prof. Camuso log 2 19 = ??? 4,25 infatti 2 4,25 =19 Ma sulla calcolatrice non cè il logaritmo in base 2… come si fa?

10 By prof. Camuso Sulla calcolatrice trovate infatti un log e un ln; ln ve lo condono perché è impossibile capire … ma log, facendo qualche prova ci si può arrivare!

11 By prof. Camuso

12

13 Che esponente bisogna dare al 7 per ottenere 125 ???

14 By prof. Camuso

15 Immaginiamo che tutti i possibili mesaggi che possono essere emessi da una sorgente siano rappresentati dallinsieme = {x 1, x 2, x 3, …, x n }. (dado) = {1, 2, 3, 4, 5, 6}

16 By prof. Camuso Chiamiamo X la variabile che rappresenta il verificarsi di uno degli eventi (dado) = {1, 2, 3, 4, 5, 6} X=3 significa che è uscito il 3

17 By prof. Camuso

18 Definiamo (Hartley) poi Entropia della variabile X su un insieme discreto e con eventi equiprobabili H(X) = log 2 N H(X) indica il numero minimo di bit necessari a codificare tutti i possibili stati (messaggi)

19 By prof. Camuso LEntropia misura il grado di incertezza medio dei messaggi emessi da una sorgente. Quindi rappresenta una stima del numero medio di bit necessari a codificare un messaggio proveniente da quella sorgente (è dimostrato che di meglio non si può fare)

20 By prof. Camuso E se la moneta è truccata ? E se il dado è truccato? E se non tutte le lettere in un testo hanno la stessa probabilità di essere usate ?

21 By prof. Camuso E se alcuni valori rilevati da un sensore hanno più probabilità di verificarsi di altri ? E se scopro che in una immagine un pixel si ripete molto più di altri?

22 By prof. Camuso

23

24

25 OTTIMALE (dimezzamento incertezza) NON OTTIMALE Valor e del dado Messaggio 0 = risposta no 1 = risposta sì Messaggio 0 = risposta no 1 = risposta sì 123456 123456 D1D2D3D1D2D3D4D5D6 000111 000111 001001 001001 01 01 01 01 1 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 0 0 1 (3+3+2+3+3+2)/6 = 2,66bit(1+2+3+4+5+6)/6 = 3,5bit

26 By prof. Camuso

27

28 Codici INTERNI (complemento a 2, IEEE 754 ecc.) Codici ESTERNI (ASCII, BCD, Hamming e molti altri)