By prof. Camuso

Misura del grado di incertezza (medio) dei messaggi emessi da una sorgente

By prof. Camuso Dobbiamo prima definire il logaritmo in base 2 di un numero

By prof. Camuso Dobbiamo prima definire il logaritmo in base 2 di un numero N, N>0 log 2 N è lesponente da dare alla base 2 per ottenere quel numero

By prof. Camuso log 2 0 = ??? IMPOSSIBILE!

By prof. Camuso log 2 1 = ??? 0, infatti 2 0 =1

By prof. Camuso log 2 2 = ??? 1, infatti 2 1 =2

By prof. Camuso log 2 8 = ??? 3, infatti 2 3 =8

By prof. Camuso log 2 19 = ??? 4,25 infatti 2 4,25 =19 Ma sulla calcolatrice non cè il logaritmo in base 2… come si fa?

By prof. Camuso Sulla calcolatrice trovate infatti un log e un ln; ln ve lo condono perché è impossibile capire … ma log, facendo qualche prova ci si può arrivare!

By prof. Camuso

Che esponente bisogna dare al 7 per ottenere 125 ???

By prof. Camuso

Immaginiamo che tutti i possibili mesaggi che possono essere emessi da una sorgente siano rappresentati dallinsieme = {x 1, x 2, x 3, …, x n }. (dado) = {1, 2, 3, 4, 5, 6}

By prof. Camuso Chiamiamo X la variabile che rappresenta il verificarsi di uno degli eventi (dado) = {1, 2, 3, 4, 5, 6} X=3 significa che è uscito il 3

By prof. Camuso

Definiamo (Hartley) poi Entropia della variabile X su un insieme discreto e con eventi equiprobabili H(X) = log 2 N H(X) indica il numero minimo di bit necessari a codificare tutti i possibili stati (messaggi)

By prof. Camuso LEntropia misura il grado di incertezza medio dei messaggi emessi da una sorgente. Quindi rappresenta una stima del numero medio di bit necessari a codificare un messaggio proveniente da quella sorgente (è dimostrato che di meglio non si può fare)

By prof. Camuso E se la moneta è truccata ? E se il dado è truccato? E se non tutte le lettere in un testo hanno la stessa probabilità di essere usate ?

By prof. Camuso E se alcuni valori rilevati da un sensore hanno più probabilità di verificarsi di altri ? E se scopro che in una immagine un pixel si ripete molto più di altri?

By prof. Camuso

OTTIMALE (dimezzamento incertezza) NON OTTIMALE Valor e del dado Messaggio 0 = risposta no 1 = risposta sì Messaggio 0 = risposta no 1 = risposta sì D1D2D3D1D2D3D4D5D ( )/6 = 2,66bit( )/6 = 3,5bit

By prof. Camuso

Codici INTERNI (complemento a 2, IEEE 754 ecc.) Codici ESTERNI (ASCII, BCD, Hamming e molti altri)