Andrea G. B. Tettamanzi, 2001 Teoria dellInformazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dellInformazione

Andrea G. B. Tettamanzi, 2001 Lezione 1 3 ottobre 2002

Andrea G. B. Tettamanzi, 2001 Programma del Corso Che cosè lInformazione e che cosè la T.I. Richiami di Teoria della Probabilità Proprietà matematiche utilizzate nella T.I. Misura dellinformazione: lEntropia. Codici Comunicazione in presenza di rumore Codici a correzione derrore Cenni sulla Teoria della Trasmissione Cenni di Crittografia

Andrea G. B. Tettamanzi, 2001 Bibliografia E. ANGELERI: Informazione: significato e universalità, UTET, Torino, (libro di testo) J. VAN DER LUBBE: Information Theory, Cambridge University Press, J. R. PIERCE: An Introduction to Information Theory, Dover, 1980.

Andrea G. B. Tettamanzi, 2001 Che Cosè lInformazione? SINTASSI SEMANTICA PRAGMATICA

Andrea G. B. Tettamanzi, 2001 significato Informazione informazione apparato simbolico Rilevanza pratica dellinformazione (effetto, scopo, ecc.)

Andrea G. B. Tettamanzi, 2001 Informazione - semantica La quantità di informazione di un enunciato è tanto più grande quante più sono le alternative che esso esclude. U A B

Andrea G. B. Tettamanzi, 2001 Che cosè la Teoria dellInformazione? Una teoria matematica dellaspetto simbolico dellInformazione Un approccio quantitativo alla nozione di Informazione Risponde alle domande: –Come immagazzinare e trasmettere informazione in modo compatto? (compressione) –Qualè la massima quantità di informazione che può essere trasmessa su un canale? (velocità di trasmissione) –Come posso proteggere la mia informazione: dalla corruzione del suo supporto o da errori di trasmissione? da sguardi indiscreti?

Andrea G. B. Tettamanzi, 2001 Compressione Immagazzinamento = Trasmissione scrittura lettura t0t0 t1t1 invio ricezione x0x0 x1x1

Andrea G. B. Tettamanzi, 2001 Funzioni convesse Diseguaglianza fondamentale:

Andrea G. B. Tettamanzi, 2001 Convessità del valore atteso convessa concava

Andrea G. B. Tettamanzi, 2001 Misura dellInformazione R. V. L. Hartley Alfabeto di s simboli CIAOMMMAA,! 1 2 l Messaggi possibili R. Hartley Perché il logaritmo? Perché così

Andrea G. B. Tettamanzi, 2001 Unità di misura dellInformazione La quantità di informazione che permette di distinguere uno di due eventi equiprobabili e mutuamente esclusivi è lunità di misura dellinformazione: il bit. Un simbolo di un alfabeto di s simboli equiprobabili porterà uninformazione di bit

Andrea G. B. Tettamanzi, 2001 Entropia informativa di Shannon continua simmetrica (commutativa) additiva

Andrea G. B. Tettamanzi, 2001 Massimo dellEntropia N.B.:

Andrea G. B. Tettamanzi, 2001 Entropia delle lingue testo Frequenze dei simboli

Andrea G. B. Tettamanzi, 2001 Ridondanza Efficienza di codifica

Andrea G. B. Tettamanzi, 2001 Informazione secondo Kolmogorov Misura assoluta, non utilizza la probabilità X Y x y descrizioni oggetti fn. parziale ricorsiva

Andrea G. B. Tettamanzi, 2001 Equivalenza con entropia di Shannon