La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Andrea G. B. Tettamanzi, 2001 Teoria dellInformazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dellInformazione.

Copie: 1
Andrea G. B. Tettamanzi, 2001 Teoria dellInformazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dellInformazione.

Presentazioni simili


Presentazione sul tema: "Andrea G. B. Tettamanzi, 2001 Teoria dellInformazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dellInformazione."— Transcript della presentazione:

1 Andrea G. B. Tettamanzi, 2001 Teoria dellInformazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dellInformazione

2 Andrea G. B. Tettamanzi, 2001 Lezione 1 3 ottobre 2002

3 Andrea G. B. Tettamanzi, 2001 Programma del Corso Che cosè lInformazione e che cosè la T.I. Richiami di Teoria della Probabilità Proprietà matematiche utilizzate nella T.I. Misura dellinformazione: lEntropia. Codici Comunicazione in presenza di rumore Codici a correzione derrore Cenni sulla Teoria della Trasmissione Cenni di Crittografia

4 Andrea G. B. Tettamanzi, 2001 Bibliografia E. ANGELERI: Informazione: significato e universalità, UTET, Torino, (libro di testo) J. VAN DER LUBBE: Information Theory, Cambridge University Press, J. R. PIERCE: An Introduction to Information Theory, Dover, 1980.

5 Andrea G. B. Tettamanzi, 2001 Ricevimento Studenti Giovedì, dalle ore alle ore Per appuntamento: – –tel.: Sito del corso:

6 Andrea G. B. Tettamanzi, 2001 Modalità di Esame Scritto: 3 o 4 esercizi che coprono vari argomenti del corso. –Temi desame degli scritti degli anni passati, completi di correzione, disponibili allURL: Orale: interrogazione su definizioni, enunciati di teoremi e alcune dimostrazioni, rielaborazione critica del materiale presentato a lezione.

7 Andrea G. B. Tettamanzi, 2001 Che Cosè lInformazione? SINTASSI SEMANTICA PRAGMATICA

8 Andrea G. B. Tettamanzi, 2001 significato Informazione informazione apparato simbolico Rilevanza pratica dellinformazione (effetto, scopo, ecc.)

9 Andrea G. B. Tettamanzi, 2001 Informazione - semantica La quantità di informazione di un enunciato è tanto più grande quante più sono le alternative che esso esclude. U A B

10 Andrea G. B. Tettamanzi, 2001 Che cosè la Teoria dellInformazione? Una teoria matematica dellaspetto simbolico dellInformazione Un approccio quantitativo alla nozione di Informazione Risponde alle domande: –Come immagazzinare e trasmettere informazione in modo compatto? (compressione) –Qualè la massima quantità di informazione che può essere trasmessa su un canale? (velocità di trasmissione) –Come posso proteggere la mia informazione: dalla corruzione del suo supporto o da errori di trasmissione? da sguardi indiscreti?

11 Andrea G. B. Tettamanzi, 2001 Compressione Immagazzinamento = Trasmissione scrittura lettura t0t0 t1t1 invio ricezione x0x0 x1x1

12 Andrea G. B. Tettamanzi, 2001 Funzioni convesse Diseguaglianza fondamentale:

13 Andrea G. B. Tettamanzi, 2001 Convessità del valore atteso convessa concava

14 Andrea G. B. Tettamanzi, 2001 Misura dellInformazione R. V. L. Hartley Alfabeto di s simboli CIAOMMMAA,! 1 2 l Messaggi possibili R. Hartley Perché il logaritmo? Perché così

15 Andrea G. B. Tettamanzi, 2001 Unità di misura dellInformazione La quantità di informazione che permette di distinguere uno di due eventi equiprobabili e mutuamente esclusivi è lunità di misura dellinformazione: il bit. Un simbolo di un alfabeto di s simboli equiprobabili porterà uninformazione di bit

16 Andrea G. B. Tettamanzi, 2001 Entropia informativa di Shannon continua simmetrica (commutativa) additiva

17 Andrea G. B. Tettamanzi, 2001 Massimo dellEntropia N.B.:

18 Andrea G. B. Tettamanzi, 2001 Entropia delle lingue testo Frequenze dei simboli

19 Andrea G. B. Tettamanzi, 2001 Ridondanza Efficienza di codifica

20 Andrea G. B. Tettamanzi, 2001 Informazione secondo Kolmogorov Misura assoluta, non utilizza la probabilità X Y x y descrizioni oggetti fn. parziale ricorsiva

21 Andrea G. B. Tettamanzi, 2001 Equivalenza con entropia di Shannon

22 Andrea G. B. Tettamanzi, 2001 Lezione 2 8 ottobre 2002

23 Andrea G. B. Tettamanzi, 2001 Assiomi dellentropia (1) Misura dincertezza, max con eventi equiprobabili (simmetrica)

24 Andrea G. B. Tettamanzi, 2001 Assiomi dellentropia (2) 5 6 continua 7 8 (diramazione)

25 Andrea G. B. Tettamanzi, 2001 Teorema Se H soddisfa gli otto assiomi, Basterebbero 4 assiomi minimali: - continuità; - simmetria; - proprietà di diramazione - H(1/2, 1/2) = 1

26 Andrea G. B. Tettamanzi, 2001 Modello della comunicazione sorgentedestinazione rumore canale

27 Andrea G. B. Tettamanzi, 2001 Modello dettagliato Sorgente di informazione Destinazione riduzionericostruzione Codifica sorgente cifratura Decodifica sorgente decifrazione Codifica canale Decodifica canale modulazionedemodulazioneCanale continuo distorsione (rumore) Canale discreto

28 Andrea G. B. Tettamanzi, 2001 Sorgente discreta senza memoria S è un dispositivo che genera ad ogni istante t un simbolo x con probabilità p(x), i.i.d.

29 Andrea G. B. Tettamanzi, 2001 Proprietà Indipendenza statistica e stazionarietà: autoinformazione

30 Andrea G. B. Tettamanzi, 2001 Il concetto di codice Alfabeto sorgente Alfabeto del codice

31 Andrea G. B. Tettamanzi, 2001 Esempio: codifica delle cifre decimali Cifra decimale Rappresentazione binaria

32 Andrea G. B. Tettamanzi, 2001 Estensione di una sorgente Alfabeto base Alfabeto esteso

33 Andrea G. B. Tettamanzi, 2001 Teorema Data una sorgente senza memoria, Dimostrazione:

34 Andrea G. B. Tettamanzi, 2001 Nel caso X = {0, 1}

35 Andrea G. B. Tettamanzi, 2001 Lezione 3 14 ottobre 2002

36 Andrea G. B. Tettamanzi, 2001 Classificazione dei codici A blocco SingolareNon singolare Unicamente decodificabile Non unicamente decodificabile Istantaneo Non istantaneo

37 Andrea G. B. Tettamanzi, 2001 Esempi Non unicamente decodificabile: Non istantaneo:

38 Andrea G. B. Tettamanzi, 2001 Codici a prefisso Condizione necessaria e sufficiente perché un codice sia istantaneo è che nessuna parola del codice sia un prefisso di unaltra parola del codice

39 Andrea G. B. Tettamanzi, 2001 Diseguaglianza di Kraft Condizione necessaria e sufficiente perché esista un codice istantaneo con lunghezze di parola è che

40 Andrea G. B. Tettamanzi, 2001 Dimostrazione - sufficienza Costruiamo un codice istantaneo che soddisfa

41 Andrea G. B. Tettamanzi, 2001 Teorema di McMillan Un codice unicamente decodificabile soddisfa la diseguaglianza di Kraft Sviluppando la potenza, avremo q n termini della forma ma allora deve essere

42 Andrea G. B. Tettamanzi, 2001 Teorema di codifica della sorgente Sia la lunghezza media di un codice istantaneo a r simboli. Allora,

43 Andrea G. B. Tettamanzi, 2001 Dimostrazione Kraft Proprietà fondamentale dei logaritmi

44 Andrea G. B. Tettamanzi, 2001 Lezione 4 21 ottobre 2002

45 Andrea G. B. Tettamanzi, 2001 Processi Stocastici Un processo stocastico è una successione di v.a. Ciascuna con la propria distribuzione di probabilità. Notazione:

46 Andrea G. B. Tettamanzi, 2001 Catene di Markov Un processo stocastico è una catena di Markov sse il suo stato dipende solo dallo stato precedente, cioè, per ogni t, ABC

47 Andrea G. B. Tettamanzi, 2001 Processi Markoviani È un processo Markoviano di ordine m sse

48 Andrea G. B. Tettamanzi, 2001 Sorgente discreta con memoria S è un dispositivo che genera ad ogni istante t un simbolo x con probabilità condizionata dagli m simboli generati in precedenza Stazionarietà: le probabilità sono costanti nel tempo

49 Andrea G. B. Tettamanzi, 2001 Informazione e Entropia condizionali Informazione condizionale: Entropia condizionale:

50 Andrea G. B. Tettamanzi, 2001 Proprietà dellEntropia condizionale Dimostrazione:

51 Andrea G. B. Tettamanzi, 2001 Struttura statistica delle lingue testo Distribuzione a memoria 0: Distribuzione a memoria 1:

52 Andrea G. B. Tettamanzi, 2001 Frequenze statistiche dellitaliano

53 Andrea G. B. Tettamanzi, 2001 Approssimazioni Memoria 0: E A IDAVEAPDIAOSPTRR OMR ELRROULEETDP A OOEPVUNCNCM AALPNESCIESI... Memoria 1: NFA EGI SSISA LE LERA SCHELA CILU GGILLE PRA PRANA... Memoria 2: OR IL SARSERA NE HAI GUE E LAMASSETTERRA DO E LA SE AL MILA... Memoria 3:

54 Andrea G. B. Tettamanzi, 2001 Stima dellEntropia con memoria infinita Esperimento di Shannon

55 Andrea G. B. Tettamanzi, 2001 Entropia nelle sorgenti con Memoria

56 Andrea G. B. Tettamanzi, 2001 Teorema Lentropia di una sorgente con memoria è tanto minore quanto maggiore è lordine della memoria.

57 Andrea G. B. Tettamanzi, 2001 Dimostrazione (Per semplicità, solo nel caso a memoria di ordine 1) Inoltre,

58 Andrea G. B. Tettamanzi, 2001 Lezione 5 24 ottobre 2002

59 Andrea G. B. Tettamanzi, 2001 Codici ottimali con probabilità note a priori Osservazione: in un codice C ottimale, Dimostrazione: si supponga di scambiare le due parole in questione Siccome C è ottimale, quindi deve essere per forza c.v.d.

60 Andrea G. B. Tettamanzi, 2001 Codici ottimali con probabilità note a priori Osservazione: in un codice istantaneo C ottimale a base r, le r parole più lunghe hanno la stessa lunghezza. Dimostrazione: se così non fosse, potrei sopprimere lultima parte delle parole più lunghe senza perdere la proprietà di prefisso e ottenendo un codice migliore (assurdo).

61 Andrea G. B. Tettamanzi, 2001 Codici ottimali con probabilità note a priori Osservazione: in un codice istantaneo C ottimale a base r, le r parole più lunghe sono associate agli r simboli sorgente meno probabili e differiscono solo per lultimo simbolo. Dimostrazione: per

62 Andrea G. B. Tettamanzi, 2001 Codice di Fano Ordinare i simboli sorgente in ordine di probabilità decrescente Dividere al meglio i simboli in r gruppi equiprobabili Assegnare a ciascun gruppo uno degli r simboli come prefisso Ripetere la divisione per gruppi in modo ricorsivo finché possibile

63 Andrea G. B. Tettamanzi, 2001 Esempio simbolo probabilitàcodice /4 1/8 1/16 1/

64 Andrea G. B. Tettamanzi, 2001 Codice di Shannon Calcolare le probabilità cumulative Scriverle in notazione r -aria Il numero di simboli per parola di codice è dato da cioè

65 Andrea G. B. Tettamanzi, 2001 Esempio simboloprobabilitàprob. Cum.lunghezzacodice /4 1/8 1/16 1/32 0 1/4 1/2 5/8 3/4 13/16 7/8 29/32 15/16 31/

66 Andrea G. B. Tettamanzi, 2001 Codice di Huffman Ordinare i simboli sorgente per probabilità decrescente Raggruppare gli r simboli meno probabili e considerarli come un solo simbolo Ripetere il raggruppamento finché possibile Restano al massimo r simboli o gruppi di simboli Assegnare uno degli r simboli a ciascuno dei gruppi come prefisso Svolgere i gruppi allindietro ripetendo lassegnamento del prefisso finché tutti i simboli sorgente hanno una parola di codice associata

67 Andrea G. B. Tettamanzi, 2001 Esempio simboloprobabilità codice

68 Andrea G. B. Tettamanzi, 2001 Ottimalità del codice di Huffman

69 Andrea G. B. Tettamanzi, 2001 Codice alfabetico (o di Gilbert-Moore) Ordinare i simboli sorgente secondo qualche criterio La lunghezza di ciascuna parola di codice è data da Determinare la sequenza Rappresentare in base r ciascuno di questi numeri secondo la lunghezza calcolata cioè

70 Andrea G. B. Tettamanzi, 2001 Esempio simboloprobabilitàcodice AEIOUN...AEIOUN

71 Andrea G. B. Tettamanzi, 2001 Codice aritmetico 0 1

72 Andrea G. B. Tettamanzi, 2001 Codice Aritmetico: Algoritmo s[1..n] è la stringa da codificare c = 0; a = 1; for i = 1 to n do begin c = c +a*ProbCum(s[i]); a = a*Prob(s[i]); end c (scritto in base 2) è il codice cercato c è il codice ricevuto a = 1; for i = 1 to n do begin s[i] = FindSymbol(c); c = (c -ProbCum(s[i])) /Prob(s[i]); i = i + 1; end s[1..n] è la stringa cercata

73 Andrea G. B. Tettamanzi, 2001 Lezione 6 28 ottobre 2002

74 Andrea G. B. Tettamanzi, 2001 Algoritmo di Lempel e Ziv 1.Da sinistra a destra, scrivere ogni volta la parola più breve mai incontrata prima, fino alla fine del testo; 2.Per ogni parola, separare il prefisso (una parola già incontrata) dal simbolo finale; 3.Codificare ogni parola con una coppia formata dalla posizione suo prefisso nella lista e dal simbolo finale che deve essere aggiunto.

75 Andrea G. B. Tettamanzi, 2001 Esempio (passo 1) 1, 0, 11, 01, 00, 110, 10,... (passo 2) 1, 0, 1.1, 0.1, 0.0, 11.0, 1.0,... (passo 3) (0, 1) (0, 0) (1, 1) (2, 1) (2, 0) (3, 0) (1, 0)

76 Andrea G. B. Tettamanzi, 2001 Efficienza del codice di Lempel e Ziv parole in un messaggio di lunghezza n bit necessari per codificare la posizione di un prefisso Lunghezza della codifica di un messaggio di lunghezza n : Efficienza del codice di Lempel-Ziv:

77 Andrea G. B. Tettamanzi, 2001 Teorema Data una sorgente stazionaria ergodica con alfabeto X ed entropia H(X), vale q.c.

78 Andrea G. B. Tettamanzi, 2001 Diseguaglianza di Lempel e Ziv con Dimostrazione: Lungh. Cum. parole lunghe al più l

79 Andrea G. B. Tettamanzi, 2001 Diseguaglianza di Lempel e Ziv (segue) Poniamo: Se ne conclude che c.v.d.

80 Andrea G. B. Tettamanzi, 2001 Legge dei grandi numeri Debole: Forte:

81 Andrea G. B. Tettamanzi, 2001 Diseguaglianza di Čebyšev Dimostrazione:

82 Andrea G. B. Tettamanzi, 2001 Messaggi più probabili tutti i messaggi di lunghezza l Numero di occorrenze di s i in w per la legge dei grandi numeri

83 Andrea G. B. Tettamanzi, 2001 Teorema di Shannon-McMillan Data una sorgente discreta senza memoria S di entropia H(S), Le parole di lunghezza l ricadono in due classi: I) II)

84 Andrea G. B. Tettamanzi, 2001 Dimostrazione Čebyšev: Non dipende da l.

85 Andrea G. B. Tettamanzi, 2001 Lezione 7 31 ottobre 2002

86 Andrea G. B. Tettamanzi, 2001 Teorema Dimostrazione:

87 Andrea G. B. Tettamanzi, 2001 I° Teorema di Shannon Sia S una sorgente discreta senza memoria di entropia H(S). Siano messaggi di lunghezza l codificati in parole di codice di lunghezza L in un alfabeto di codice con r simboli. Probabilità che occorra un messaggio per cui non sia disponibile una parola di codice.

88 Andrea G. B. Tettamanzi, 2001 Dimostrazione ovvero Ma:quindi = numero di parole di codice di lunghezza L Ogni messaggio tipico ha una parola di codice; i messaggi atipici, che non hanno una parola di codice associata, hanno probabilità di occorrere pari a c.v.d.

89 Andrea G. B. Tettamanzi, 2001 Il canale discreto senza memoria (1) C è un dispositivo in grado di associare in ogni istante t con probabilità P(y | x) un simbolo y dellalfabeto di destinazione con un simbolo x dellalfabeto sorgente.

90 Andrea G. B. Tettamanzi, 2001 Il canale discreto senza memoria (2)

91 Andrea G. B. Tettamanzi, 2001 Esempio ?

92 Andrea G. B. Tettamanzi, 2001 Estensione di un canale Un canale è senza memoria sse:

93 Andrea G. B. Tettamanzi, 2001 Informazione mutua

94 Andrea G. B. Tettamanzi, 2001 Transinformazione Informazione mutua di sistema:

95 Andrea G. B. Tettamanzi, 2001 Capacità di canale Dipende solo dalle caratteristiche del canale e dalla distribuzione in ingresso. Ipotesi di canale costante. Linformazione mutua è max quando la transinformazione è indipendente dalla distribuzione in ingresso.

96 Andrea G. B. Tettamanzi, 2001 Equivocazione, Irrilevanza equivocazione irrilevanza informazione mutua

97 Andrea G. B. Tettamanzi, 2001 Lezione 8 4 novembre 2002

98 Andrea G. B. Tettamanzi, 2001 Canale binario simmetrico

99 Andrea G. B. Tettamanzi, 2001 Capacità del canale binario simmetrico

100 Andrea G. B. Tettamanzi, 2001 Capacità del canale binario simmetrico

101 Andrea G. B. Tettamanzi, 2001 Canale simmetrico a cancellazione ?

102 Andrea G. B. Tettamanzi, 2001 Capacità dei canali simmetrici simmetria

103 Andrea G. B. Tettamanzi, 2001 Capacità del c.s.c

104 Andrea G. B. Tettamanzi, 2001 Canali in cascata CANALE 1CANALE 2

105 Andrea G. B. Tettamanzi, 2001 Teorema (detto Della Elaborazione dei Dati) Linformazione mutua non può aumentare al crescere dei canali attraversati; semmai può diminuire. In successive elaborazioni dei dati, si può solo verificare una perdita dinformazione, mai un guadagno.

106 Andrea G. B. Tettamanzi, 2001 Dimostrazione diseguaglianza fondamentale

107 Andrea G. B. Tettamanzi, 2001 Probabilità di errore ed equivocazione Sia(matrice di canale quadrata) Si può dimostrare che la probabilità di errore per il trasmittente e per il ricevente è identica:

108 Andrea G. B. Tettamanzi, 2001 Diseguaglianza di Fano equivocazione probabilità di errore dove Lincertezza media su X, se Y è noto, è al più lincertezza sul fatto che sia stato commesso un errore e, in caso affermativo, lincertezza su quale dei restanti simboli sia stato trasmesso.

109 Andrea G. B. Tettamanzi, 2001 Dimostrazione 1 2

110 Andrea G. B. Tettamanzi, 2001 Dimostrazione (segue) 21 –

111 Andrea G. B. Tettamanzi, 2001 Corollario quando

112 Andrea G. B. Tettamanzi, 2001 Lezione 9 7 novembre 2002

113 Andrea G. B. Tettamanzi, 2001 Distanza di Hamming Esempio:

114 Andrea G. B. Tettamanzi, 2001 Spazio di Hamming di dimensione n Spazio di Hamming di dimensione l Esempi:

115 Andrea G. B. Tettamanzi, 2001 II° Teorema di Shannon Dato un canale discreto senza memoria di capacità C, a) è possibile trasmettere una quantità di informazione H(X) con probabilità derrore piccola a piacere, a patto che b) Se comunque codifichiamo i messaggi, sarà

116 Andrea G. B. Tettamanzi, 2001 Dimostrazione di b) Ipotesi: Tesi: Fano Poniamo Allora

117 Andrea G. B. Tettamanzi, 2001 Grafico di f(z)

118 Andrea G. B. Tettamanzi, 2001 Dimostrazione di a) Ipotesi: Tesi: Assumiamo r = 2 senza perdita di generalità Parole di codice di lunghezza l messaggi N.B.: bit/simbolo Usiamo solo parole di codice delle Costruiamo un codice a caso e dimostriamo che

119 Andrea G. B. Tettamanzi, 2001 Codice casuale Estraiamo a caso parole di codice tra le Siala probabilità di errore del canale (per simbolo!) CANALE

120 Andrea G. B. Tettamanzi, 2001 Errore

121 Andrea G. B. Tettamanzi, 2001 Volume di una sfera di raggio d In uno spazio di Hamming di dimensione l numero di parole binarie di lunghezza l che differiscono da una data parola w (centro) in al più d posizioni.

122 Andrea G. B. Tettamanzi, 2001 Lemma Dimostrazione: i) ii) c.v.d. diseguaglianza fondamentale

123 Andrea G. B. Tettamanzi, 2001 Probabilità di errore per un dato codice Per il Teorema dei grandi numeri:

124 Andrea G. B. Tettamanzi, 2001 Probabilità media di errore Parole contenute in

125 Andrea G. B. Tettamanzi, 2001 Conclusione della dimostrazione Sviluppiamo in serie di Taylor, ricordando che Per cui: c.v.d.

126 Andrea G. B. Tettamanzi, 2001 Andamento della probabilità di errore 0


Scaricare ppt "Andrea G. B. Tettamanzi, 2001 Teoria dellInformazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dellInformazione."

Presentazioni simili


Annunci Google