La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura.

Presentazioni simili


Presentazione sul tema: "METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura."— Transcript della presentazione:

1 METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura dellinformazione Giorgio Goldoni

2 IL BIT LA MISURA DELLINFORMAZIONE

3 bit = binary digit (numero binario)

4 1 | |||| |||| || || || | 1

5 1 0 || |||| |||| || || || | 2

6 1 1 ||| |||| |||| || || || | 3

7 1 0 0 |||| |||| |||| || || || | 4

8 1 0 1 ||||| |||| |||| || || || | 5

9 1 1 0 |||||| |||| |||| || || || | 6

10 1 1 1 ||||||| |||| |||| || || || | 7

11 |||||||| |||| |||| || || || | 8

12 ||||||||| |||| |||| || || || | 9

13 |||||||||| |||| |||| || || || | 10

14 |||||||||| | |||| |||| || || || | 11

15 |||||||||| || |||| |||| || || || | 12

16 |||||||||| ||| |||| |||| || || || | 13

17 |||||||||| |||| |||| |||| || || || | 14

18 |||||||||| ||||| 15

19

20 ×

21 byte = sequenza di 8 bit

22

23 kilobyte byte bit

24 Megabyte kilobyte byte bit

25 Gigabyte Megabyte byte bit

26 binit = binary digit

27 Codifica binaria a lunghezza fissa

28

29

30

31 MilanoMessina Sole25%50% Pioggia25% Coperto25%12,5% Nebbia25%12,5%

32 messaggiocodifica Sole00 Pioggia01 Coperto10 Nebbia11

33 Esempio di codifica: Sole-Coperto-Coperto-Pioggia:

34 Esempio di decodifica: Pioggia-Nebbia-Sole-Pioggia

35 2 binit per messaggio

36 MilanoMessina Sole25%50% Pioggia25% Coperto25%12,5% Nebbia25%12,5%

37 Codifica binaria a lunghezza variabile Idea: codifiche corte per messaggi frequenti codifiche lunghe per messaggi rari

38 MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia000112,5%

39 Esempio di codifica: Sole-Sole-Pioggia-Coperto:

40 Esempio di decodifica: Pioggia-Sole-Sole-Nebbia

41 Su 8 messaggi ce ne sono in media: 4 di 1 binit 2 di 2 binit 1 di 3 binit 1 di 4 binit Lunghezza media di un messaggio binit

42 Perché da Messina è possibile inviare messaggi con codifiche più brevi che da Milano? È possibile ridurre ulteriormente la lunghezza media dei messaggi? Esiste un limite inferiore alla lunghezza media dei messaggi?

43 La sequenza di binit usata per la codifica dei possibili messaggi di una sorgente può essere interpretata come una strategia di domande da porre ad un oracolo binario, cioè un essere onnisciente che risponde solo con dei sì e con dei no, al fine di indovinare un messaggio.

44 Sole o Pioggia? Sole? sìno Coperto? sì no SolePioggiaCopertoNebbia Strategia ottimale per Milano Sempre 2 domande per messaggio

45 sìno sì no Sole? Sole Pioggia? Pioggia Coperto? Coperto Nebbia Strategia ottimale per Messina In media 1,75 domande per messaggio Su 8 volte: 4 volte 1 domanda 2 volte 2 domande 2 volte 3 domande

46 MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia000112,5%

47 MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia00012,5%

48 sìno sì no Sole? Sole Pioggia? Pioggia Coperto? Coperto Nebbia Strategia non ottimale per Milano In media 2,25 domande per messaggio Su 4 volte: 1 volta 1 domanda 1 volta 2 domande 2 volte 3 domande

49 Studio del caso di n messaggi equiprobabili

50

51

52

53 n2n2n log 2 mm

54 …… × 2 + 1

55 …… : 2 - 1

56 …… -30, ,25 0, …… : 2 - 1

57 +1 = +0,5 +0,5 ×2 = ×1,4142 ×1,4142

58 …… -20,25 -1,50,3536 0,5 -0,50, ,51, ,52, …… × 1, ,5

59 +0,5 = +0,25 +0,25 ×1,4142 = ×1,1892 ×1,1892

60 …… 0,5 -0,750, ,50, ,250, ,251,1892 0,51,4142 0,751, …… × 1, ,25

61

62 ?

63 Strategia per indovinare uno di tre messaggi equiprobabili 1 domanda 1/3 delle volte 2 domande 2/3 delle volte Media domande:

64 3 messaggi: A B C 9 coppie di messaggi: AA AB AC BA BB BC CA CB CC

65 3 domande 7/9 delle volte 4 domande 2/9 delle volte Media domande: per 2 messaggi per messaggio

66 27 terne di messaggi: AAA AAB AAC ABA ABB ABC ACA ACB ACC BAA BAB BAC BBA BBB BBA BCA BCB BCC CAA CAB CAC CBA CBB CBC CCA CCB CCC

67 4 domande 5/27 delle volte 5 domande 22/27 delle volte Media domande: 3 messaggi per messaggio

68 quaterne di messaggi. Ci sono Essendooccorrono dalle 6 alle 7 domande per indovinare una quaterna di messaggi. per cui in 34 casi occorre fare 7 domande e 6 domande nei rimanenti 47 casi.

69 Gruppi di 5 messaggi: Media domande:

70 Per indovinare 1 tra n messaggi equiprobabili è possibile usare una strategia il cui numero medio di domande per messaggio da formulare a un oracolo binario si avvicini a piacere al valore

71 Analogamente è possibile codificare gli n messaggi equiprobabili usando un numero medio di binit per messaggio che si avvicina a piacere al valore

72 Probabilità di ciascun messaggio: Limite inferiore al numero medio di domande da porre alloracolo binario per indovinare il messaggio:

73 Più in generale affermiamo che il verificarsi di un evento casuale di probabilità p fornisce uninformazione di bit

74 La quantità di informazione è tanto maggiore quanto più levento è raro. Un evento certo fornisce una quantità nulla di informazione.

75 SORGENTE DI INFORMAZIONE SENZA MEMORIA Trasmette n tipi di messaggi diversi, ciascuno indipendente dal precedente, e con una determinata probabilità.

76 ENTROPIA DI INFORMAZIONE Quantità media di informazione ricevuta da un messaggio

77 Lentropia di informazione rappresenta il limite inferiore, approssimabile a piacere, del numero medio di domande da porre ad un oracolo binario per indovinare il messaggio trasmesso dalla sorgente o, equivalentemente, il limite inferiore, approssimabile a piacere, del numero medio di binit per codificare un messaggio.

78 Stazione meteorologica di Milano MessaggioProbabilità Sole1/4 Pioggia1/4 Coperto1/4 Nebbia1/4

79 Stazione meteorologica di Messina MessaggioProbabilità Sole1/2 Pioggia1/4 Coperto1/8 Nebbia1/8

80 Quando, per la stazione meteorologica di Messina, utilizziamo una codifica di 2 binit per messaggio, ogni binit non trasporta un bit di informazione, ma con un rendimento dell87,5% e una ridondanza del 12,5%.

81 UN BINIT TRASPORTA AL MASSIMO UN BIT DI INFORMAZIONE

82 Claude E. Shannon (1916 – 2001)

83

84

85 D

86 DD

87 DDD

88 DDDB

89 DDDBD

90 DDDBDB

91 DDDBDBS

92 DDDBDBSS

93 DDDBDBSSA

94 DDDBDBSSAS

95 DDDBDBSSASS

96 DDDBDBSSASSA

97 SpostamentoCodifica Destra00 Sinistra01 Alto10 Basso11

98 D D D B D B S S A S S A

99 D D D B D B S S A S S A

100 D D D B D A S S A S S A

101 D D D B D A S S A S S A

102 D D D B D A S S A S S A

103 D D D B D A S S A S S A

104 D D D B D A S S A S S A

105 D D D B D A S S A S S A

106 D D D B D A S S A S S A

107 D D D B D A S S A S S A

108 D D D B D A S S A S S A

109 D D D B D A S S A S S A

110 D D D B D A S S A S S A

111 D D D B D A S S A S S A

112 D D D B D A S S A S S A

113 D D D B D B S S A S S A

114 Idea: 1. Eliminare tutta la ridondanza, ricorrendo ad una codifica idealmente coincidente con lentropia di informazione 2. Aggiungere una ridondanza organizzata per proteggere il messaggio dal rumore

115 Ogni m binit di messaggio aggiungo c binit di controllo. I c binit di controllo possono assumere 2 c configurazioni diverse, le quali devono poter indicare quale degli m + c binit è stato ricevuto in modo errato oppure se il messaggio non contiene errori.

116 Con c binit di controllo posso tentare di proteggere un messaggio di lunghezza

117

118

119 Sole-Sole-Pioggia

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138 Richard W. Hamming (1915 – 1998)

139


Scaricare ppt "METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura."

Presentazioni simili


Annunci Google