METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura.

Presentazione sul tema: "METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura."— Transcript della presentazione:

1 METRO, KILOGRAMMO, SECONDO, BIT Breve storia di una grande avventura: lo studio della misura e delle unità di misura Lunedì 26 aprile 2004 BIT La misura dellinformazione Giorgio Goldoni

2 IL BIT LA MISURA DELLINFORMAZIONE

3 bit = binary digit (numero binario)

4 1 | |||| |||| || || || | 1

5 1 0 || |||| |||| || || || | 2

6 1 1 ||| |||| |||| || || || | 3

7 1 0 0 |||| |||| |||| || || || | 4

8 1 0 1 ||||| |||| |||| || || || | 5

9 1 1 0 |||||| |||| |||| || || || | 6

10 1 1 1 ||||||| |||| |||| || || || | 7

11 1 0 0 0 |||||||| |||| |||| || || || | 8

12 1 0 0 1 ||||||||| |||| |||| || || || | 9

13 1 0 1 0 |||||||||| |||| |||| || || || | 10

14 1 0 1 1 |||||||||| | |||| |||| || || || | 11

15 1 1 0 0 |||||||||| || |||| |||| || || || | 12

16 1 1 0 1 |||||||||| ||| |||| |||| || || || | 13

17 1 1 1 0 |||||||||| |||| |||| |||| || || || | 14

18 1 1 1 1 |||||||||| ||||| 15

19 +01 001 1110

20 ×01 000 101

21 byte = sequenza di 8 bit 01100101

22

23 kilobyte 1.024 byte 8.192 bit

24 Megabyte 1.024 kilobyte 1.048.576 byte 8.388.608 bit

25 Gigabyte 1.024 Megabyte 1.073.741.824 byte 8.589.934.592 bit

26 binit = binary digit

27 Codifica binaria a lunghezza fissa

28 0101 01

29 00 01 10 11 01 0 0 1 1

30 000 001 010 011 100 101 110 111 01 0 00 0 00 1 1 1111

31 MilanoMessina Sole25%50% Pioggia25% Coperto25%12,5% Nebbia25%12,5%

32 messaggiocodifica Sole00 Pioggia01 Coperto10 Nebbia11

33 Esempio di codifica: Sole-Coperto-Coperto-Pioggia: 00-10-10-01 00101001

34 Esempio di decodifica: 01110001 01-11-00-01 Pioggia-Nebbia-Sole-Pioggia

35 2 binit per messaggio

36 MilanoMessina Sole25%50% Pioggia25% Coperto25%12,5% Nebbia25%12,5%

37 Codifica binaria a lunghezza variabile Idea: codifiche corte per messaggi frequenti codifiche lunghe per messaggi rari

38 MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia000112,5%

39 Esempio di codifica: Sole-Sole-Pioggia-Coperto: 1-1-01-001 1101001

40 Esempio di decodifica: 01110001 01-1-1-0001 Pioggia-Sole-Sole-Nebbia

41 Su 8 messaggi ce ne sono in media: 4 di 1 binit 2 di 2 binit 1 di 3 binit 1 di 4 binit Lunghezza media di un messaggio binit

42 Perché da Messina è possibile inviare messaggi con codifiche più brevi che da Milano? È possibile ridurre ulteriormente la lunghezza media dei messaggi? Esiste un limite inferiore alla lunghezza media dei messaggi?

43 La sequenza di binit usata per la codifica dei possibili messaggi di una sorgente può essere interpretata come una strategia di domande da porre ad un oracolo binario, cioè un essere onnisciente che risponde solo con dei sì e con dei no, al fine di indovinare un messaggio.

44 Sole o Pioggia? Sole? sìno Coperto? sì no SolePioggiaCopertoNebbia Strategia ottimale per Milano Sempre 2 domande per messaggio

45 sìno sì no Sole? Sole Pioggia? Pioggia Coperto? Coperto Nebbia Strategia ottimale per Messina In media 1,75 domande per messaggio Su 8 volte: 4 volte 1 domanda 2 volte 2 domande 2 volte 3 domande

46 MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia000112,5%

47 MessaggioCodificaFrequenza Sole150% Pioggia0125% Coperto00112,5% Nebbia00012,5%

48 sìno sì no Sole? Sole Pioggia? Pioggia Coperto? Coperto Nebbia Strategia non ottimale per Milano In media 2,25 domande per messaggio Su 4 volte: 1 volta 1 domanda 1 volta 2 domande 2 volte 3 domande

49 Studio del caso di n messaggi equiprobabili

50 0101 01

51 00 01 10 11 01 0 0 1 1

52 000 001 010 011 100 101 110 111 01 0 00 0 00 1 1 1111

53 n2n2n 12 24 38 416 532 664 log 2 mm

54 12 24 38 416 532 …… × 2 + 1

55 12 24 38 416 532 …… : 2 - 1

56 …… -30,125 -20,25 0,5 01 12 24 38 416 532 …… : 2 - 1

57 +1 = +0,5 +0,5 ×2 = ×1,4142 ×1,4142

58 …… -20,25 -1,50,3536 0,5 -0,50,7071 01 0,51,4142 12 1,52,8284 24 …… × 1,4142 + 0,5

59 +0,5 = +0,25 +0,25 ×1,4142 = ×1,1892 ×1,1892

60 …… 0,5 -0,750,5946 -0,50,7071 -0,250,8409 01 0,251,1892 0,51,4142 0,751,6818 12 …… × 1,1892 + 0,25

61 1 2 3 4 5 6 7 8 123123

62 ?

63 Strategia per indovinare uno di tre messaggi equiprobabili 1 domanda 1/3 delle volte 2 domande 2/3 delle volte Media domande:

64 3 messaggi: A B C 9 coppie di messaggi: AA AB AC BA BB BC CA CB CC

65 3 domande 7/9 delle volte 4 domande 2/9 delle volte Media domande: per 2 messaggi per messaggio

66 27 terne di messaggi: AAA AAB AAC ABA ABB ABC ACA ACB ACC BAA BAB BAC BBA BBB BBA BCA BCB BCC CAA CAB CAC CBA CBB CBC CCA CCB CCC

67 4 domande 5/27 delle volte 5 domande 22/27 delle volte Media domande: 3 messaggi per messaggio

68 quaterne di messaggi. Ci sono Essendooccorrono dalle 6 alle 7 domande per indovinare una quaterna di messaggi. per cui in 34 casi occorre fare 7 domande e 6 domande nei rimanenti 47 casi.

69 Gruppi di 5 messaggi: Media domande:

70 Per indovinare 1 tra n messaggi equiprobabili è possibile usare una strategia il cui numero medio di domande per messaggio da formulare a un oracolo binario si avvicini a piacere al valore

71 Analogamente è possibile codificare gli n messaggi equiprobabili usando un numero medio di binit per messaggio che si avvicina a piacere al valore

72 Probabilità di ciascun messaggio: Limite inferiore al numero medio di domande da porre alloracolo binario per indovinare il messaggio:

73 Più in generale affermiamo che il verificarsi di un evento casuale di probabilità p fornisce uninformazione di bit

74 La quantità di informazione è tanto maggiore quanto più levento è raro. Un evento certo fornisce una quantità nulla di informazione.

75 SORGENTE DI INFORMAZIONE SENZA MEMORIA Trasmette n tipi di messaggi diversi, ciascuno indipendente dal precedente, e con una determinata probabilità.

76 ENTROPIA DI INFORMAZIONE Quantità media di informazione ricevuta da un messaggio

77 Lentropia di informazione rappresenta il limite inferiore, approssimabile a piacere, del numero medio di domande da porre ad un oracolo binario per indovinare il messaggio trasmesso dalla sorgente o, equivalentemente, il limite inferiore, approssimabile a piacere, del numero medio di binit per codificare un messaggio.

78 Stazione meteorologica di Milano MessaggioProbabilità Sole1/4 Pioggia1/4 Coperto1/4 Nebbia1/4

79 Stazione meteorologica di Messina MessaggioProbabilità Sole1/2 Pioggia1/4 Coperto1/8 Nebbia1/8

80 Quando, per la stazione meteorologica di Messina, utilizziamo una codifica di 2 binit per messaggio, ogni binit non trasporta un bit di informazione, ma con un rendimento dell87,5% e una ridondanza del 12,5%.

81 UN BINIT TRASPORTA AL MASSIMO UN BIT DI INFORMAZIONE

82 Claude E. Shannon (1916 – 2001)

83

84

85 D

86 DD

87 DDD

88 DDDB

89 DDDBD

90 DDDBDB

91 DDDBDBS

92 DDDBDBSS

93 DDDBDBSSA

94 DDDBDBSSAS

95 DDDBDBSSASS

96 DDDBDBSSASSA

97 SpostamentoCodifica Destra00 Sinistra01 Alto10 Basso11

98 D D D B D B S S A S S A 00 00 00 11 00 11 01 01 10 01 01 10

99 D D D B D B S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

100 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

101 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

102 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

103 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

104 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

105 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

106 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

107 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

108 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

109 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

110 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

111 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

112 D D D B D A S S A S S A 00 00 00 11 00 10 01 01 10 01 01 10

113 D D D B D B S S A S S A 00 00 00 11 00 11 01 01 10 01 01 10

114 Idea: 1. Eliminare tutta la ridondanza, ricorrendo ad una codifica idealmente coincidente con lentropia di informazione 2. Aggiungere una ridondanza organizzata per proteggere il messaggio dal rumore

115 Ogni m binit di messaggio aggiungo c binit di controllo. I c binit di controllo possono assumere 2 c configurazioni diverse, le quali devono poter indicare quale degli m + c binit è stato ricevuto in modo errato oppure se il messaggio non contiene errori.

116 Con c binit di controllo posso tentare di proteggere un messaggio di lunghezza

117 10 21 34 411

118 10 21 34 4

119 Sole-Sole-Pioggia 1-1-01 1101

120 1 1 1 0 1 0 0 100

121 1001 1 0 1 0 1 0 0 100

122 1001 1 0 1 0 1 0 0 100

123 1001 1 0 1 0 1 0 0 100

124 1001 1 0 1 0 1 0 0 100

125 1001 1 0 1 0 1 0 0 100

126 1001 1 0 1 0 1 0 0 100

127 1001 1 0 1 0 1 0 0 100

128 1101 1 1 1 0 1 0 0 100

129 1101 1 1 1 0 1 0 0 100

130 1101 1 1 1 0 1 1 0 110110

131 1 1 1 0 1 1 0 110110

132 1 1 1 0 1 1 0 110110

133 1 1 1 0 1 1 0 110110

134 1 1 1 0 1 1 0 110110

135 1 1 1 0 1 1 0 110110

136 1 1 1 0 1 1 0 110110

137 1 1 1 0 1 0 0 100100

138 Richard W. Hamming (1915 – 1998)

139 www.itisvinci.com