Concetti di Teoria dell'Informazione per informazione si intende tutto ciò che contribuisce ad eliminare incertezza. Infatti, se una sorgente di messaggi inviasse senza scelta e ripetutamente un solo simbolo, la quantità di informazione ricevuta a destinazione sarebbe nulla, poichè non ci sarebbe alcuna incertezza nel prevedere un simbolo e il successivo. L'assenza di differenze tra simboli, e quindi l'assenza di una struttura, determina l'assenza di informazione. Nella Teoria dell'Informazione inoltre, il messaggio non viene studiato in base al suo significato, ma quantificato in base al suo grado di complessità o sorpresa, che in seguito si andrà ad analizzare. Seguendo il modello del messaggio, preso da un repertorio e spedito da una sorgente ad un ricevente, si può constatare che al crescere dell'incertezza nel ricevere un messaggio, cresce anche la quantità di informazione. Ossia più certi si è di ricevere un messaggio (probabilità alta) e meno informazione si ottiene da esso. Si possono osservare tre aspetti riguardanti la quantità di informazione, considerando le affinità tra i primi due: Quantità di informazione misurata in base al grado di sorpresa suscitato nel ricevente. Quantità di informazione convogliata da un evento a probabilità p(xi). Misura per individuare il messaggio attraverso una ricerca dicotomica, all'interno di un insieme di messaggi (repertorio), a condizione che il sorteggio sia equiprobabile per ciascun messaggio.

Esempio: per individuare un messaggio tra otto a disposizione del mittente, è possibile procedere attraverso una ricerca binaria. Supponendo che i messaggi siano numerati da 1 a 8, al primo passo si inizia la ricerca dal mezzo, chiedendo al mittente se il numero che identifica il messaggio è maggiore di 4. Supponendo che la risposta sia 'no' si "consuma" un bit (sì o no) per ottenere questa informazione. Successivamente si procede nella prima metà allo stesso modo, chiedendo se il numero è maggiore di 2, e consumando quindi un secondo bit alla risposta. Se la risposta è 'sì', si chiederà nell'ultima domanda se il numero è maggiore di 3, consumando il terzo bit. Se la risposta è ancora 'sì', il mittente informerà il ricevente, attraverso un linguaggio costituito da soli 'sì' e 'no', che il messaggio cercato è il quarto. Quindi, con sole tre risposte (bit) si riesce ad identificare un messaggio in un repertorio di otto.Più in generale, e senza il requisito di equiprobabilità nel sorteggio dei messaggi, la quantità di informazione (QI) si esprime in bit con la seguente formula: QI = log2 1/p(xi) = −log2 p(x) bit. Con p(xi) evento i-esimo che si verifica con probabilita p. Nell'esempio precedente, essendo P(xi) = 1/8 si ha: QI = log2 1/(1/8) = −log2 1/8 = 3 bit. Si dà la seguente definizione: La quantità di informazione è una misura espressa in bit della libertà di scelta di cui si dispone nello scegliere un messaggio dall'insieme di quelli disponibili, anche se senza significato.

Larghezza di banda: o banda passante (ingl., bandwidth). Per i segnali analogici come le onde radio e le onde sonore, è l'intervallo di frequenze disponibili per la trasmissione di un segnale su un mezzo trasmissivo. Tale intervallo è denominato anche campo o banda. La larghezza di banda viene misurata in Hz (Hertz), e calcolata sottraendo la frequenza limite inferiore da quella superiore. Ad esempio, nella comunicazione telefonica la larghezza di banda è di 3100 Hz (3400 Hz Hz ) mentre per le trasmissioni televisive è di 6 MHz. Mezzo di trasmissione: mezzo fisico (canale) quale l'etere, il doppino telefonico, la fibra ottica. Un canale permette di trasmettere l'informazione tra le due entità: sorgente e destinazione. Il canale di comunicazione è determinante per mantenere fedele all'originale il messaggio trasmesso a destinazione (affidabilità di un canale). Un processo di comunicazione è definito schematicamente da tre elementi: Sorgente → Canale (mezzo trasmissivo) → Destinazione Definizioni

Teorema di Shannon Teorema di Shannon: la massima velocità di trasmissione o Capacità, in un canale rumoroso la cui larghezza di banda è H Hz con rapporto S/R (segnale/rumore), è data dall'equazione: C = massimo numero di bps = H log2 (1 + S/R). Poichè la larghezza di banda H della linea telefonica è di 3 KHz e il rumore presente è di 30 dB (= 1000), il limite è C=3100. Log2 (1001) = 3100 x 9,96 = bit/sec mentre per un canale televisivo si parte da 6MHz Il rumore R si misura in deciBel, il quale non è un unità di misura ma è adimensionale.Il decibel (dB) è definito come: 10 * log10P/P0 Dove: P0 = Pressione sonora minima percettibile dall’orecchio umano P = Pressione sonora della sorgente Bibliografia: Teoria dell'Informazione - Linguaggio e cibernetica di Jagjit Singh, Ed. Biblioteca della EST (1969). Titolo originale: Great ideas in Information Theory, Language and Cybernetics. N J A Sloane and A D Wyner (eds.), Claude Elwood Shannon : collected papers (New York, 1993). R Price, A conversation with Claude Shannon: one man's approach to problem solving, Cryptologia 9 (2) (1985),