esercitazione su una sorgente markoviana Codifica di sorgente esercitazione su una sorgente markoviana

esempio di sorgente con memoria markoviana a due stati NB: per la simmetria del sistema, i simboli sono equiprobabili "a" "b" pab=0.1 pba=0.1 pbb=0.9 paa=0.9

esempi di sorgenti consideriamo tre semplici sorgenti binarie S1: sorgente binaria senza memoria a simboli equiprobabili p{x(k)=a}=p{x(k)=b}=0.5 S2: sorgente binaria senza memoria, con simboli NON equiprobabili p{x(k)=a}=0.1 , p{x(k)=b}=0.9 S3: sorgente binaria CON memoria di tipo markoviano ad un passo p{x(k)=x(k-1)}=0.9 , p{x(k)≠x(k-1)}=0.1 NB: per la simmetria del sistema, entrambi i simboli hanno la stessa frequenza : p{x(k)=a}=p{x(k)=b}=0.5

esempi di sorgenti binarie S1: senza memoria simboli equiproabili p{x(k)=a}=0.5 p{x(k)=b}=0.5 a H(X)=1 b a S2: senza memoria p{x(k)=a}=0.1 p{x(k)=b}=0.9 H(X) ≈ 0.47 b S3: markoviana ad 1 passo p{x(k)=x(k-1)}=0.9 p{x(k)≠x(k-1)}=0.1 a H(X)=... ? b

Funzione di Autocorrelazione (ACF) S1: senza memoria simboli equiproabili p{x(k)=a}=0.5 p{x(k)=b}=0.5 S2: senza memoria p{x(k)=a}=0.9 p{x(k)=b}=0.1 S3: markoviana ad 1 passo p{x(k)=x(k-1)}=0.9 p{x(k)≠x(k-1)}=0.1 lag

Calcolo della Entropia della sorgente S2 Entropia della sorgente S2 (senza memoria)

Calcolo della Entropia della sorgente S3 Per sorgenti markoviane e stazionarie l'entropia di sorgente é uguale al limite dell´entropia condizionata: [per sorgenti markoviane e stazionarie...] (NB: questa è l'entropia condizionata)

Calcolo della Entropia della sorgente S3 sviluppando la definizione di entropia condizionata... prob. congiunta fattorizziamo... prob. condizionata (è nota dal modello markoviano) statistica del primo ordine, per la stazionaritá:

Calcolo della Entropia della sorgente S3 nel caso specifico della sorgente S3 inoltre per la stazionarietá per la simmetria del sistema di sorgente è evidente che i simboli sono equiprobabili (NB: come in S1)

Calcolo della Entropia della sorgente S3 tornando la definizione di entropia condizionata, possiamo espandere la doppia sommatoria ... questa è proprio la formula della Entropia di S2 !! non è una coincidenza ...

Modelli delle sorgenti BMS p0/p1= Binary Memoryless Source with probabilities p0,p1 S1 S2 BMS 0.9/0.1 0/1 + x(k) T componente stocastica deterministica S3 BMS 0.5/0.5 0/1 x(k) BMS 0.9/0.1 0/1 x(k) modello a stati di S3 "a" "b" pab=0.9 pba=0.9 pbb=0.1 paa=0.1

Esercizi su codifica di sorgente

Quantitá di INFORMAZIONE Quantitá di INCERTEZZA ENTROPIA = Quantitá di INFORMAZIONE Quantitá di INCERTEZZA

Esercizio 1 Si calcoli l´entropia di una sorgente S1 di tipo DMS con M=3 simboli con le seguenti probabilitá: S1: p1=p2=0.2, p3=0.6 per tale sorgente si considerino le seguenti classi di codice I. codifica simbolo-a-simbolo con parole di codice a lunghezza costante II. codifica simbolo-a-simbolo con parole di codice a lunghezza variabili III. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza costante IV. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza variabile per ognuna di queste classi, si fornisca un esempio di codice ottimo, e se ne calcoli la efficienza e ridondanza Si assuma ora che i codici ottimi definiti per la sorgente S1 vengano usati per la codifica di un messaggio generato da una sorgente differente S2, con M=3 e probabilitá S2: p'1=0.7, p'2=0.2, p'3=0.1. Si calcoli il valore di efficienza e ridondanza di ciascun codice in questo nuovo scenario.

Esercizio 2 Si calcoli l´entropia di una sorgente binaria S senza memoria simboli con le seguenti probabilitá: pa=0.9, pb=0.1. per tale sorgente si considerino le seguenti classi di codice I. codifica simbolo-a-simbolo con parole di codice a lunghezza costante II. codifica simbolo-a-simbolo con parole di codide a lunghezza variabile III. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza costante IV. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza variabile V. codifica a blocchi di dimensione L=3 con parole di codice a lunghezza variabile per ognuna di queste classi, si fornisca un esempio di codice ottimo, e se ne calcoli la efficienza e ridondanza. Si assuma di trasmettere la sequenza di simboli generata da S attraverso un link di collegamento a capacitá C=100 kbit/sec posto tra la sorgente S e un hard disk a capacitá B=106 bytes. Per ciascuna tecnica di codifica si dica: Quanti simboli posso memorizzare nell´hard disk ? Quanto tempo ci vuole per riempire l´hard disk ?

Esercizio 3 Si calcoli l´entropia di una sorgente S1 di tipo DMS con M=6 simboli con le seguenti probabilitá: S1: p1=p2=0.2, p3=0.1, p4=p5=0.15, p6=0.3 per tale sorgente si considerino le seguenti classi di codice I. codifica simbolo-a-simbolo con parole di codice a lunghezza costante II. codifica simbolo-a-simbolo con parole di codide a lunghezza variabili per ognuna di queste classi, si fornisca un esempio di codice ottimo, e se ne calcoli la efficienza e ridondanza. avendo a disposizione un canale a capacitá C=256 kbps, quanto vale il ritmo massimo di simbolo che puó essere trasmesso sul canale, per ciascuna delle due tecniche di codifica ? quanto varrebbe nel caso ideale di codifica a massima efficienza ? Si assuma ora che i codici definiti per la sorgente S1 vengano usati per la codifica di un messaggio generato da una sorgente differente S2, in cui M=6 simboli sono tutti equiprobabili. Si calcoli il valore di efficienza e ridondanza per entrambi i codici. Quale è il ritmo massimo di simbolo che posso trasmettere in questo caso (codici ottimizzati per S1 applicati a S2) sul canale C?

Esercizi con i dadi 1/2 Si consideri una successione infinita di lanci di un dado standard. La variabile aleatoria X(k) rappresenta il risultato del lancio k-esimo. Si calcoli l´entropia della v.a. X(k). Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. X(k) ? Quanto è il guadagno di efficienza di una codifica di Huffman rispetto ad una codifica a parole di codice di lunghezza costante ? Si consideri una successione infinita di lanci di una coppia di dadi. Ad ogni lancio k-esimo vengono registrati i risultati di entrambi i dadi (R1,R2). (NB: entrambi i dadi vengono lanciati insieme in un singolo lancio). I dadi sono distinguibili (es. sono di colore diverso), per cui occorre il risultato (R1=3,R2=4) viene distinto dal risultato (R1=4,R2=3). La variabile aleatoria Y(k) deve codificare il risultato di ciascun lancio (di coppia di dadi). Si calcoli l´entropia della v.a. Y(k). Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. Y(k) ? Quanto è il guadagno di efficienza di una codifica di Huffman rispetto ad una codifica a parole di codice di lunghezza costante ?

Esercizi con i dadi 2/2 Si consideri uno scenario simile a quello dell´esercizio precedente, con la differenza che in questo caso i due dadi si considerano indistinguibili (es. stesso colore). Quindi i risultati (R1=3,R2=4) e (R2=4,R1=2) sono considerati equivalenti e sono codificati nello stesso simbolo. La variabile aleatoria W(k) deve codificare il risultato di ciascun lancio in questo nuovo scenario. Si calcoli l´entropia della v.a. W(k). Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. W(k) ? Si consideri lo stesso scenario dell´esercizio precedente. La variabile aleatoria Z(k) rappresenta la somma dei punti dei due dadi. Si calcoli l´entropia della v.a. Z(k). Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. Z(k) ? Si consideri lo stesso scenario dell´esercizio precedente. La variabile aleatoria binaria D(k) rappresenta la paritá dei punti ottenuti nel lancio dei due dadi ( D(k)=1 se Z(k) è pari, D(k)=0 se Z(k) è dispari). Si calcoli l´entropia della v.a. D(k). Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. D(k) ?

note sull´esercizio si noti che H(X) = log2(6)=2.585 H(Y)=2*H(X)=5.17 H(W)=4.33 H(Z)=3.27 perchè H(D)<H(Z)<H(W)<H(Y) ... ? si poteva prevederlo intuitivamente ? da questo esercizio impariamo che passando da Y a W a Z stiamo aggregando i risultati possibili in alfabeti di dimensione sempre minore perdo la capacitá di discriminare tra eventi diversi stiamo quindi passando verso variabili che contengono una minore quantitá informazione, le quali descrivono in maniera meno accurata l´esito degli esperimenti quindi perdo "informazione",  l´entropia media diminiuisce

Esercizio 4 (es. 3.10 dal libro) Si considera un modulo di visualizzazione costituito da una griglia di 6x4 pixel, sul quale possono essere visualizzate le dieci cifre decimali "0","1" ..."9" a titolo di esempio sono riportate sotto le configurazioni per le cifre "0", "4" e "9" si calcoli la ridondanza di questo codice, nell´ipotesi che tutte le cifre siano equiprobabili. si ha un tabellone costituito da 9 moduli del tipo illustrato sopra, e si aggiorna l´intero tabellone con una nuovo insieme di cifre ogni periodo T. Per ogni aggiornamento, i simboli inviati sono indipendenti tra loro e dai simboli precedenti. Il canale di comunicazione verso il tabellone è di Cb=10 bit/sec. Quale è il valore massimo teorico della frequenza di aggiornamento F=1/T, nell´ipotesi di codifica a ridondanza nulla ?

Esercizio 5 Si consideri la seguente sequenza di N=30 simboli generata dalla sorgente S ... A B A A A B C A B B A B A C A A B B A A A B A B A A A B A ... si assuma che tale sequenza sia una realizzazione di un processo discreto ergodico a simboli indipendenti (senza memoria), per il quale è possibile stimare le probabilitá di simbolo dalle frequenze medie temporali si fornisca un codice ottimo di codifica simbolo-a-simbolo si assuma poi di ottenere dalla stessa sorgente S un messaggio di dimensione N'=104 simboli, e si indichi con B il numero di bit (cifre binarie) necessarie per codificare tale messaggio. Calcolare il valore atteso di B.

Esercizio 6 – pseudo-testo Un testo si compone di una sequenza di caratteri, ciascuno estratto da un alfabeto di 22 simboli (21 lettere + il carattere di spaziatura "<spazio>"). Si assuma che i caratteri siano tra loro statisticamente indipendenti. Ciascun simbolo è codificato con una stringa di 8 bit. Calcolare l‘entropia di questa sorgente, e la ridondanza del codice descritto nella traccia. Si consideri ora il caso in cui il testo sia costituito da parole di lunghezza costante W=6 lettere, separate dal carattere "<spazio>“. Ogni parola è costituita da una alternanza di consonanti e vocali e comincia con una consonante (es. PILONE). Tutte le vocali (5) si suppongono equiprobabili nelle posizioni 2,4,6 in ciascuna parola. Analogamente, le consonanti (16) si suppongono equiprobabili nelle posizioni 1,3,5. Ciascun simbolo (compreso lo „<spazio>“) è codificato con una stringa di 8 bit. [da questo esercizio impariamo che introdurre "struttura" (= vincoli) nel messaggio significa diminuire la quantitá di incertezza media della sorgente  diminuisce l´informazione necessaria a descrivere una realizzazione  diminiuisce l´entropia. Quindi a paritá di codice, introduco ridondanza]

Esercizio 7 – sorgente composta (1/2) Si consideri la sorgente discreta SIII mostrata in figura, che genera una sequenza di simboli {X(k)} costituita alternativamente da simboli generati dalla sottosorgente SI (per k pari) e SII (per k dispari). Lo switch di figura è quindi di tipo deterministico (round robin) Le sottosorgenti SI e SII sono binarie, senza memoria e sono tra loro statisticamente indipendenti. La sottosorgente SI genera i simboli {a,b} con probabilitá pa=1-pb=0.8. La sotto sorgente SII genera simboli {g,h} con probabilitá pg=1-ph=0.4. Il ritmo di emissione della sorgente SIII è di Rs=400 simboli/secondo. La sequenza {X(k)} è con o senza memoria ? È stazionaria oppure no ? Giustificare le risposte. SIII a,b SI ...a,g,a,h,b,g,a,h,a,h,b,g,a,h,a,g .... switch SII g,h {X(k)}

Esercizio 7 – sorgente composta (2/2) Si vuole ora codificare la sequenza {X(k)} generata da SIII a blocchi di L=2 caratteri, mappando ciascun blocco nel simbolo di un nuovo alfabeto a MY caratteri (es. {1,2,...MY}). Si ottiene in questo modo la nuova sequenza {Y(k)}. La sequenza {Y(k)} è con o senza memoria ? È stazionaria oppure no ? Quanto vale MY? Quale è l´entropia della sequenza {Y(k)} ? Si codifichi la sequenza {Y(k)} con un codice di Huffmann, e si fornisca il valore di efficienza di questa codifica. Si ha a disposizione uno spazio di memoria pari a B=106 bytes nel quale memorizzare l´informazione generata dalla sorgente SIII, codificata con la modalitá appena indicata. Calcolare il tempo di riempimento della memoria B. SIII a,b aggregatore SI (a,g)1 (a,h)2 ... ...a,g,a,h,b,g,a,h,a,h,b,g,a,h,b,h .... ...1,2,3,2,2,3,2,4 .... switch {X(k)} {Y(k)} SII g,h

Esercizio 7bis Ripetere l´esercizio precedente (esercizio 7) in tutte le sue parti, assumendo che lo switch interno alla sorgente SIII sia di tipo stocastico (anziché deterministico), ovvero la selezione ad ogni passo della sottosorgente (SI e SII) avviene in modo casuale, indipendente dalle selezioni precedenti, ed equiprobabile tra le due opzioni. Si risponda a tutte le domande dell´esercizio precedente. [NB: Attenzione all´aggregatore! Posso usare quello dell´esercizio precedente ? Perchè ?) Si confrontino i due sistemi con switch deterministico e statistico: quali quantitá sono cambiate ? Perchè ? SIII a,b aggregatore SI switch random ...a,g,a,b,h,g,g,h,a,b,a,g,a,a,b,h .... ...1,2,5,... {X'(k)} {Y'(k)} SII g,h

note sull´esercizio si nota che H(Y')=H(Y)+2 perchè ? si poteva prevederlo intuitivamente ? [da questo esercizio impariamo che introdurre "casualitá" (= randomizzazione) nella sorgente significa aumentare la quantitá di incertezza  aumenta l´informazione necessaria a descrivere una realizzazione  aumenta l´entropia.]