PROCESSI CASUALI E SISTEMI LINEARI TEMPO INVARIANTI SEZIONE 7

Segnali deterministici Un segnale x(t) si dice DETERMINISTICO se ad un determinato tempo to e’ associato il ben preciso valore x(to) . Tutti i segnali visti sino ad ora sono deterministici. Ad esempio i valori assunti dal segnale x(t)=cos(2pt) sono noti con certezza per ogni valore di t t … -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 … x(t) … -0.809 -0.309 0.309 0.809 1 0.809 0.309 -0.309 -0.809 ... L’andamento della maggior parte dei segnali che si incontrano in pratica (ad esempio, il tipico ronzio prodotto da un trasformatore, il segnale radio captato da un’antenna, il rumore presente in ogni dispositivo elettronico …) non e’ rappresentabile (se non in forma approssimata) con semplici e comode funzioni matematiche come quelle viste sino ad ora. Anche questi segnali (segnale radio,telefonico,ecc.) sono deterministici perche’ comunque ad ogni istante di tempo ciascuno ha un ben preciso valore.

Introduzione ai processi casuali (1) Il rumore termico Un classico e importante esempio utile a introdurre il concetto di processo casuale e’ rappresentato dalla debole tensione elettrica v1(t) esistente ai capi di un resistore. Questa tensione, variabile nel tempo, e’ causata dal movimento caotico degli elettroni dovuto ad una temperatura del materiale superiore allo zero assoluto. Se si misura la tensione v1(t) si ottiene, secondo quanto detto in precedenza, un segnale deterministico. v1(t) v1(t) t R1 C ?

Introduzione ai processi casuali (2) Se si prende un secondo resistore identico al primo e posto alla stessa temperatura e si esegue la misura della tensione elettrica ai suoi capi, si otterra’ di nuovo un segnale deterministico v2(t), con caratteristiche simili ma diverso dal precedente dato che gli elettroni si muovono in modi diversi ed indipendenti tra loro. v2(t) t v2(t) R2 v1(t) t R1 v1(t)

Introduzione ai processi casuali (3) Se il nostro scopo e’ determinare l’effetto del rumore termico del resistore su un’apparecchiatura elettronica, non e’ di nessuna utilita’ conoscere deterministicamente il comportamento della tensione v1(t) ai capi del primo resistore se poi il resistore effettivamente montato nell’apparecchiatura e’ il secondo. E’ utile invece riuscire a descrivere quelle che sono le caratteristiche della tensione di rumore comuni a tutti i resistori dello stesso tipo e a quella temperatura. In questo modo, qualsiasi sia il resistore (di quel valore e a quella temperatura) montato nell’apparecchiatura, potremo dire, per esempio, con quale probabilita’ si presenteranno certi valori di tensione o quale sara’ il valore atteso della potenza di rumore. Si abbandona dunque il concetto di certezza (proprio dei segnali deterministici) per passare a quello dell’incertezza, descritto dalla teoria delle probabilita’, proprio dei processi casuali.

Introduzione ai processi casuali (4) Un processo casuale e’: l’insieme di tutti i segnali deterministici (detti le realizzazioni del processo) generati da altrettante sorgenti uguali, ma indipendenti tra loro. ESEMPIO Il processo casuale “rumore termico” e’: l’insieme di tutte le tensioni elettriche vi(t) (realizzazioni del processo) esistenti ai capi di altrettanti resistori dello stesso tipo e temperatura.

Descrizione dei processi casuali Di un processo casuale e’ utile conoscere le caratteristiche comuni a tutte le realizzazioni Per descrivere il processo casuale x(t) si utilizzano soprattutto due funzioni: La densita’ di probabilita’ delle ampiezze del processo p (a) Ci dice con quale probabilita’ una qualsiasi realizzazione del processo casuale x(t) assume un valore uguale ad a. In generale p (a) dipende dal tempo. Tuttavia noi ci occuperemo di una classe di processi casuali detti STAZIONARI le cui caratteristiche statistiche non dipendono dal tempo t . La funzione di autocorrelazione del processo Rx(t ) Ci dice quanto il valore assunto da una realizzazione del processo casuale al tempo t +t e’ legato al valore assunto dalla stessa realizzazione al tempo t . Anche in questo caso, limitando l’analisi ai processi casuali STAZIONARI, Rx(t ) non dipende dal tempo t ma solo dal ritardo t tra le due misure.

Processi casuali ergodici Tra i processi casuali stazionari esistono alcuni processi per i quali la densita’ di probabilita’ e la funzione di autocorrelazione si possono ricavare da una sola realizzazione. Questi processi sono detti ERGODICI. realizzazioni Singola realizzazione tempo Osservare tutte le realizzazioni ad un istante di tempo (o per una coppia di istanti) permette di ricavare le stesse informazioni statistiche ottenibili dall’osservazione prolungata nel tempo di una singola realizzazione Un esempio di processo ERGODICO è rappresentato dal rumore termico.

La densita’ di probabilita’ del processo casuale La densita’ di probabilita’ (d.d.p.) di un processo stazionario non ha nulla di diverso rispetto alla densita’ di probabilita’ di una variabile casuale vista in precedenza. Infatti, per un tempo assegnato t = to , il processo casuale e’ una variabile casuale X= x(to) e come tale puo’ essere trattata. A partire dalla d.d.p abbiamo definito due parametri del processo casuale di grande utilita’ pratica: Il valor medio mx La varianza s2x Esempio di d.d.p. gaussiana mX a

L’autocorrelazione dei processi casuali stazionari (1) Definizione: L’indice i della sommatoria si riferisce a diverse realizzazioni Consideriamo due processi casuali stazionari a valor medio nullo , ma con caratteristiche differenti. Il primo ha realizzazioni che variano lentamente nel tempo (ad es. Il rumore di un motore di un’auto al minimo), mentre il secondo ha realizzazioni che variano con grande rapidita’ (ad es. Il fruscio di fondo di un disco rovinato) ... x(t) x(t+t ) x(t) x(t+t )

L’autocorrelazione dei processi casuali stazionari (2) x(t) x(t+t ) t Alcune realizzazioni di un processo variante lentamente Se x(t) evolve lentamente nel tempo rispetto al valore fissato di t , x(t+t ) cambia poco rispetto a x(t): il prodotto xi(t)xi(t+t ) ha segno molto spesso positivo nelle varie realizzazioni e ai vari tempi t. Per t > 0 l’autocorrelazione e’ minore della autocorrelazione per t = 0

L’autocorrelazione dei processi casuali stazionari (3) x(t) x(t+t ) t Alcune realizzazioni di un processo variante rapidamente Se x(t) evolve rapidamente nel tempo t , x(t+t ) cambia molto rispetto a x(t): il prodotto xi(t)xi(t+t ) avra’ segno casuale al variare della realizzazione i e l’autocorrelazione assumera’ un valore prossimo a zero.

Calcolo dell’autocorrelazione (1) 0.5 0.5 0.5 t=0 t=0.2 t=0.4 -0.5 -0.5 -0.5 i =1 i =100 0.5 0.5 0.5 t=0.6 t=0.8 t=1 -0.5 -0.5 -0.5 0.5 0.5 0.5 t=1.2 t=1.4 t=1.6 -0.5 -0.5 -0.5

Calcolo dell’autocorrelazione (2) Rx(t) -4 -2 2 4 -0.4 -0.2 0.2 0.4 0.6 0.8 1 t Si verifica che Rx(t)= Rx(-t)

Interpretazione dell’autocorrelazione L’autocorrelazione in t=0 coincide con la potenza media del processo casuale. Se il processo casuale e’ ergodico ogni realizzazione ha la stessa potenza. Rx(0 ) e’ il massimo valore che puo’ assumere l’autocorrelazione. Dato un processo casuale a valor medio nullo, si definisce coefficiente di autocorrelazione del processo, l’autocorrelazione normalizzata:

Il coefficiente di autocorrelazione Il coefficiente di correlazione del processo e’ una funzione i cui valori sono limitati tra -1 e +1. Ovviamente il suo valore in t =0 e’ unitario e, salvo casi molto particolari, e’ l’unico massimo. Il valore del coefficiente di autocorrelazione in funzione di t e’ una misura della predicibilita’ di una realizzazione del processo all’istante t+ t noto il valore della realizzazione all’istante t. Piu’ il valore del coefficiente di autocorrelazione in t e’ prossimo a 1 o -1, tanto piu’ precisamente si puo’ predire il valore assunto dalla realizzazione del processo all’istante t+ t noto il valore della realizzazione all’istante t.

t t Lo spettro di potenza f f Si dimostra (teorema di Wiener Khintchine) che la trasformata di Fourier della funzione di autocorrelazione Rx() e’ lo spettro di potenza del segnale Sx(f). Rx() Sx(f) Se il segnale x(t) e’ bianco la sua funzione di autocorrelazione e’ nulla salvo per  = 0 e il suo spettro di potenza e’ costante fino a frequenza di 1012Hz. In pratica conviene considerare l’ autocorrelazione del rumore bianco pari a: Rx(t)=d(t) Rx(t) Sx(f) x(t) t f Se il segnale y(t) e’ colorato, la sua funzione di autocorrelazione e’ piu’ “larga” e il suo spettro di potenza e’ stretto e di conseguenza sagomato. Sy(f) Ry(t) y(t) t f

Lo spettro di potenza Sx(f) f e’ il valore quadratico medio del segnale x(t) filtrato con un filtro ideale di ampiezza unitaria e banda f centrato alla frequenza f. Si dimostra infatti che, filtrando un generico segnale x(t) con un filtro avente risposta in frequenza H(f) si ottiene in uscita il segnale y(t) con spettro di potenza Vale ovviamente anche la relazione inversa: Se si applica un filtro ideale di banda f centrato alla frequenza fo otteniamo:

Correlazione tra uscita e ingresso di un sistema LTI La correlazione mutua (crosscorrelazione) tra due processi casuali y(t) e x(t) e’ definita nel modo seguente: Se i due processi casuali y(t) e x(t) sono rispettivamente l’uscita e l’ingresso di un sistema LTI la loro correlazione mutua e’ uguale alla convoluzione tra l’autocorrelazione dell’ingresso e la risposta all’impulso del sistema LTI: Si nota che se il processo d’ingresso e’ bianco (autocorrelazione impulsiva), la correlazione tra uscita e ingresso coincide con la risposta all’impulso del sistema. Questa proprieta’ e’ spesso utilizzata nei sistemi di telecomunicazione per stimare la risposta impulsiva del canale di trasmissione ignoto a priori.

Ryx(t)=E[y(t+t)x(t)] = E[x(t+t-a)h(a)x(t)da] Dimostrazione della relazione Ryx(t)=E[y(t+t)x(t)] = E[x(t+t-a)h(a)x(t)da] =  E [x(t+t-a) x(t)] h(a) da =  Rx(t-a) h(a) da=Rx(t)* h(t) nuova

Correlazione tra uscita e ingresso di rumore bianco (permette di determinare la risposta all’ impulso) y(t) x(t) h(t) ? h(t ) = Per alcuni processi casuali detti ergodici, si ottiene il medesimo risultato eseguendo la sommatoria sui campioni di una sola realizzazione. =

ò x(t)*h(t) = y(t) X(f)H(f) =Y(f) Sx(f)|H(f)|2 = Sy(f) Segnali deterministici Rx(t) Ryx(t) Sx(f) Sy(f) h(t)’ |H(f)|2 Sx(f)|H(f)|2 = Sy(f) Rx(t)*h(t) = Ryx(t) ò ¥ - = 2 ) ( f j y df (f)e S R t p Syx(f)= Sx(f)H(f) nuova Segnali ergodici

Una semplice dimostrazione del legame correlazione/predicibilita’ Indicando per brevita’ con x1 e x2 due processi casuali x(t1) e x(t2), stazionari a valor medio nullo ed uguale potenza, dimostreremo che: 1 - quanto piu’ due variabili casuali x1 e x2 (a valor medio nullo) sono correlate, tanto meglio possiamo stimare il valore di una da quello dell’ altra. 2 - la stima sara’ la migliore possibile, se l’errore di stima e’ incorrelato con i dati. Dire che la variabile casuale x2 e’ correlata con la variabile casuale x1 equivale a dire che il valore assunto da x2 e’ in parte proporzionale a quello assunto da x1 (con fattore di proporzionalita’ r) piu’ una variabile casuale indipendente da x1 e quindi non predicibile . In breve:

Poiche’ la varianza s2 delle due variabili casuali x1 e x2 e’ la medesima, determiniamo il legame tra la varianza di n e il coefficiente r. In formule abbiamo: = 0 perche’ indipendenti Quindi la potenza (varianza) della variabile n e’ nulla se r=1 !

Stima lineare di x2 da x1 (predire il futuro) Conoscendo il valore assunto da x1, cerchiamo predire al meglio (stimare) il valore che assumera’ x2 cercando il coefficiente di proporzionalita’ a Il valore ottimo di a si ha se la differenza (in media quadratica) tra il valore stimato e il valore effettivamente assunto da x2 e’ minima. Cioe’ se e’ minimo l’ errore medio che e’ funzione della variabile a: ) [ ] = E[x22]+a2E[x12]-2aE[x1x2] 2 1 ) ax (x E x - = ] Derivando rispetto ad a e uguagliando a zero si ottiene il valore ottimo di a Il valore ottimo di a coincide, ovviamente, con il coefficiente r, infatti:

Come si fa a predire il futuro? Il valore ottimo di a coincide con r che e’ il coefficiente di correlazione delle variabili casuali x1 e x2 ponendo x2(t)=x1(t+t) Questa considerazione ci consente di definire una procedura per stimare al meglio il valore che assumera’ x2 una volta noto il valore assunto da x1 1a fase: apprendimento - Analizzando N (numero grande) realizzazioni del processo casuale, si calcola il coefficiente di correlazione 2a fase: predizione - Si stima x(t+t ) da x(t)

L’errore di stima Si nota che l’errore di stima, essendo causato solo dalla variabile casuale n, ha valore quadratico medio pari a quello di n Da questa espressione si capisce subito che: 1 - l’errore di stima e’ nullo se le variabili casuali sono totalmente correlate (|r|=1) 2 - l’errore di stima e’ massimo se le variabili casuali sono incorrelate (|r|=0) Infine, e’ importante notare che l’errore di stima e’ incorrelato con il dato (x1), infatti:

Il colore dei segnali Una sequenza di campioni e’ detta bianca se i suoi campioni sono incorrelati tra loro e quindi se la funzione di autocorrelazione e’ nulla per   0. L’incorrelazione implica l’impredicibilita’. Una sequenza di campioni e’ detta colorata se i suoi campioni sono correlati tra loro e quindi se la funzione di autocorrelazione non e’ nulla per   0. Possiamo colorare un segnale bianco, xn filtrandolo con il filtro di risposta all’impulso hn ottenendo il segnale colorato yn . Ci riferiremo, per semplicita’, a segnali campionati e indicheremo con yn , xn , hn , rispettivamente y(nT), x(nT), h(nT). Il segnale campionato y(nT) e’ ottenuto convolvendo x(nT) e h(nT)

Perche’ la convoluzione colora i segnali bianchi Si consideri, ad esempio, la risposta impusiva con solo due campioni diversi da zero: I campioni del segnale d’uscita sono espressi da: 0.5 xn … 0.5 x-2 0.5 x-1 0.5 x0 0.5 x1 … + 0.5 xn-1 … 0.5 x-3 0.5 x-2 0.5 x-1 0.5 x0 … = yn … y-2 y-1 y0 y1 … … (x-2 +x-3)/2 (x-1 +x-2)/2 (x-0 +x-1)/2 (x1 +x0)/2 … Campioni consecutivi di yn contengono in parte la stessa informazione. Ad esempio i campion y0 e y1 contengono entrambi x0 . L’autocorrelazione di yn a distanza di un campione sara’ sicuramente diversa da zero.

Calcolo dell’autocorrelazione del segnale filtrato (un esempio) Consideriamo un segnale bianco e valore quadratico medio unitario: se ¹ = - k ] x E[x n Riferendoci all’esempio precedente abbiamo: L’autocorrelazione dell’ uscita e’ massima in zero, diminuisce, ma non si annulla in 1 e diventa nulla da 2 in poi.

Calcolo dell’autocorrelazione del segnale filtrato (caso generale) In generale, l’autocorrelazione dell’uscita yn di un filtro alimentato con un segnale bianco a valor medio nullo xn , ha un’espressione semplice da ricordare che dipende solo dalla risposta impulsiva del filtro hn . Posto: L’autocorrelazione dell’uscita yn di un filtro avente all’ ingresso un segnale bianco ha la seguente espressione [ ] ( ) * 2 n K k y h E R - = + å s m

å [ ] ( ) * h E R s m Dimostrazione Ry(m)=E[y n y n+m] = E[Sk (x n-k h k)Sp(x n+m-p h p)] con k,p =0K Ry(m)= Sk (E[ Sp(x n-k x n+m-p]) h k h p ma E[ Sp(x n-k x n+m-p] = s2 per n-k=n+m-p, cioe’ per p=m+k quindi Ry(m)= s2 Sk h k h m+k = s2 Sn h n+m h n = s2 h n *h -n [ ] ( ) * 2 n K k y h E R - = + å s m

yn= S x(n-k) hk Lo spettro di potenza Se si fa la trasformata di Fourier di una qualsiasi realizzazione dei segnali xn (bianco), yn (colorato), si ottiene uno spettro periodico di periodo 1/T, che cambia con la realizzazione. Tuttavia, dagli esempi che seguono si vede che lo spettro del segnale colorato yn si attenua alle frequenze vicine a 1/2T mentre invece lo spettro relativo a xn si mantiene ad un livello uniforme (spettro bianco come la luce del sole che contiene tutte le frequenze). Negli esempi che seguono si e’ assunto per semplicita’ T=1. Il segnale yn (colorato) e’ stato ottenuto da xn (bianco) convoluto con la risposta impulsiva hn . K=K K= - K yn= S x(n-k) hk

Lo spettro di potenza (esempi) Trasformata di Fourier (parte immaginaria; quella reale e’ simile) di alcune realizzazioni dei segnali xn (bianco) yn (colorato con hn) In ascisse le frequenze normalizzate alla frequenza di campionamento

Lo spettro di potenza (esempi) Trasformata di Fourier (parte immaginaria; quella reale e’ simile) di alcune realizzazioni dei segnali xn (bianco) yn (colorato con hn) In ascisse le frequenze normalizzate alla frequenza di campionamento

Lo spettro di potenza (esempi) Trasformata di Fourier (parte immaginaria; quella reale e’ simile) di alcune realizzazioni dei segnali xn (bianco) yn (colorato con hn) In ascisse le frequenze normalizzate alla frequenza di campionamento

Lo spettro di potenza (esempi) Trasformata di Fourier (parte immaginaria; quella reale e’ simile) di alcune realizzazioni dei segnali xn (bianco) yn (colorato con hn) In ascisse le frequenze normalizzate alla frequenza di campionamento

Lo spettro di potenza (esempi) Trasformata di Fourier (parte immaginaria) di alcune realizzazioni dei segnali xn (bianco) yn (colorato con hn) In ascisse le frequenze normalizzate alla frequenza di campionamento