QUALCHE PASSO AL DI LÀ Cose utili, ma pericolose

Flavio Waldner - Dipt.di Fisica - UDINE - Italy385 Dati e segnali Dati sperimentali –Cose di cui non si sa nulla –Si cerca di interpretarli con modelli teorici –Si cerca di validare i modelli teorici –Si stabiliscono CL e simili

Flavio Waldner - Dipt.di Fisica - UDINE - Italy386 Dati e segnali Segnali –Dati di cui si sa già qualcosa –La digitalizzazione di una forma donda sinusoidale »Il suono di un diapason –Dati sporcati dal rumore –Segnale non voluto e casuale »Chi dice che è rumore? –Dati con buchi da riempire –Dati con qualcosa di sbagliato da togliere

Flavio Waldner - Dipt.di Fisica - UDINE - Italy387 Dati e segnali Dati così così –Dati che non sono segnali »Non ne sappiamo ancora niente –Dati di cui non abbiamo ancora modelli »Vedi sopra –Dati sui quali dobbiamo orientarci in qualche modo »...e non sappiamo nemmeno come... SPESSO LA MAGGIORANZA DEI CASI!

BONTÀ DI UN FIT Dati sperimentali con tanto di modello teorico

Flavio Waldner - Dipt.di Fisica - UDINE - Italy389 Dati e segnali Esistono molte ricette –Quindi nemmeno una... RIASSUNTO 1.Calcolo del minimo Probabilità e livello di confidenza Decisione sulla bontà del fit Notate che cè SEMPRE UN CERTO GRADO DI ARBITRARIETÀ

Flavio Waldner - Dipt.di Fisica - UDINE - Italy390 Dati e segnali 2.Calcolo del minimo –Calcolo per grado di libertà –Probabilità e livello di confidenza –Decisione in merito 3.Calcolo del minimo –Calcolo della funzione coi parametri del fit –Calcolo delle differenze

Flavio Waldner - Dipt.di Fisica - UDINE - Italy391 Dati e segnali Sono gli scarti e gli scarti ridotti Di solito si procede con Verifica di come vanno Fit con una retta y=0

Flavio Waldner - Dipt.di Fisica - UDINE - Italy392 Dati e segnali 4.Calcolo con la Maximum Likelihood –Quasi mai usato Troppo complicato Ipotesi sulle distribuzioni molto difficili –Da scegliere –Da verificare

Flavio Waldner - Dipt.di Fisica - UDINE - Italy393 Dati e segnali Ecco degli esempi: Una risonanza in cui si suppone la presenza –Di un fondo con andamento lineare –E poi parabolico –Un profilo alla Breit-Wigner –E poi gaussiano

Flavio Waldner - Dipt.di Fisica - UDINE - Italy394

Flavio Waldner - Dipt.di Fisica - UDINE - Italy395

Flavio Waldner - Dipt.di Fisica - UDINE - Italy396

Flavio Waldner - Dipt.di Fisica - UDINE - Italy397 Dati e segnali Un caso con un fit migliore –Il fondo è supposto con andamento parabolico –La risonanza è supposta gaussiana

Flavio Waldner - Dipt.di Fisica - UDINE - Italy398

Flavio Waldner - Dipt.di Fisica - UDINE - Italy399

Flavio Waldner - Dipt.di Fisica - UDINE - Italy400

Flavio Waldner - Dipt.di Fisica - UDINE - Italy401

Flavio Waldner - Dipt.di Fisica - UDINE - Italy402 Dati e segnali Un caso ancora migliore –Stesse ipotesi del caso precedente –Si lasciano liberi i parametri del fondo

Flavio Waldner - Dipt.di Fisica - UDINE - Italy403

Flavio Waldner - Dipt.di Fisica - UDINE - Italy404

Flavio Waldner - Dipt.di Fisica - UDINE - Italy405

Flavio Waldner - Dipt.di Fisica - UDINE - Italy406

Lo smoothing Molto usato e molto pericoloso

Flavio Waldner - Dipt.di Fisica - UDINE - Italy408 Lo smoothing Ci si trova davanti a serie –Con delle ipotesi ragionevoli sul segnale vero –Con delle ipotesi ragionevoli sulla sovrapposizione di rumore –Con delle ipotesi ragionevoli sul rumore Casuale Ad alta frequenza rispetto al segnale Si vuole togliere il rumore

Flavio Waldner - Dipt.di Fisica - UDINE - Italy409 Lo smoothing Prima domanda: sono ragionevoli le nostre ipotesi? Seconda domanda: cosa succede se non lo sono?

Flavio Waldner - Dipt.di Fisica - UDINE - Italy410 Lo smoothing SE siamo sicuri di ciò che facciamo possiamo ad esempio... Sostituire ad un dato la quantità (ad esempio)

Flavio Waldner - Dipt.di Fisica - UDINE - Italy411 Lo smoothing È il metodo della media corrente (running mean) OPPURE Sostituire ad la mediana dei valori adiacenti (sempre in numero dispari!)

Flavio Waldner - Dipt.di Fisica - UDINE - Italy412 Lo smoothing Il metodo è molto efficace... e non lineare... OPPURE Prendere la trasformata di Fourier del segnale e togliere le componenti ad alta frequenza

Flavio Waldner - Dipt.di Fisica - UDINE - Italy413 Lo smoothing OPPURE Dividere il campione in sottocampioni e sostituire al valore centrale la media del campione OPPURE Dividere il campione in sottocampioni e sostituire al valore centrale la media pesata dei valori del campione

Flavio Waldner - Dipt.di Fisica - UDINE - Italy414 Lo smoothing PESATA COME? –Si fa lipotesi che i valori centrali siano più probabili dei laterali (!) –Peso di tipo quadratico

Flavio Waldner - Dipt.di Fisica - UDINE - Italy415 Lo smoothing OPPURE Dividere il campione in sottocampioni e sostituire al valore centrale la media pesata dei valori del campione PESATA COME?

Flavio Waldner - Dipt.di Fisica - UDINE - Italy416 Lo smoothing Con –Una retta –Un polinomio di II grado –Un polinomio di III grado È il metodo del loess Loess: (tedesco = rado, poroso) »Arenaria (calcite, quarzo, ossidi ferrosi, argille finissime) depositata dal vento su superfici irregolari, predesertiche, che finisce per spianare il tutto »Molto fertile -> molte pianure cinesi

Flavio Waldner - Dipt.di Fisica - UDINE - Italy417 Lo smoothing Ecco un peso Eccone un altro Si può pensarlo come un fit di cui non abbiamo idea del modello, quindi come uno dei tanti...

Fit non parametrici... roba sempre più rischiosa...

Flavio Waldner - Dipt.di Fisica - UDINE - Italy419 Fit non parametrici Si va a tentativi –Rette, parabole, splines Curve di III grado –Raccordate agli estremi Si fanno poi controlli a posteriori: –Numero di parametri liberi –Calcolo del –Livello di confidenza –Plot degli scarti

Flavio Waldner - Dipt.di Fisica - UDINE - Italy420 Fit non parametrici Spesso non si può far di meglio Inutile dire che bisogna porre MOLTA attenzione ed avere MOLTA prudenza

Flavio Waldner - Dipt.di Fisica - UDINE - Italy421 Fit non parametrici Una cosa pericolosa Dopo il trattamento i dati sembrano migliori di prima

Flavio Waldner - Dipt.di Fisica - UDINE - Italy422 Fit non parametrici MA INSOMMA ALLORA QUANDO SI USANO ?

Flavio Waldner - Dipt.di Fisica - UDINE - Italy423 Fit non parametrici Quando si sa a priori la forma del segnale Quando si sa a priori che gli è sovrapposto un rumore Quando si sa a priori almeno qualche caratteristica del rumore Gaussiano, bianco, non correlato... Quando non si sa nulla e si cerca di chiarirsi le idee »Economia, sociologia, indagini di mercato...