APPROSSIMAZIONE DI FUNZIONI

AF - 1 La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE Le MLP possono essere viste come particolari REGRESSORI NON LINEARI PROBLEMA f (.) incognita + d - x y e risposta desiderata Sia: x input d = f ( x ) funzione incognita Obiettivo : trovare f (.) assegnato un numero finito di coppie ( x , w ) dipende dalla scelta di w che può essere modificato per minimizzare la discrepanza tra y e d quando y approssima d, il sistema adattativo sta approssimando con la sua mappa input-output

UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE AF - 2 La natura di f (.) e il criterio di errore definiscono il problema di learning Se f (.) lineare e criterio di errore MSE  REGRESSIONE LINEARE Se f (.) produce valori 1/0 ( -1/ 1 )  classificazione. In tale caso la funzione è chiamata FUNZIONE INDICATORE Anche il problema della generalizzazione può essere trattato matematicamente nell’ottica dell’approssimazione di funzioni UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE SONO APPROSSIMATORI UNIVERSALI SONO APPROSSIMATORI EFFICIENTI POSSONO ESSERE IMPLEMENTATE COME SISTEMI ADATTATIVI

OBIETTIVO DELLA AF Generalizzazione AF - 3 Descrivere il comportamento di funzioni altamente complesse utilizzando insiemi di funzioni più semplici Es: - Legendre e Gauss  uso di polinomi - Sviluppo in serie di Taylor  approssimazione nell’intorno di un punto - Serie di Fourier  uso dei polinomi trigonometrici Generalizzazione Hp: TEOREMA DELLA PROIEZIONE LINEARE Si può descrivere f(x), in una area compatta S dello spazio degli ingressi attraverso una combinazione di funzioni semplici ji(x), cioè: Con arbitrariamente piccolo

REALIZZAZIONE AF - 4 S x1 x2 xd j2 jk j N w1 w2 wN wk f (x,w) j1 Quando si determinano i coefficienti wi che rendono e arbitrariemente piccolo per qualunque f (.) nel dominio d’interesse si dice che l’insieme {ji (.)} ha la proprietà di approssimatore universale sulla classe f (.), o anche che l’insieme è completo PROBLEMI 1. SCEGLIERE LE FUNZIONI ELEMENTARI 2. CALCOLARE I PESI wi 3. SELEZIONARE IL NUMERO N DI FUNZIONI ELEMENTARI 1. AMPIA SCELTA (TRIGONOMETRICHE, SINC, WAVELET, etc.) Nota: I neuroni nascosti di una MLP con 1 strato nascosto implementano una possibile scelta delle funzioni elementari

è un vettore dei valori della funzione negli N punti 2. La scelta dei wi dipende dal criterio usato per calcolare la discrepanza tra e Es: criterio LS i wi possono essere calcolati analiticamente Se N è pari al numero di pattern d’ingresso xi: si può scrivere: AF - 5 è un vettore dei valori della funzione negli N punti CRITERI PER LA SCELTA DELLE {ji(.)} Devono essere approssimatori universali per la classe di funzioni f(.) Devono essere facilmente trattabili matematicamente Deve esistere verificato se le costituiscono una base, cioè sono linearmente indipendenti SPESSO SI ASSUME CHE LE {ji(.)} SIANO UNA BASE ORTONORMALE

TEOREMA DEL CAMPIONAMENTO AF - 6 Si può approssimare qualunque segnale reale che sia smooth in un intervallo conoscendo i valori del segnale in un insieme finito di punti equispaziati (detti campioni) nell’intervallo a) Funzioni sinc Si può dimostrare che i pesi sono i valori del segnale nei punti di campionamento b) Serie di Fourier

La decomposizione wavelet ha due parametri: AF - 7 c) Wavelet Nella trasformata di Fourier le funzioni elementari hanno estensione infinita nel tempo In molte applicazioni i segnali hanno durata temporale finita (es. transitori) L’idea alla base dell’analisi wavelet è di scegliere una forma d’onda adatta a rappresentare il segnale e poi creare molte versioni traslate e scalate dell’onda “madre” La decomposizione wavelet ha due parametri: Traslazione e scalatura di una wavelet

Basi per l’approssimazione di funzioni non lineari con le MLP AF - 8 Usando sistemi adattativi i pesi possono essere trovati attraverso il learning piuttosto che analiticamente Le basi sono dipendenti dai dati Basi per l’approssimazione di funzioni non lineari con le MLP Funzioni elementari locali: rispondono primariamente ad un’area limitata dello spazio degli ingressi Funzioni elementari globali: rispondono all’intero spazio degli ingressi X1 X2 XD +1 b1 a11 w1 y La MLP realizza l’approssimazione di funzione usando come basi esattamente le uscite dei neuroni nascosti

Approssimazione con funzioni logistiche AF - 9 Approssimazione con funzioni logistiche Nota: i neuroni sigmoidali realizzano funzioni elementari globali Interpretazione: la MLP sta realizzando una approssimazione di funzione con un set di BASI ADATTATIVE che vengono realizzate dai dati di input-output Esse dipendono dai pesi del primo strato e dagli ingressi

RADIAL BASIS FUNCTION (RBF) AF - 10 g di norma è una gaussiana: La gaussiana è centrata in x i con varianza s 2 : ha il massimo della risposta nell’intorno dell’ingresso x i e decade esponenzialmente col quadrato della distanza Sono funzioni elementari locali Dalla: APPROSSIMAZIONE CON RBF monodimensionale

L’APPROSSIMAZIONE CON RBF RICHIEDE: AF - 11 Il posizionamento delle Gaussiane per coprire lo spazio degli ingressi Il controllo dell’ampiezza di ciascuna Gaussiana Il controllo della larghezza di ciascuna Gaussiana DIFFERENZE TRA MLP E RBF RBF: - basi locali  modificandone una non si influenza l’approssimazione nelle altre zone dello spazio - il numero di RBF cresce esponenzialmente con le dimensioni dello spazio da coprire - Allenamento efficiente una volta determinati i centri delle funzioni  infatti l’errore è lineare coi pesi - Convergenza al minimo globale purché i pesi siano posizionati in modo ottimo LE RBF SONO MOLTO ADATTE PER L’IDENTIFICAZIONE DI SISTEMI

Scelta del numero di basi AF - 12 Una scelta ottimale discende da un compromesso tra l’errore sul modello e la sua varianza Analogia col fitting polinomiale Alto bias (errore) Alta varianza non generalizza I fiducial sono gli esempi del trainig set Il dominio completo è costituito da tutti i dati possibili d’ingresso Il polinomio corrisponde alla mappa input/output creata dalla rete I coefficienti del polinomio equivalgono ai pesi delle connessioni Il grado del polinomio corrisponde al numero di pesi