La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

APPROSSIMAZIONE DI FUNZIONI. AF - 1 La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE Le MLP possono.

Presentazioni simili


Presentazione sul tema: "APPROSSIMAZIONE DI FUNZIONI. AF - 1 La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE Le MLP possono."— Transcript della presentazione:

1 APPROSSIMAZIONE DI FUNZIONI

2 AF - 1 La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE Le MLP possono essere viste come particolari REGRESSORI NON LINEARI PROBLEMA Sia: xinput d = f ( x ) funzione incognita f (.) incognita + d - x y  risposta desiderata Obiettivo : trovare f (.) assegnato un numero finito di coppie ( x, w ) dipende dalla scelta di w che può essere modificato per minimizzare la discrepanza tra y e d quando y approssima d, il sistema adattativo sta approssimandocon la sua mappa input-output

3 AF - 2 La natura di f (.) e il criterio di errore definiscono il problema di learning –Se f (.) lineare e criterio di errore MSE  REGRESSIONE LINEARE –Se f (.) produce valori 1/0 ( -1/ 1 )  classificazione. In tale caso la funzione è chiamata FUNZIONE INDICATORE –Anche il problema della generalizzazione può essere trattato matematicamente nell’ottica dell’approssimazione di funzioni UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE –SONO APPROSSIMATORI UNIVERSALI –SONO APPROSSIMATORI EFFICIENTI –POSSONO ESSERE IMPLEMENTATE COME SISTEMI ADATTATIVI

4 OBIETTIVO DELLA AF Descrivere il comportamento di funzioni altamente complesse utilizzando insiemi di funzioni più semplici Es: - Legendre e Gauss  uso di polinomi - Sviluppo in serie di Taylor  approssimazione nell’intorno di un punto - Serie di Fourier  uso dei polinomi trigonometrici Generalizzazione Hp: TEOREMA DELLA PROIEZIONE LINEARE Si può descrivere f(x), in una area compatta S dello spazio degli ingressi attraverso una combinazione di funzioni semplici    x), cioè: Con arbitrariamente piccolo AF - 3

5 REALIZZAZIONE Quando si determinano i coefficienti w i che rendono  arbitrariemente piccolo per qualunque f (.) nel dominio d’interesse si dice che l’insieme {  i (.)} ha la proprietà di approssimatore universale sulla classe f (.), o anche che l’insieme è completo PROBLEMI 1. SCEGLIERE LE FUNZIONI ELEMENTARI 2. CALCOLARE I PESI w i 3. SELEZIONARE IL NUMERO N DI FUNZIONI ELEMENTARI 1. AMPIA SCELTA (TRIGONOMETRICHE, SINC, WAVELET, etc.) Nota: I neuroni nascosti di una MLP con 1 strato nascosto implementano una possibile scelta delle funzioni elementari AF - 4  x1x1 x2x2 xdxd 22 kk  N w1w1 w2w2 wNwN wkwk f (x,w) 11

6 2. La scelta dei w i dipende dal criterio usato per calcolare la discrepanza tra e Es: criterio LS i w i possono essere calcolati analiticamente Se N è pari al numero di pattern d’ingresso x i : si può scrivere: CRITERI PER LA SCELTA DELLE {  i (.)} Devono essere approssimatori universali per la classe di funzioni f(.) Devono essere facilmente trattabili matematicamente Deve esistere verificato se le costituiscono una base, cioè sono linearmente indipendenti SPESSO SI ASSUME CHE LE {  i (.)} SIANO UNA BASE ORTONORMALE è un vettore dei valori della funzione negli N punti AF - 5

7 TEOREMA DEL CAMPIONAMENTO Si può approssimare qualunque segnale reale che sia smooth in un intervallo conoscendo i valori del segnale in un insieme finito di punti equispaziati (detti campioni) nell’intervallo Si può dimostrare che i pesi sono i valori del segnale nei punti di campionamento a) Funzioni sinc b) Serie di Fourier AF - 6

8 c) Wavelet Nella trasformata di Fourier le funzioni elementari hanno estensione infinita nel tempo In molte applicazioni i segnali hanno durata temporale finita (es. transitori) L’idea alla base dell’analisi wavelet è di scegliere una forma d’onda adatta a rappresentare il segnale e poi creare molte versioni traslate e scalate dell’onda “madre” La decomposizione wavelet ha due parametri: Traslazione e scalatura di una wavelet AF - 7

9 Usando sistemi adattativi i pesi possono essere trovati attraverso il learning piuttosto che analiticamente Le basi sono dipendenti dai dati X1X1 X2X2 XDXD +1 b1b1 a 11 w1w1 w1w1 y La MLP realizza l’approssimazione di funzione usando come basi esattamente le uscite dei neuroni nascosti Basi per l’approssimazione di funzioni non lineari con le MLP Funzioni elementari locali: rispondono primariamente ad un’area limitata dello spazio degli ingressi Funzioni elementari globali: rispondono all’intero spazio degli ingressi AF - 8

10 Approssimazione con funzioni logistiche Nota: i neuroni sigmoidali realizzano funzioni elementari globali Interpretazione: la MLP sta realizzando una approssimazione di funzione con un set di BASI ADATTATIVE che vengono realizzate dai dati di input-output Esse dipendono dai pesi del primo strato e dagli ingressi AF - 9

11 La gaussiana è centrata in x i con varianza   : ha il massimo della risposta nell’intorno dell’ingresso x i e decade esponenzialmente col quadrato della distanza Sono funzioni elementari locali Dalla: RADIAL BASIS FUNCTION (RBF)  di norma è una gaussiana: APPROSSIMAZIONE CON RBF monodimensionale AF - 10

12 L’APPROSSIMAZIONE CON RBF RICHIEDE: Il posizionamento delle Gaussiane per coprire lo spazio degli ingressi Il controllo dell’ampiezza di ciascuna Gaussiana Il controllo della larghezza di ciascuna Gaussiana RBF: - basi locali  modificandone una non si influenza l’approssimazione nelle altre zone dello spazio - il numero di RBF cresce esponenzialmente con le dimensioni dello spazio da coprire - Allenamento efficiente una volta determinati i centri delle funzioni  infatti l’errore è lineare coi pesi - Convergenza al minimo globale purché i pesi siano posizionati in modo ottimo LE RBF SONO MOLTO ADATTE PER L’IDENTIFICAZIONE DI SISTEMI DIFFERENZE TRA MLP E RBF AF - 11

13 Una scelta ottimale discende da un compromesso tra l’errore sul modello e la sua varianza Analogia col fitting polinomiale Alto bias (errore) Alta varianza non generalizza I fiducial sono gli esempi del trainig set Il dominio completo è costituito da tutti i dati possibili d’ingresso Il polinomio corrisponde alla mappa input/output creata dalla rete I coefficienti del polinomio equivalgono ai pesi delle connessioni Il grado del polinomio corrisponde al numero di pesi AF - 12 Scelta del numero di basi


Scaricare ppt "APPROSSIMAZIONE DI FUNZIONI. AF - 1 La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE Le MLP possono."

Presentazioni simili


Annunci Google