La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

BIOINGEGNERIA S. Salinari Lezione 4. Problemi di Regressione e Classificazione Problemi di regressione: Determinazione dei parametri di una funzione che.

Presentazioni simili


Presentazione sul tema: "BIOINGEGNERIA S. Salinari Lezione 4. Problemi di Regressione e Classificazione Problemi di regressione: Determinazione dei parametri di una funzione che."— Transcript della presentazione:

1 BIOINGEGNERIA S. Salinari Lezione 4

2 Problemi di Regressione e Classificazione Problemi di regressione: Determinazione dei parametri di una funzione che lega gli insiemi di ingresso ed uscita (previsione) Problemi di classificazione: Associazione di un ingresso ad una determinata classe (riconoscimento e diagnostica) DIFFICOLTA Elevata dimensione dei dati Approccio manuale- Ad esempio: Caratteristiche morfologiche ESTRAZIONE DI CARATTERISTICHE Approccio automatico- Ad esempio: Componenti significative dello spettro Dati non separabili I dati di ingresso appartenenti alle varie classi possono non essere separabili

3 Problemi di Regressione e Classificazione Entrambi i problemi possono essere visti come problemi di APPROSSIMAZIONE DI FUNZIONI. Nella regressione si vuole approssimare la funzione che lega i dati ingresso-uscita Nella classificazione si vuole approssimare la probabilità di appartenenza a varie classi espressa come funzione dellingresso

4 Problemi di Regressione e Classificazione REGRESSIONE Algoritmo LMS (Least Mean Square) y x1 x2 xn w1 w2 wn x = [x 1 x x n ] T w = [w 1 w w n ] T Fornisce una regola per la determinazione dei pesi w nella regressione lineare: Se ||x|| =1 y = ||w|| cos x1 x2 x w ||w|| ||x|| cos

5 Problemi di Regressione e Classificazione REGRESSIONE Algoritmo LMS - Regola di variazione dei pesi Si presuppone di avere un insieme di addestramento, cioè un certo numero di coppie ingresso-uscita: La regola di aggiornamento dei pesi è: w = (y i* - y i )x i dove x i i-esimo ingresso dellinsieme di addestramento, y uscita corrispondente allingresso x i e ai pesi w, y* i uscita desiderata. Per rendere lalgoritmo robusto si può usare: w = (y i* - y i )x i 0 2 Se ||x|| /||x||

6 Problemi di Regressione e Classificazione REGRESSIONE Algoritmo LMS Si mostrano i primi due passi dellaggiornamento di w. =1 x1 x2 x (2) x (1) w* x2 x1 x (1) y* (2) y* (1) w (0) w w (1) x (2) y * (2) w w (2) w (1) Passo 1 Passo 2

7 Problemi di Regressione e Classificazione REGRESSIONE Algoritmo LMS In generale può non esistere nessun w* per cui, i, la proiezione di w* su x i sia uguale a y i*. La soluzione w* è quella che minimizza la somma dei quadrati delle distanze, per ogni x i dai rispettivi iperpiani soluzione. Lalgoritmo LMS individua quindi la migliore retta passante per lorigine che descrive landamento dei dati. Se si vuole che la retta di regressione non passi per lorigine si può considerare un vettore w = [b w 1 w 2 ……w n ] e x = [1 x 1 x 2 ……x n ]. In questo caso si ottiene: Si possono utilizzare anche funzioni di regressioni diverse. Ad es. La regressione polinomiale: y = b + w 1 z + w 2 z w n z n I dati dingresso debbono essere molto maggiori dei parametri da determinare

8 Problemi di Regressione e Classificazione Il Percettrone E la più elementare rete neurale:non si hanno connessioni fra gli ingressi, non si hanno strati intermedi, non si hanno cammini indietro (rete feed-forward) Si consideri per semplicità una sola uscita corrispondente ad una funzione Booleana 0,1. Ad esempio lingresso può corrispondere a dati diagnostici relativi ad un paziente e luscita alla classificazione Sano = 0, Malato = 1. Si assume come funzione di attivazione (funzione f: R n [0,1]) la funzione di Heaviside con soglia: w T x- 0 y=1 w T x- 0 y=0 x1 x2 xn y {0,1} w1 w2 wn x = [x 1 x x n ] T w = [w 1 w w n ] T

9 Problemi di Regressione e Classificazione REGOLA DI APPRENDIMENTO 1.Si fissano i pesi iniziali w in modo arbitrario 2.Si sceglie un elemento nellinsieme x k C 1 ( y=0) C 2 ( y=1) di apprendimento. 3.Se x k viene classificato correttamente (cioè luscita della rete corrisponde alla y k dellinsieme di apprendimento) si lasciano i pesi w invariati 4.Altrimenti si pone: Teorema di convergenza: Comunque si scelgano i pesi iniziali w se le classi C 1 e C 2 sono linearmente separabili la procedura di apprendimento termina in un numero finito di passi.

10 Problemi di Regressione e Classificazione ESEMPIO Come esempio consideriamo un percettrone che deve realizzare le funzioni logiche di AND OR ed EXOR. Di queste tre funzioni due (AND e OR) danno origine a classi linearmente separabili ed una no. Il indica che luscita è pari ad 1 per lingresso indicato fra parentesi. Si può immediatamente osservare che le uscite della funzione AND e OR sono linearmente separabili mentre ciò non avviene per lEXOR (0,1) (0,0)(1,0) (1,1) (0,0)(1,0) (1,1) (0,0)(1,0) (1,1) (0,1)

11 Problemi di Regressione e Classificazione ESEMPIO Si può dimostrare che il percettrone non permette di realizzare la funzione EXOR. Infatti supponiamo di vor calcolare i pesi w1 e w2 imponendo le uscite dellEXOR H(x) funzione di Heaviside =0 se x 0. x1=0, x2=0w1·0 + w2·0 - ·1 = - <0 H(0.0) = 0 x1=1, x2=1w1·1 + w2·1 - ·1 = w1 +w2- <0 H(1.1) = 0 x1=1, x2=0w1·1 + w2·0 - ·1 = w1- >0 H(1.0) = 1 x1=0, x2=1w1·0 + w2·1 - ·1 = w2- >0 H(0.1) = 1 Si ottiene quindi: 2 0 x1 x2 w1 w2 H(w 1 x 1 + w 2 x 2 - ) w1+w2-2 >0

12 Problemi di Regressione e Classificazione ESEMPIO Per superare la limitazione dovuta alla necessità di separabilità delle classi si introduce il percettrone generalizzato in cui vengono introdotti gli strati nascosti Le connessioni sono unidirezionali Non ci sono connessioni tra gli ingressi I pesi vengono trovati minimizzando lerrore (uscita desiderata meno uscita attuale) Non è garantita la convergenza x1 x2 H1 H2 y REALIZZAZIONE DELLEXOR x =(0,0) H1=H(1·0+1·0-1·1.5)<0 0 H2=H(1·0+1·0-2·0-1·0.5) <0 0 x =(1,0) H1=H(1·1+1·0-1·1.5) 0 1 x =(0,1) H1=H(1·0+1·1-1·1.5) 0 1 x =(1,1) H1=H(1·1+1·1-1·1.5)>0 1 H2=H(1·1+1·1-2·1-1·0.5) <0 0


Scaricare ppt "BIOINGEGNERIA S. Salinari Lezione 4. Problemi di Regressione e Classificazione Problemi di regressione: Determinazione dei parametri di una funzione che."

Presentazioni simili


Annunci Google