La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Dipartimento di Informatica e Sistemistica TECNOLOGIE DEI SISTEMI DI CONTROLLO RETI NEURALI Alessandro DE CARLI Anno Accademico 2006-07.

Presentazioni simili


Presentazione sul tema: "Dipartimento di Informatica e Sistemistica TECNOLOGIE DEI SISTEMI DI CONTROLLO RETI NEURALI Alessandro DE CARLI Anno Accademico 2006-07."— Transcript della presentazione:

1 Dipartimento di Informatica e Sistemistica TECNOLOGIE DEI SISTEMI DI CONTROLLO RETI NEURALI Alessandro DE CARLI Anno Accademico

2 2 RETI NEURALI STRUTTURE DI ELABORAZIONE COMPOSTE DA MOLTI ELEMENTI SEMPLICI (NEURONI ) CONNESSI E OPERANTI IN PARALLELO ISPIRATE AI SISTEMI NERVOSI BIOLOGICI COMPORTAMENTO DELLA RETE DETERMINATO DALLE CONNESSIONI FRA NEURONI ADDESTRARE UNA RETE NEURALE TROVARE I PESI (OTTIMI) DELLE CONNESSIONI AFFINCHE LA RETE ABBIA IL COMPORTAMENTO DESIDERATO SIGNIFICATO 2 RETI NEURALI

3 ABILITA DELLE RETI NEURALI APPRENDERE RELAZIONI COMPLESSE (TIPICAMENTE, NON LINEARI E MULTIVARIABILI) DA ESEMPI GENERALIZZAZIONE MIGLIORANO LA CAPACITÀ DI MODELLAZIONE ALLAUMENTARE DELLA SPECIALIZZAZIONE DELLA STRUTTURA NEURALE PERMETTONO DI SUPERARE LE DIFFICOLTÀ DELLA MODELLAZIONE MATEMATICA MEDIANTE EQUAZIONI ALGEBRICHE E DIFFERENZIALI SONO ROBUSTE RISPETTO ALLA INTERRUZIONE DI ALCUNE CONNESSIONI O ALLA CARENZA DI ALCUNI DATI USCITE SIMILI PER INGRESSI SIMILI 3 UTILIZZAZIONE 3 RETI NEURALI

4 APPLICAZIONI PATTERN RECOGNITION CLASSIFICAZIONE, CLUSTERING MODELLAZIONE VISIONE ARTIFICIALE CONTROLLO PRINCIPALE VANTAGGIO DELLE RETI NEURALI È RICONOSCERE CONFIGURAZIONI ACQUISITE DURANTE LAPPRENDIMENTO O INDIVIDUARE MODALITÀ DI FUNZIONAMENTO SCONOSCIUTE DI SISTEMI COMPLESSI 4 APPLICAZIONI 4 RETI NEURALI

5 FINE LEZIONE Maggio 2007

6 LUNITA FONDAMENTALE IL NEURONE (O NODO) F F FUNZIONE DI ATTIVAZIONE p INGRESSO PESO BIAS a USCITA a = F(w*p + b) w b RX1 1XR 1X1 6 NEURONE 6 RETI NEURALI

7 LUNITA FONDAMENTALE IL NEURONE (O NODO) F F p a a = F(w*p + b) PARAMETRI ADATTABILI IN FASE DI ADDESTRAMENTO w b 7 NEURONE 7 RETI NEURALI

8 FUNZIONI DI ATTIVAZIONE purelim tansig logsig +1 hardlim +1 8 FUNZIONI DI ATTIVAZIONE 8 RETI NEURALI

9 DAL NEURONE ALLA RETE NEURALE b1(1) F1 a1(1) W1(1,1) p(1) p(2) F1 p(R) a1(S1) W1(S1,R) b1(S1)... bn(1) Fn an(1) Wn(1,1) Fn an(Sn) Wn(Sn,Sn-1) bn(Sn)... INGRESSI STRATO1 (S1 NEURONI)STRATO N (SN NEURONI) 9 STRUTTURA DI UNA RETE NEURALE 9 RETI NEURALI

10 a = 0 a = 1 PERCEPTRON NETWORKS a w(1) b w(2) p(1) p(2) w -b/w(2). -b/w(1). IN GRADO DI CLASSIFICARE INSIEMI DI DATI LINEARMENTE SEPARABILI 10 UTILIZZAZIONE DI UNA RETE NEURALE 10 RETI NEURALI

11 PERCEPTRON NETWORKS a1 w1(1) b1 p(1) p(2) a2 b2 w2(2) p(1) p(2) w1*p + b1 = 0 w2*p + b2 = 0 N NEURONI 2 N CLASSI POSSONO ESSERE DISTINTE 11 UTILIZZAZIONE DI UNA RETE NEURALE 11 RETI NEURALI

12 w PERCEPTRON NETWORKS: ADDESTRAMENTO a = 0 a = 1 p w 12 ADDESTRAMENTO DI UNA RETE NEURALE 12 RETI NEURALI

13 RETI LINEARI p(1) a1 w1(1) b1 p(2) a2 b2 w2(2) IN GRADO DI APPRENDERE ESATTAMENTE RELAZIONI LINEARI TRA INGRESSI E USCITE UN SOLO STRATO (RETI LINEARI MULTI- STRATO SEMPRE EQUIVALENTI AD UNA MONOSTRATO) UN SOLO STRATO (RETI LINEARI MULTI- STRATO SEMPRE EQUIVALENTI AD UNA MONOSTRATO) 13 STRUTTURA DI UNA RETE NEURALE 13 RETI NEURALI

14 RETI LINEARI: ADDESTRAMENTO REGOLA DI APPRENDIMENTO DI WIDROW-HOFF = LEAST MEAN SQUARE (LMS) RULE SUM-SQUARED ERROR GRADIENTE DISCENDENTE VALIDA SOLO PER RETI MONOSTRATO VALIDA SOLO PER RETI MONOSTRATO 14 ADDESTRAMENTO DI UNA RETE NEURALE 14 RETI NEURALI

15 APPLICAZIONE APPROSSIMAZIONE LINEARE (NEL SENSO DEI MINIMI QUADRATI!) DI UNA RELAZIONE (NONLINEARE) IGNOTA 15 APPLICAZIONE DI UNA RETE NEURALE 15 RETI NEURALI

16 BACKPROPAGATION NETWORKS RETI FEEDFORWARD MULTISTRATO CON NODI A FUNZIONE DI TRASFERIMENTO DIFFERENZIABILE POSSONO ESSERE ADDESTRATE CON LALGORITMO DI BACKPROPAGATION LERRORE VIENE PROPAGATO ALLINDIETRO FRA GLI STRATI DELLA RETE IN MODO CHE AD OGNI STRATO SI POSSA APPLICARE UN ALGORITMO DI OTTIMIZZAZIONE (TIPICAMENTE, GRADIENTE DISCENDENTE, MA ANCHE ALTRE VARIANTI SONO POSSIBILI, COME IL GRADIENTE CONIUGATO, IL METODO DELLA DISCESA PIU RAPIDA DEL GRADIENTE, ECC.) 16 ADDESTRAMENTO DI UNA RETE NEURALE 16 RETI NEURALI

17 BACKPROPAGATION NETWORKS p W1 b1 1 + a1 WN bN 1 + aN... RETI MULTISTRATO CON NODI A FUNZIONE DI ATTIVAZIONE SIGMOIDALE ED UNO STRATO LINEARE IN USCITA POSSONO APPROSSIMARE ARBITRARIAMENTE BENE QUALSIASI FUNZIONE CON UN NUMERO FINITO DI DISCONTINUITA 17 ADDESTRAMENTO DI UNA RETE NEURALE 17 RETI NEURALI

18 APPLICAZIONI APPROSSIMAZIONE DI FUNZIONI MULTIVARIABILI NONLINEARI IGNOTE (NEL CASO 1 INGRESSO 1 USCITA SI POSSONO USARE POLINOMI E SPLINES!) CLASSIFICAZIONE IN CASO DI INSIEMI NON LINEARMENTE SEPARABILI 18 APPLICAZIONI DI UNA RETE NEURALE 18 RETI NEURALI

19 PROGETTAZIONE DI UNA RETE NEURALE NUMERO INGRESSI E USCITE FISSATI DAL PROBLEMA NUMERO NODI Nn E STRATI NASCOSTI SCELTI IN MODO EURISTICO FORMULA EMPIRICA 19 PROGETTAZIONE DI UNA RETE NEURALE 19 RETI NEURALI

20 RETE NEURALE SOTTODIMENSIONATA: UNDERFITTING 20 ADDESTRAMENTO DI UNA RETE NEURALE 20 RETI NEURALI

21 RETE NEURALE SOVRADIMENSIONATA: OVERFITTING RETI NEURALI 21 ADDESTRAMENTO DI UNA RETE NEURALE 21

22 RETE NEURALE DIMENSIONATA CORRETTAMENTE 22 ADDESTRAMENTO DI UNA RETE NEURALE 22 RETI NEURALI

23 FINO A DOVE SPINGERE LADDESTRAMENTO? TRAINING SET VALIDATION SET SSE EPOCHE DI ADDESTRAMENTO 23 ADDESTRAMENTO DI UNA RETE NEURALE 23 RETI NEURALI

24 D. RITARDO RETE DI ELMAN ALTRE ARCHITETTURE: RETI RICORSIVE W1 b1 1 + a1 W2 b2 1 + a2 p APPLICAZIONE: MODELLAZIONE DI SISTEMI DINAMICI 24 RETI NEURALI RICORSIVE 24 RETI NEURALI

25 p w b a NEURONE ALTRE ARCHITETTURE: RETI RADIAL BASIS PARAMETRI ADATTABILI IN FASE DI ADDESTRAMENTO w b 25 ALTRI TIPI DI RETE NEURALE 25 RETI NEURALI

26 ALTRE ARCHITETTURE: RETI RADIAL BASIS b1 1 x a1 W2 b2 1 + a2 p W1 APPLICAZIONI: SIMILI A RETI BACKPROPAGATION APPRENDIMENTO PIU RAPIDO ERRORE NULLO SUL TRAINING SET PUO ESSERE OTTENUTO (CON TANTI NODI QUANTI SONO GLI ESEMPI) GENERALIZZAZIONE MINORE (PUO ESSERE UN VANTAGGIO!) 26 ALTRI TIPI DI RETE NEURALE 26 RETI NEURALI


Scaricare ppt "Dipartimento di Informatica e Sistemistica TECNOLOGIE DEI SISTEMI DI CONTROLLO RETI NEURALI Alessandro DE CARLI Anno Accademico 2006-07."

Presentazioni simili


Annunci Google