TECNOLOGIE DEI SISTEMI DI CONTROLLO Dipartimento di Informatica e Sistemistica TECNOLOGIE DEI SISTEMI DI CONTROLLO RETI NEURALI Alessandro DE CARLI Anno Accademico 2006-07

ISPIRATE AI SISTEMI NERVOSI BIOLOGICI ADDESTRARE UNA RETE NEURALE RETI NEURALI RETI NEURALI STRUTTURE DI ELABORAZIONE COMPOSTE DA MOLTI ELEMENTI “SEMPLICI” (NEURONI ) CONNESSI E OPERANTI IN PARALLELO ISPIRATE AI SISTEMI NERVOSI BIOLOGICI COMPORTAMENTO DELLA RETE DETERMINATO DALLE CONNESSIONI FRA NEURONI ADDESTRARE UNA RETE NEURALE TROVARE I PESI (OTTIMI) DELLE CONNESSIONI AFFINCHE’ LA RETE ABBIA IL COMPORTAMENTO DESIDERATO SIGNIFICATO 2 2

ABILITA’ DELLE RETI NEURALI USCITE SIMILI PER INGRESSI SIMILI APPRENDERE RELAZIONI COMPLESSE (TIPICAMENTE, NON LINEARI E MULTIVARIABILI) DA ESEMPI GENERALIZZAZIONE USCITE SIMILI PER INGRESSI SIMILI PERMETTONO DI SUPERARE LE DIFFICOLTÀ DELLA MODELLAZIONE MATEMATICA MEDIANTE EQUAZIONI ALGEBRICHE E DIFFERENZIALI MIGLIORANO LA CAPACITÀ DI MODELLAZIONE ALL’AUMENTARE DELLA SPECIALIZZAZIONE DELLA STRUTTURA NEURALE SONO ROBUSTE RISPETTO ALLA INTERRUZIONE DI ALCUNE CONNESSIONI O ALLA CARENZA DI ALCUNI DATI UTILIZZAZIONE 3 3

APPLICAZIONI RETI NEURALI PRINCIPALE VANTAGGIO DELLE RETI NEURALI È RICONOSCERE CONFIGURAZIONI ACQUISITE DURANTE L’APPRENDIMENTO O INDIVIDUARE MODALITÀ DI FUNZIONAMENTO SCONOSCIUTE DI SISTEMI COMPLESSI APPLICAZIONI PATTERN RECOGNITION CLASSIFICAZIONE, CLUSTERING MODELLAZIONE VISIONE ARTIFICIALE CONTROLLO APPLICAZIONI 4 4

FINE LEZIONE 10 24 Maggio 2007

L’UNITA’ FONDAMENTALE RETI NEURALI L’UNITA’ FONDAMENTALE IL NEURONE (O NODO) RX1 1XR 1X1 PESO USCITA w p F S a INGRESSO b FUNZIONE DI ATTIVAZIONE BIAS a = F(w*p + b) NEURONE 6 6

L’UNITA’ FONDAMENTALE RETI NEURALI L’UNITA’ FONDAMENTALE IL NEURONE (O NODO) PARAMETRI ADATTABILI IN FASE DI ADDESTRAMENTO w p F S a b a = F(w*p + b) NEURONE 7 7

FUNZIONI DI ATTIVAZIONE RETI NEURALI FUNZIONI DI ATTIVAZIONE hardlim +1 logsig +1 purelim tansig - 1 +1 FUNZIONI DI ATTIVAZIONE 8 8

... ... RETI NEURALI DAL NEURONE ALLA RETE NEURALE F1 Fn F1 b1(1) F1 a1(1) S W1(1,1) p(1) bn(1) Fn an(1) S Wn(1,1) an(Sn) Wn(Sn,Sn-1) bn(Sn) ... p(2) F1 p(R) a1(S1) S W1(S1,R) b1(S1) ... INGRESSI STRATO1 (S1 NEURONI) STRATO N (SN NEURONI) STRUTTURA DI UNA RETE NEURALE 9 9

. PERCEPTRON NETWORKS S RETI NEURALI a w(1) b w(2) p(1) p(2) a = 1 IN GRADO DI CLASSIFICARE INSIEMI DI DATI LINEARMENTE SEPARABILI UTILIZZAZIONE DI UNA RETE NEURALE 10 10

2N CLASSI POSSONO ESSERE DISTINTE RETI NEURALI PERCEPTRON NETWORKS p(1) p(2) a1 S w1(1) b1 p(1) p(2) a2 b2 w2(2) w2*p + b2 = 0 w1*p + b1 = 0 11 10 01 00 N NEURONI 2N CLASSI POSSONO ESSERE DISTINTE UTILIZZAZIONE DI UNA RETE NEURALE 11 11

PERCEPTRON NETWORKS: ADDESTRAMENTO RETI NEURALI PERCEPTRON NETWORKS: ADDESTRAMENTO w a = 1 w’ a = 0 p ADDESTRAMENTO DI UNA RETE NEURALE 12 12

RETI LINEARI S RETI NEURALI p(1) a1 w1(1) b1 p(2) a2 b2 w2(2) UN SOLO STRATO (RETI LINEARI MULTI- STRATO SEMPRE EQUIVALENTI AD UNA MONOSTRATO) IN GRADO DI APPRENDERE ESATTAMENTE RELAZIONI LINEARI TRA INGRESSI E USCITE STRUTTURA DI UNA RETE NEURALE 13 13

RETI LINEARI: ADDESTRAMENTO RETI NEURALI RETI LINEARI: ADDESTRAMENTO SUM-SQUARED ERROR GRADIENTE DISCENDENTE REGOLA DI APPRENDIMENTO DI WIDROW-HOFF = LEAST MEAN SQUARE (LMS) RULE VALIDA SOLO PER RETI MONOSTRATO ADDESTRAMENTO DI UNA RETE NEURALE 14 14

APPLICAZIONE APPROSSIMAZIONE LINEARE (NEL SENSO RETI NEURALI APPLICAZIONE APPROSSIMAZIONE LINEARE (NEL SENSO DEI MINIMI QUADRATI!) DI UNA RELAZIONE (NONLINEARE) IGNOTA APPLICAZIONE DI UNA RETE NEURALE 15 15

BACKPROPAGATION NETWORKS RETI NEURALI BACKPROPAGATION NETWORKS RETI FEEDFORWARD MULTISTRATO CON NODI A FUNZIONE DI TRASFERIMENTO DIFFERENZIABILE POSSONO ESSERE ADDESTRATE CON L’ALGORITMO DI BACKPROPAGATION L’ERRORE VIENE “PROPAGATO ALL’INDIETRO” FRA GLI STRATI DELLA RETE IN MODO CHE AD OGNI STRATO SI POSSA APPLICARE UN ALGORITMO DI OTTIMIZZAZIONE (TIPICAMENTE, GRADIENTE DISCENDENTE, MA ANCHE ALTRE VARIANTI SONO POSSIBILI, COME IL GRADIENTE CONIUGATO, IL METODO DELLA DISCESA PIU’ RAPIDA DEL GRADIENTE, ECC.) ADDESTRAMENTO DI UNA RETE NEURALE 16 16

BACKPROPAGATION NETWORKS RETI NEURALI BACKPROPAGATION NETWORKS p W1 b1 1 + a1 WN bN aN ... RETI MULTISTRATO CON NODI A FUNZIONE DI ATTIVAZIONE SIGMOIDALE ED UNO STRATO LINEARE IN USCITA POSSONO APPROSSIMARE ARBITRARIAMENTE BENE QUALSIASI FUNZIONE CON UN NUMERO FINITO DI DISCONTINUITA’ ADDESTRAMENTO DI UNA RETE NEURALE 17 17

APPLICAZIONI RETI NEURALI APPROSSIMAZIONE DI FUNZIONI MULTIVARIABILI NONLINEARI IGNOTE (NEL CASO 1 INGRESSO 1 USCITA SI POSSONO USARE POLINOMI E SPLINES!) CLASSIFICAZIONE IN CASO DI INSIEMI NON LINEARMENTE SEPARABILI APPLICAZIONI DI UNA RETE NEURALE 18 18

PROGETTAZIONE DI UNA RETE NEURALE RETI NEURALI PROGETTAZIONE DI UNA RETE NEURALE NUMERO INGRESSI E USCITE FISSATI DAL PROBLEMA NUMERO NODI Nn E STRATI NASCOSTI SCELTI IN MODO EURISTICO FORMULA EMPIRICA PROGETTAZIONE DI UNA RETE NEURALE 19 19

RETE NEURALE SOTTODIMENSIONATA: RETI NEURALI RETE NEURALE SOTTODIMENSIONATA: UNDERFITTING ADDESTRAMENTO DI UNA RETE NEURALE 20 20

RETE NEURALE SOVRADIMENSIONATA: RETI NEURALI RETE NEURALE SOVRADIMENSIONATA: OVERFITTING ADDESTRAMENTO DI UNA RETE NEURALE 21 21

RETE NEURALE DIMENSIONATA RETI NEURALI RETE NEURALE DIMENSIONATA CORRETTAMENTE ADDESTRAMENTO DI UNA RETE NEURALE 22 22

FINO A DOVE SPINGERE L’ADDESTRAMENTO? RETI NEURALI FINO A DOVE SPINGERE L’ADDESTRAMENTO? SSE EPOCHE DI ADDESTRAMENTO VALIDATION SET TRAINING SET ADDESTRAMENTO DI UNA RETE NEURALE 23 23

. D RETI NEURALI ALTRE ARCHITETTURE: RETI RICORSIVE RITARDO RETE DI ELMAN W1 b1 1 + a1 W2 b2 a2 p APPLICAZIONE: MODELLAZIONE DI SISTEMI DINAMICI RETI NEURALI RICORSIVE 24 24

ALTRE ARCHITETTURE: RETI RADIAL BASIS p w b a NEURONE w b RETI NEURALI ALTRE ARCHITETTURE: RETI RADIAL BASIS p P w b a NEURONE PARAMETRI ADATTABILI IN FASE DI ADDESTRAMENTO w b ALTRI TIPI DI RETE NEURALE 25 25

ALTRE ARCHITETTURE: RETI RADIAL BASIS RETI NEURALI ALTRE ARCHITETTURE: RETI RADIAL BASIS b1 1 x a1 W2 b2 + a2 p W1 APPLICAZIONI: SIMILI A RETI BACKPROPAGATION APPRENDIMENTO PIU’ RAPIDO ERRORE NULLO SUL TRAINING SET PUO’ ESSERE OTTENUTO (CON TANTI NODI QUANTI SONO GLI ESEMPI) GENERALIZZAZIONE MINORE (PUO’ ESSERE UN VANTAGGIO!) ALTRI TIPI DI RETE NEURALE 26 26