TECNOLOGIE DEI SISTEMI DI CONTROLLO

Presentazione sul tema: "TECNOLOGIE DEI SISTEMI DI CONTROLLO"— Transcript della presentazione:

1 TECNOLOGIE DEI SISTEMI DI CONTROLLO
Dipartimento di Informatica e Sistemistica TECNOLOGIE DEI SISTEMI DI CONTROLLO RETI NEURALI Alessandro DE CARLI Anno Accademico

2 ISPIRATE AI SISTEMI NERVOSI BIOLOGICI ADDESTRARE UNA RETE NEURALE
RETI NEURALI RETI NEURALI STRUTTURE DI ELABORAZIONE COMPOSTE DA MOLTI ELEMENTI “SEMPLICI” (NEURONI ) CONNESSI E OPERANTI IN PARALLELO ISPIRATE AI SISTEMI NERVOSI BIOLOGICI COMPORTAMENTO DELLA RETE DETERMINATO DALLE CONNESSIONI FRA NEURONI ADDESTRARE UNA RETE NEURALE TROVARE I PESI (OTTIMI) DELLE CONNESSIONI AFFINCHE’ LA RETE ABBIA IL COMPORTAMENTO DESIDERATO SIGNIFICATO 2 2

3 ABILITA’ DELLE RETI NEURALI USCITE SIMILI PER INGRESSI SIMILI
APPRENDERE RELAZIONI COMPLESSE (TIPICAMENTE, NON LINEARI E MULTIVARIABILI) DA ESEMPI GENERALIZZAZIONE USCITE SIMILI PER INGRESSI SIMILI PERMETTONO DI SUPERARE LE DIFFICOLTÀ DELLA MODELLAZIONE MATEMATICA MEDIANTE EQUAZIONI ALGEBRICHE E DIFFERENZIALI MIGLIORANO LA CAPACITÀ DI MODELLAZIONE ALL’AUMENTARE DELLA SPECIALIZZAZIONE DELLA STRUTTURA NEURALE SONO ROBUSTE RISPETTO ALLA INTERRUZIONE DI ALCUNE CONNESSIONI O ALLA CARENZA DI ALCUNI DATI UTILIZZAZIONE 3 3

4 APPLICAZIONI RETI NEURALI
PRINCIPALE VANTAGGIO DELLE RETI NEURALI È RICONOSCERE CONFIGURAZIONI ACQUISITE DURANTE L’APPRENDIMENTO O INDIVIDUARE MODALITÀ DI FUNZIONAMENTO SCONOSCIUTE DI SISTEMI COMPLESSI APPLICAZIONI PATTERN RECOGNITION CLASSIFICAZIONE, CLUSTERING MODELLAZIONE VISIONE ARTIFICIALE CONTROLLO APPLICAZIONI 4 4

5 FINE LEZIONE 10 24 Maggio 2007

6 L’UNITA’ FONDAMENTALE
RETI NEURALI L’UNITA’ FONDAMENTALE IL NEURONE (O NODO) RX1 1XR 1X1 PESO USCITA w p F S a INGRESSO b FUNZIONE DI ATTIVAZIONE BIAS a = F(w*p + b) NEURONE 6 6

7 L’UNITA’ FONDAMENTALE
RETI NEURALI L’UNITA’ FONDAMENTALE IL NEURONE (O NODO) PARAMETRI ADATTABILI IN FASE DI ADDESTRAMENTO w p F S a b a = F(w*p + b) NEURONE 7 7

8 FUNZIONI DI ATTIVAZIONE
RETI NEURALI FUNZIONI DI ATTIVAZIONE hardlim +1 logsig +1 purelim tansig - 1 +1 FUNZIONI DI ATTIVAZIONE 8 8

9 ... ... RETI NEURALI DAL NEURONE ALLA RETE NEURALE F1 Fn F1
b1(1) F1 a1(1) S W1(1,1) p(1) bn(1) Fn an(1) S Wn(1,1) an(Sn) Wn(Sn,Sn-1) bn(Sn) ... p(2) F1 p(R) a1(S1) S W1(S1,R) b1(S1) ... INGRESSI STRATO1 (S1 NEURONI) STRATO N (SN NEURONI) STRUTTURA DI UNA RETE NEURALE 9 9

10 . PERCEPTRON NETWORKS S RETI NEURALI a w(1) b w(2) p(1) p(2) a = 1
IN GRADO DI CLASSIFICARE INSIEMI DI DATI LINEARMENTE SEPARABILI UTILIZZAZIONE DI UNA RETE NEURALE 10 10

11 2N CLASSI POSSONO ESSERE DISTINTE
RETI NEURALI PERCEPTRON NETWORKS p(1) p(2) a1 S w1(1) b1 p(1) p(2) a2 b2 w2(2) w2*p + b2 = 0 w1*p + b1 = 0 11 10 01 00 N NEURONI 2N CLASSI POSSONO ESSERE DISTINTE UTILIZZAZIONE DI UNA RETE NEURALE 11 11

12 PERCEPTRON NETWORKS: ADDESTRAMENTO
RETI NEURALI PERCEPTRON NETWORKS: ADDESTRAMENTO w a = 1 w’ a = 0 p ADDESTRAMENTO DI UNA RETE NEURALE 12 12

13 RETI LINEARI S RETI NEURALI p(1) a1 w1(1) b1 p(2) a2 b2 w2(2)
UN SOLO STRATO (RETI LINEARI MULTI- STRATO SEMPRE EQUIVALENTI AD UNA MONOSTRATO) IN GRADO DI APPRENDERE ESATTAMENTE RELAZIONI LINEARI TRA INGRESSI E USCITE STRUTTURA DI UNA RETE NEURALE 13 13

14 RETI LINEARI: ADDESTRAMENTO
RETI NEURALI RETI LINEARI: ADDESTRAMENTO SUM-SQUARED ERROR GRADIENTE DISCENDENTE REGOLA DI APPRENDIMENTO DI WIDROW-HOFF = LEAST MEAN SQUARE (LMS) RULE VALIDA SOLO PER RETI MONOSTRATO ADDESTRAMENTO DI UNA RETE NEURALE 14 14

15 APPLICAZIONE APPROSSIMAZIONE LINEARE (NEL SENSO
RETI NEURALI APPLICAZIONE APPROSSIMAZIONE LINEARE (NEL SENSO DEI MINIMI QUADRATI!) DI UNA RELAZIONE (NONLINEARE) IGNOTA APPLICAZIONE DI UNA RETE NEURALE 15 15

16 BACKPROPAGATION NETWORKS
RETI NEURALI BACKPROPAGATION NETWORKS RETI FEEDFORWARD MULTISTRATO CON NODI A FUNZIONE DI TRASFERIMENTO DIFFERENZIABILE POSSONO ESSERE ADDESTRATE CON L’ALGORITMO DI BACKPROPAGATION L’ERRORE VIENE “PROPAGATO ALL’INDIETRO” FRA GLI STRATI DELLA RETE IN MODO CHE AD OGNI STRATO SI POSSA APPLICARE UN ALGORITMO DI OTTIMIZZAZIONE (TIPICAMENTE, GRADIENTE DISCENDENTE, MA ANCHE ALTRE VARIANTI SONO POSSIBILI, COME IL GRADIENTE CONIUGATO, IL METODO DELLA DISCESA PIU’ RAPIDA DEL GRADIENTE, ECC.) ADDESTRAMENTO DI UNA RETE NEURALE 16 16

17 BACKPROPAGATION NETWORKS
RETI NEURALI BACKPROPAGATION NETWORKS p W1 b1 1 + a1 WN bN aN ... RETI MULTISTRATO CON NODI A FUNZIONE DI ATTIVAZIONE SIGMOIDALE ED UNO STRATO LINEARE IN USCITA POSSONO APPROSSIMARE ARBITRARIAMENTE BENE QUALSIASI FUNZIONE CON UN NUMERO FINITO DI DISCONTINUITA’ ADDESTRAMENTO DI UNA RETE NEURALE 17 17

18 APPLICAZIONI RETI NEURALI
APPROSSIMAZIONE DI FUNZIONI MULTIVARIABILI NONLINEARI IGNOTE (NEL CASO 1 INGRESSO 1 USCITA SI POSSONO USARE POLINOMI E SPLINES!) CLASSIFICAZIONE IN CASO DI INSIEMI NON LINEARMENTE SEPARABILI APPLICAZIONI DI UNA RETE NEURALE 18 18

19 PROGETTAZIONE DI UNA RETE NEURALE
RETI NEURALI PROGETTAZIONE DI UNA RETE NEURALE NUMERO INGRESSI E USCITE FISSATI DAL PROBLEMA NUMERO NODI Nn E STRATI NASCOSTI SCELTI IN MODO EURISTICO FORMULA EMPIRICA PROGETTAZIONE DI UNA RETE NEURALE 19 19

20 RETE NEURALE SOTTODIMENSIONATA:
RETI NEURALI RETE NEURALE SOTTODIMENSIONATA: UNDERFITTING ADDESTRAMENTO DI UNA RETE NEURALE 20 20

21 RETE NEURALE SOVRADIMENSIONATA:
RETI NEURALI RETE NEURALE SOVRADIMENSIONATA: OVERFITTING ADDESTRAMENTO DI UNA RETE NEURALE 21 21

22 RETE NEURALE DIMENSIONATA
RETI NEURALI RETE NEURALE DIMENSIONATA CORRETTAMENTE ADDESTRAMENTO DI UNA RETE NEURALE 22 22

23 FINO A DOVE SPINGERE L’ADDESTRAMENTO?
RETI NEURALI FINO A DOVE SPINGERE L’ADDESTRAMENTO? SSE EPOCHE DI ADDESTRAMENTO VALIDATION SET TRAINING SET ADDESTRAMENTO DI UNA RETE NEURALE 23 23

24 . D RETI NEURALI ALTRE ARCHITETTURE: RETI RICORSIVE RITARDO
RETE DI ELMAN W1 b1 1 + a1 W2 b2 a2 p APPLICAZIONE: MODELLAZIONE DI SISTEMI DINAMICI RETI NEURALI RICORSIVE 24 24

25 ALTRE ARCHITETTURE: RETI RADIAL BASIS p w b a NEURONE w b
RETI NEURALI ALTRE ARCHITETTURE: RETI RADIAL BASIS p P w b a NEURONE PARAMETRI ADATTABILI IN FASE DI ADDESTRAMENTO w b ALTRI TIPI DI RETE NEURALE 25 25

26 ALTRE ARCHITETTURE: RETI RADIAL BASIS
RETI NEURALI ALTRE ARCHITETTURE: RETI RADIAL BASIS b1 1 x a1 W2 b2 + a2 p W1 APPLICAZIONI: SIMILI A RETI BACKPROPAGATION APPRENDIMENTO PIU’ RAPIDO ERRORE NULLO SUL TRAINING SET PUO’ ESSERE OTTENUTO (CON TANTI NODI QUANTI SONO GLI ESEMPI) GENERALIZZAZIONE MINORE (PUO’ ESSERE UN VANTAGGIO!) ALTRI TIPI DI RETE NEURALE 26 26