La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Modelli simulativi per le Scienze Cognitive Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova)

Presentazioni simili


Presentazione sul tema: "Modelli simulativi per le Scienze Cognitive Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova)"— Transcript della presentazione:

1 Modelli simulativi per le Scienze Cognitive Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova)

2 La regola del percettrone Usata per reti feedforward con un unico strato di pesi sinaptici. Le unità di input e output possono utilizzano valori bipolari (-1, 1). Gli esempi diaddestramento sono costituiti da un vettore dingresso x e da una risposta desiderata t (target o teaching input). Loutput della rete per un certo vettore dingresso è calcolato con: Questo valore viene confrontato con la risposta desiderata t. Se t e y differiscono (errore), i pesi sinaptici vengono modificati in base alla risposta corretta:

3 La regola delta Simile alla regola del percettrone, ma applicabile a reti feedforward con un singolo strato di pesi e unità di output con attivazione continua e differenziabile: Descriviamo la prestazione della rete con una funzione di errore o funzione di costo, che si basa sullo scarto quadratico medio tra risposta desiderata t ed output effettivo y: la funzione di costo E dipende unicamente dal valore delle connessioni sinaptiche W.

4 Lapprendimento consiste nel minimizzare la funzione di costo E, modificando i pesi nella direzione opposta al gradiente della funzione stessa (discesa del gradiente): Risolvendo lequazione, otteniamo che il cambiamento dei pesi è dato dalla differenza tra target e output moltiplicata per lattività presinaptica. La regola delta è plausibile dal punto di vista psico-biologico e corrisponde formalmente alla regola di Rescorla-Wagner del condizionamento classico.

5 La backpropagation Deriva dalla regola delta, permette di calcolare lerrore di unità nascoste, attraverso la propagazione allindietro dellerrore (da cui il nome dellalgoritmo) usando i pesi sinaptici che servono per la propagazione dellattivazione. La propagazione allindietro dellerrore rende lalgoritmo implausibile dal punto di vista biologico. Reti feedforward multistrato (con unità nascoste) possono risolvere un ampio insieme di trasformazioni NON lineari (es. XOR): algoritmo molto potente dal punto di vista computazionale.

6 Input esterno Output Come calcolare lerrore? Unità nascoste Problema fondamentale

7 Unità di output 1. Presentazione pattern dingresso Unità nascoste Unità di input

8 Unità di output 2. Propagazione in avanti dellattivazione Unità nascoste Unità di input

9 Unità di output 2. Propagazione in avanti dellattivazione Unità nascoste Unità di input

10 Unità di output 2. Propagazione in avanti dellattivazione Unità nascoste Unità di input

11 Unità di output 2. Propagazione in avanti dellattivazione Unità nascoste Unità di input

12 Unità di output 3. Calcolo dellerrore delle unità di output Unità nascoste Unità di input

13 Unità di output 4. Propagazione allindietro dellerrore Unità nascoste Unità di input

14 Unità di output 4. Propagazione allindietro dellerrore Unità nascoste Unità di input

15 Unità di output 5. Modifica dei pesi sinaptici Unità nascoste Unità di input

16 Unità di output 5. Modifica dei pesi sinaptici Unità nascoste Unità di input

17 Pro efficienza computazionale permette di addestrare reti con un qualsiasi numero di strati nascosti Contro problema dei minimi locali discesa del gradiente lenta Sviluppi numerose varianti introdotte per velocizzare la discesa del gradiente. La resilient backpropagation (Riedmiller & Braun, 1992), per esempio, utilizza solo il segno della derivata e non il valore. backpropagation through time (BPTT): permette di addestrare reti ricorrenti. Lalgoritmo consente di apprendere serie temporali, estraendo come i dati cambiano nel tempo.


Scaricare ppt "Modelli simulativi per le Scienze Cognitive Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova)"

Presentazioni simili


Annunci Google