La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Le reti neurali Reti neurali naturali ed artificiali.

Presentazioni simili


Presentazione sul tema: "Le reti neurali Reti neurali naturali ed artificiali."— Transcript della presentazione:

1 Le reti neurali Reti neurali naturali ed artificiali

2 Reti neurali naturali. Il neurone Da Occhio, Cervello, Visione, D.H. Hubel, Zanichelli, 1989 Tutti i sistemi nervosi animali sono costituiti da neuroni Fondamentalmente simili in tutti gli animali Nematode c. 600 Essere umano c (10 12 ) Forma del neurone Dendriti Soma Assone

3 Il neurone - funzione Riceve input da altri neuroni sui dendriti Genera impulsi che vengono trasmessi lungo lassone Molto lento rispetto a componenti elettronici Comportamento influenzato da ormoni/neurotrasmettitori

4 Non è pienamente capito 50 anni fa si pensava che il neurone fosse un dispositivo binario accesso/spento Ma oggi sappiamo che: Una parte dellinformazione trasmessa dal neurone dipende dalla frequenza degli impulsi Il neurone genera impulsi anche quando sta a riposo Sotto stimolo aumenta/riduce la frequenza degli impulsi Intervallo fra un impulso e il prossimo come portatore di informazione? Da, Lhomme neuronale, J.P. Changeux, Fayard, 1983 Codifica dellinformazione da parte del neurone

5 Le sinapsi Spazio fra la terminazione di un assone (o segmenti non mielinizzati) e i dendriti di un altro neurone Trasmissione di informazione Unidirezionale Trasmissione elettrica Trasmissione con neuro- trasmettitori Sinapsi eccitatorie Sinapsi inibitorie Nel cervello umano circa Da L. Squire & E.R. Kandel, Memory, Scientific American, 1999

6 Le reti neurali naturali Connettività estremamente ricca alcuni neuroni ricevono input da più di altri neuroni Connessioni prevalentemente a breve distanza Alcune connessioni a lunga distanza Da, Lhomme neuronale, J.P. Changeux, Fayard, 1983

7 Reti neurali e neuroni artificiali Il neurone artificiale Connessioni/pesi Funzione di soglia Output binario Rete neurale come calcolatore universale La macchina di Von Neumann non è lunica possibile implementazione di un calcolatore universale SE S1*W(1,3)+S2*W(2,3)>=Soglia ALLORA S3=1 ALTRIMENTI S3=0 S1S2 S3 W(1,3) W(2,3) I strato II strato

8 Realizzazione della funzione AND con un neurone artificiale La funzione AND SE S1=1 E S2=1 ALLORA S3=1 ALTRIMENTI S3=0 Soglia=1.5 W(1,3)=1 W(2,3)=1 input output W(1,3) W(2,3) S1S2 S3

9 Le reti neurali e lapprendimento Problema di acquisizione della conoscenza Suggerimento di Von Neumann Un calcolatore efficace deve poter imparare come un bambino Regola di Hebb La stimolazione simultanea (o quasi) di due neuroni interconnessi provoca un rafforzamento della sinapsi

10 Implementazione della Regola di Hebb Dati S1 e S2 w(1,2) = * S1 * S2; w(t 1 ) = w(t 0 ) + w; è il tasso di apprendimento W = peso sinaptico Stimoli esterni S1 S2

11 Le 4 regole di Hebb Regola di Hebb classica I pesi sinaptici possono essere SOLO incrementati Interferenza, quando pattern di input hanno elementi in comune Regola Postsinaptica Incremento modulato dal neurone postsinaptico Regola Presinaptica Incremento modulato dal neurone presinaptico Regola della covarianza Dipende dallo stato di entrambi i neuroni

12 Il percettrone Rosenblatt (1958) Ispirati a studi sul sistema di visione del cervello Hardwired feature detectors Ognuno vede solo una parte dellinput Analoghi a Feature detectors nel cervello Neurone di output Connessioni da ogni feature detector al neurone di output Peso variabile delle connessioni fra feature detectors e neurone di output feature detectors Neurone di output Retina artificiale

13 Procedura di apprendimento del percettrone Procedura di apprendimento che consente di apprendere qualsiasi mapping input-output teoricamente acquisibile da parte di un percettrone Algoritmo Presentare input (in ordine casuale) Se loutput è corretto Non fare nulla Se loutput è ON quando dovrebbe essere OFF Ridurre forza connessioni a FD che sono ON Se loutput è OFF quando dovrebbe essere ON Aumentare forza connessioni a FD che sono ON

14 Percettroni e intelligenza biologica Numero limitato di feature detector Una parte del cervello è geneticamente determinata Feature detectors Una parte è modificabile attraverso lesperienza Connessioni fra feature detector e neurone di output Capacità di generalizzazione Robusto nei confronti del rumore Graceful degradation

15 Apprendimento della funzione AND Funzione AND: Input Output input output pesi

16 Un software per reti neurali: NetTools 1) Costruisco la rete neurale 2) Costruisco gli esempi (Training Set) 3) Addestro la rete 4) Verifico lapprendimento NetManager.exe TrsEditor.exe NetTrainer.exe NetManager.exe

17 TrsEditor.exe NetManager.exe NetTrainer.exe

18 Apprendimento della funzione Xor Funzione Xor: Input Output input output pesi

19 TrsEditor.exe NetManager.exe NetTrainer.exe

20 Il periodo del silenzio: Minsky e Papert Analisi del percettrone di Rosenblatt Il percettrone hai dei limiti computazionali NON può risolvere il problema della parità NON può risolvere il problema dello Xor Lo Xor è una funzione LINEARMENTE NON SEPARABILE

21 La separabilità lineare 0,0 1,0 0,11,1 AND, OR, NOT sono funzioni linearmente separabili AND 0,01,0 0,11,1 Xor Nella funzione Xor non è possibile separare con una retta i pattern che richiedono la stessa risposta dagli altri

22 Critica alla critica Molti dei problemi che non possono essere risolti da un Perceptrone XOR Parity Sono molto difficili anche per gli esseri umani e gli animali Gli stessi punti di debolezza del percettrone sono un indizio che il cervello potrebbe funzionare in modo analogo Il cervello come sistema di pattern matching con limitata capacità di calcolo I perceptroni possono comunque essere utilizzate per la creazione di modelli complessi

23 Come superare il problema? Percettroni multistrato: problema dellapprendimento (non esisteva nessun algoritmo) PDP: Algoritmo di ERROR BACK- PROPAGATION ( Rumelhart e McClelland, 1986) input output hidden

24 La Back-Propagation Algoritmo simile alla regola Delta Stessa modalità di apprendimento (supervisionato) Si propaga il segnale di errore allindietro: Calcolo dellerrore sulloutput Aggiornamento dei pesi tra output e hidden Calcolo dellerrore sulle hidden Aggiornamento dei pesi tra le hidden e linput Relazione tra la variazione dellerrore ed il cambiamento dei pesi (importanza della funzione di attivazione) Discesa del Gradiente


Scaricare ppt "Le reti neurali Reti neurali naturali ed artificiali."

Presentazioni simili


Annunci Google