Promemoria sul concetto di Rete e sue Analogie

Presentazione sul tema: "Promemoria sul concetto di Rete e sue Analogie"— Transcript della presentazione:

1 Promemoria sul concetto di Rete e sue Analogie
Prof. Alessandro Burgognoni Docente di Reti Neurali Fondazione J.Von Neumann Roma 1

2 La rete La rete ha da sempre attraversato la nostra storia.
Dalle realizzazioni più semplici e utili nella vita quotidiana alle più complesse forme di astrazione. 2

3 La prima astrazione formalizzata
La prima formalizzazione di una rete astratta è riconducibile al matematico Leonhard Euler ed al problema dei ponti di Königsberg. Il problema si presenta per Euler sotto forma di un “grafo” cioè una serie di punti (nodi/vertici) uniti da linee che definiamo archi. 3

4 La prima astrazione del neurone
La prima forma di astrazione, a partire dal neurone biologico, nella direzione del neurone artificiale si deve a Pitts e McCulloch che nel 1943 si ispirarono per il loro modello a quanto descritto e analizzato da Alan M. Turing nel suo “On Computable Numbers” 4

5 Un po' di storia STORIA DEL CONNESSIONISMO
Anni Trenta: Norbert Wiener fonda la Cibernetica, ispirandosi alle analogie tra sistemi naturali e sistemi Artificiali. 5

6 Un po' di storia STORIA DEL CONNESSIONISMO
1943: McCulloch e Pitts (University of Chicago) propongono un primo modello matematico di neurone artificiale (combinatore lineare a soglia) e la connessione di un gran numero di queste unità in reti neuronali nel loro documento “A logical calculus of ideas imminent in nervous activity” 6

7 Un po' di storia STORIA DEL CONNESSIONISMO
1943: McCulloch e Pitts (University of Chicago) descrivono il loro modello matematico di rete neuronale artificiale come costituita da N neuroni <i> interconnessi in cui ognuno dei componenti ha le seguenti caratteristiche: E' dotato di una soglia di eccitazione θi Ad un determinato istante t si trova in un certo stato si(t) Può essere eccitato da altri neuroni <j> ai quali risulta connesso con intensità pari al peso sinaptico wij 7

8 Un po' di storia STORIA DEL CONNESSIONISMO
1949: D.O. Hebb (McGill University, Montreal) propone come meccanismo di apprendimento delle reti neuronali la modifica delle connessioni tra i neuroni (pesi sinaptici) secondo la regola di aumentare il peso della connessione tra due neuroni se questi sono, per più volte di seguito, contemporaneamente attivi o inattivi; 8

9 Un po' di storia STORIA DEL CONNESSIONISMO
1958: F. Rosenblatt (Cornell University) propone la macchina Perceptron (ADAline) per il riconoscimento e la classificazione di forme (Patterns); 9

10 Un po' di storia STORIA DEL CONNESSIONISMO
1969: M. Minsky e S. Papert (MIT) dimostrano che il Perceptron non può risolvere molte classi di problemi (tutti quelli linearmente non separabili) e bloccano di fatto per venti anni gli ulteriori sviluppi del connessionismo in favore del paradigma simbolico;

11 Un po' di storia STORIA DEL CONNESSIONISMO
1982: J.J. Hopfield (CalTech) propone un nuovo modello di rete neuronali a connessione totale, adatto sia alla realizzazione di memore associative, sia alla risoluzione di problemi di ottimizzazione combinatoria, sia alla modellazione di sistemi complessi fisici e biologici;

12 Un po' di storia STORIA DEL CONNESSIONISMO
1985: D.E. Rumelhart, G. Hinton e R.J. Williams propongono un potente algoritmo di apprendimento a retropropagazione dell’errore (EBP, Error Back Propagation) che consente di superare le limitazioni del Perceptron e rilancia, le prospettive per le reti neuronali e il connessionismo contribuendo al fiorire di un grande numero di applicazioni commerciali. Nel 1971 la teoria era stata già in qualche modo anticipata da una tesi di dottorato resa nota solo in tempi successivi.

13 Anni ‘80 - La svolta STORIA DEL CONNESSIONISMO In sintesi negli anni '80 nell’evoluzione delle reti artificiali: Rumelhart con il modello EBP supera le limitazioni dei primi modelli di rete Kohonen le formalizza in maniera rigorosa Hopfield ne definisce le proprietà fisiche Grossberg realizza importanti applicazioni

14 Settori di Applicazione
Non ha senso impiegare le reti neurali dove i computer sono eccellenti (calcoli, basi di dati, word-processing, etc.) E’ opportuno adottarle invece dove i computer falliscono Dove le informazioni da trattare risultano: Incomplete Contraddittorie Imprecise Distorte Vaghe Dove manca un algoritmo adeguato (apprendimento) Dove il processo trattato richiede parallelismo e/o velocità

15 Settori di Applicazione
Ottimizzazione combinatoria e Graph Partitioning; Metodologie di revisione; Visione artificiale e riconoscimento; Riconoscimento Vocale; Linguaggio naturale; Robotica e veicoli autonomi; Controllo di processo; Antivirus e Videogiochi;

16 Settori di Applicazione
Riconoscimento/classificazione di immagini, testi, voce, segnali, patterns; Filtri di rumore su segnali; Sintesi del parlato; Pianificazione/Ottimizzazione; Controllo di processo e di qualità; Supporto alle decisioni; Analisi finanziaria; Diagnostica medica e industriale; Previsioni meteorologiche; Compressione/trasmissione di dati.

17 Una analogia esplicita tra la rete e il reticolo atomico
In seguito al lavoro di Hebb, la proposta più stimolante sulle proprietà degli insiemi di neuroni fu quella di B.G. Cragg e H.N.V. Temperley descritta in un articolo del 1954 intitolato “The organisation of neurons: a cooperative analogy.” Rif. CRAGG, B.G., TEMPERLEY, H.N.V. (1954) “The organisation of neurons: a cooperative analogy.” EEG Clin. Neurophysiol., 6, 17

18 Una analogia esplicita tra la rete e il reticolo atomico
Essi notarono che, proprio come i neuroni possono essere attivati (emettendo potenziali d'azione) o quiescenti (a riposo), così gli atomi appartenenti a un certo insieme, o reticolo, possono trovarsi in uno di due stati energetici (per esempio, con lo spin verso l'alto o verso il basso). 18

19 Una analogia esplicita tra la rete e il reticolo atomico
Inoltre, proprio come i neuroni si eccitano o si inibiscono reciprocamente, così un atomo esercita sui suoi vicini forze di tipo magnetico, che tendono a orientare gli altri spin nella stessa direzione, oppure nella direzione opposta. 19

20 Una analogia esplicita tra la rete e il reticolo atomico
Quindi le proprietà dei neuroni in una rete densamente connessa dovrebbero essere analoghe a quelle degli atomi in un reticolo. 20

21 Una prospettiva scientifica
“Possiamo scrutare in avanti solo a breve distanza, ma possiamo vedere che lì è pieno di cose da fare.” A.M. Turing 21

22 Fine Grazie per la Vs. Attenzione 22