Promemoria sul concetto di Rete e sue Analogie Prof. Alessandro Burgognoni Docente di Reti Neurali Fondazione J.Von Neumann Roma 1

La rete La rete ha da sempre attraversato la nostra storia. Dalle realizzazioni più semplici e utili nella vita quotidiana alle più complesse forme di astrazione. 2

La prima astrazione formalizzata La prima formalizzazione di una rete astratta è riconducibile al matematico Leonhard Euler ed al problema dei ponti di Königsberg. Il problema si presenta per Euler sotto forma di un “grafo” cioè una serie di punti (nodi/vertici) uniti da linee che definiamo archi. 3

La prima astrazione del neurone La prima forma di astrazione, a partire dal neurone biologico, nella direzione del neurone artificiale si deve a Pitts e McCulloch che nel 1943 si ispirarono per il loro modello a quanto descritto e analizzato da Alan M. Turing nel suo “On Computable Numbers” 4

Un po' di storia STORIA DEL CONNESSIONISMO Anni Trenta: Norbert Wiener fonda la Cibernetica, ispirandosi alle analogie tra sistemi naturali e sistemi Artificiali. 5

Un po' di storia STORIA DEL CONNESSIONISMO 1943: McCulloch e Pitts (University of Chicago) propongono un primo modello matematico di neurone artificiale (combinatore lineare a soglia) e la connessione di un gran numero di queste unità in reti neuronali nel loro documento “A logical calculus of ideas imminent in nervous activity” 6

Un po' di storia STORIA DEL CONNESSIONISMO 1943: McCulloch e Pitts (University of Chicago) descrivono il loro modello matematico di rete neuronale artificiale come costituita da N neuroni <i> interconnessi in cui ognuno dei componenti ha le seguenti caratteristiche: E' dotato di una soglia di eccitazione θi Ad un determinato istante t si trova in un certo stato si(t) Può essere eccitato da altri neuroni <j> ai quali risulta connesso con intensità pari al peso sinaptico wij 7

Un po' di storia STORIA DEL CONNESSIONISMO 1949: D.O. Hebb (McGill University, Montreal) propone come meccanismo di apprendimento delle reti neuronali la modifica delle connessioni tra i neuroni (pesi sinaptici) secondo la regola di aumentare il peso della connessione tra due neuroni se questi sono, per più volte di seguito, contemporaneamente attivi o inattivi; 8

Un po' di storia STORIA DEL CONNESSIONISMO 1958: F. Rosenblatt (Cornell University) propone la macchina Perceptron (ADAline) per il riconoscimento e la classificazione di forme (Patterns); 9

Un po' di storia STORIA DEL CONNESSIONISMO 1969: M. Minsky e S. Papert (MIT) dimostrano che il Perceptron non può risolvere molte classi di problemi (tutti quelli linearmente non separabili) e bloccano di fatto per venti anni gli ulteriori sviluppi del connessionismo in favore del paradigma simbolico;

Un po' di storia STORIA DEL CONNESSIONISMO 1982: J.J. Hopfield (CalTech) propone un nuovo modello di rete neuronali a connessione totale, adatto sia alla realizzazione di memore associative, sia alla risoluzione di problemi di ottimizzazione combinatoria, sia alla modellazione di sistemi complessi fisici e biologici;

Un po' di storia STORIA DEL CONNESSIONISMO 1985: D.E. Rumelhart, G. Hinton e R.J. Williams propongono un potente algoritmo di apprendimento a retropropagazione dell’errore (EBP, Error Back Propagation) che consente di superare le limitazioni del Perceptron e rilancia, le prospettive per le reti neuronali e il connessionismo contribuendo al fiorire di un grande numero di applicazioni commerciali. Nel 1971 la teoria era stata già in qualche modo anticipata da una tesi di dottorato resa nota solo in tempi successivi.

Anni ‘80 - La svolta STORIA DEL CONNESSIONISMO In sintesi negli anni '80 nell’evoluzione delle reti artificiali: Rumelhart con il modello EBP supera le limitazioni dei primi modelli di rete Kohonen le formalizza in maniera rigorosa Hopfield ne definisce le proprietà fisiche Grossberg realizza importanti applicazioni

Settori di Applicazione Non ha senso impiegare le reti neurali dove i computer sono eccellenti (calcoli, basi di dati, word-processing, etc.) E’ opportuno adottarle invece dove i computer falliscono Dove le informazioni da trattare risultano: Incomplete Contraddittorie Imprecise Distorte Vaghe Dove manca un algoritmo adeguato (apprendimento) Dove il processo trattato richiede parallelismo e/o velocità

Settori di Applicazione Ottimizzazione combinatoria e Graph Partitioning; Metodologie di revisione; Visione artificiale e riconoscimento; Riconoscimento Vocale; Linguaggio naturale; Robotica e veicoli autonomi; Controllo di processo; Antivirus e Videogiochi;

Settori di Applicazione Riconoscimento/classificazione di immagini, testi, voce, segnali, patterns; Filtri di rumore su segnali; Sintesi del parlato; Pianificazione/Ottimizzazione; Controllo di processo e di qualità; Supporto alle decisioni; Analisi finanziaria; Diagnostica medica e industriale; Previsioni meteorologiche; Compressione/trasmissione di dati.

Una analogia esplicita tra la rete e il reticolo atomico In seguito al lavoro di Hebb, la proposta più stimolante sulle proprietà degli insiemi di neuroni fu quella di B.G. Cragg e H.N.V. Temperley descritta in un articolo del 1954 intitolato “The organisation of neurons: a cooperative analogy.” Rif. CRAGG, B.G., TEMPERLEY, H.N.V. (1954) “The organisation of neurons: a cooperative analogy.” EEG Clin. Neurophysiol., 6, 85-92. 17

Una analogia esplicita tra la rete e il reticolo atomico Essi notarono che, proprio come i neuroni possono essere attivati (emettendo potenziali d'azione) o quiescenti (a riposo), così gli atomi appartenenti a un certo insieme, o reticolo, possono trovarsi in uno di due stati energetici (per esempio, con lo spin verso l'alto o verso il basso). 18

Una analogia esplicita tra la rete e il reticolo atomico Inoltre, proprio come i neuroni si eccitano o si inibiscono reciprocamente, così un atomo esercita sui suoi vicini forze di tipo magnetico, che tendono a orientare gli altri spin nella stessa direzione, oppure nella direzione opposta. 19

Una analogia esplicita tra la rete e il reticolo atomico Quindi le proprietà dei neuroni in una rete densamente connessa dovrebbero essere analoghe a quelle degli atomi in un reticolo. 20

Una prospettiva scientifica “Possiamo scrutare in avanti solo a breve distanza, ma possiamo vedere che lì è pieno di cose da fare.” A.M. Turing 21

Fine Grazie per la Vs. Attenzione 22