LiVinG NeTWorkS LaB Dal 2002 il Living Networks Lab (Dipartimento di Scuenze dell’Informazione - Università di Milano) lavora con culture di neuroni su MEA (array di microelettrodi) Il gruppo è composto da fisici, elettronici, informatici e biotecnologi, con il supporto di un laboratorio biologico esterno.

LiVinG NeTWorkS LaB Obiettivo del gruppo è lo sviluppo della ricerca nel campo della biologia computazionale, della bionica e dell’Intelligenza Artificiale. Il gruppo ha effettuato molti esperimenti sullo sviluppo e l’analisi di strutture organizzate di reti neurali biologiche adese a supporto elettronico.

Ambiti di ricerca Ricerca in campo neurofisiologico: metodo di decodifica di segnali provenienti da reti di neuroni; non esistono ad oggi interpretazioni sperimentali della semantica dei segnali gestiti da reti di cellule nervose Ricerca in campo robotico: sistema bionico in grado di apprendere e di guidare attuatori

Ambiti di ricerca Ricerca nel campo delle reti neurali artificiali (ANN): implementazione di una rete software autoorganizzante in grado di fornire un output esplicito e di funzionare in tempo reale Ricerca nel campo del supporto dell’handicap: metodo per implementare in futuro protesi direttamente impiantate nel sistema nervoso centrale per sostituire porzioni di cervello danneggiate e/o guidare arti naturali o artificiali

Struttura del neurone La scoperta della struttura del neurone risale al 1965 (Deiters) Il neurone è dotato di un soma, di un assone, dei dendriti e delle sinapsi Ramòn y Cajal evidenzia i dendriti e gli assoni con il metodo di Golgi

Rete di neuroni Questo video mostra il processso differenziativo di NSCs.

La trasmissione dei segnali neurali La trasmissione dei segnali nei neuroni avviene per via elettrochimica L’arrivo di un segnale elettrico libera dei neurotrasmettitori che attraversano la fessura sinaptica e vengono riconvertiti in segnali elettrici

La trasmissione dei segnali neurali

Il potenziale d’azione (spike) Il potenziale d’azione è il segnale che si propaga attraverso le cellule neurali lungo l’assone Si innesca quando il potenziale di membrana si allontana dal suo valore di riposo superando una certa soglia

Modello del potenziale d’azione A.C. Hodgkin e A.F. Huxley nel 1952 hanno aperto le porte ad una comprensione dettagliata di come i segnali elettrofisiologici siano trasmessi all'interno del sistema nervoso n indica la frazione di canali K+ (potassio) aperti, m la frazione di canali Na+ (sodio) attivati, h la frazione di canali Na+ (sodio) inattivati

Studio della codifica dell’informazione neurale Lo studio della codifica dell’ informazione neurale è basata sull’ implementazione di analisi statistiche Attualmente si ritiene che la maggior partedelle informazioni rilevanti, se non tutte, siano contenute nel tasso medio di “firing” del neurone Oltre al firing rate si considera l’Inter Spike Interval (ISI) che è l’intervallo temporale che intercorre tra due spikes successivi.

Tecniche di misura del segnale neurale Gran parte della moderna neurofisiologia è basata su studi sperimentali con tecnica patch-clamp Il metodo del patch-clamp risale al 1983 (Sakmann and Neher), ed è effettuato tramite una micropipetta di vetro Misura il potenziale a cavallo della membrana cellulare Misura anche il potenziale all’interno della membrana cellulare se si perfora la membrana

Interfacciamento fra neuroni e circuiti elettronici Nei primi anni novanta fu stabilita per la prima volta un’interfaccia elettrica tra cellule nervose e microstrutture semiconduttrici, utilizzando i neuroni delle sanguisughe, uniti a transistor disposti su una piastra di silicio (Fromherz) In seguito Fromherz ha approfondito la natura della giunzione neurone-silicio perfezionando la tecnica di interfacciamento

Interfacciamento fra neuroni e circuiti elettronici Nel 2000 un team di ricercatori della Northwestern University di Chicago, dell’Università dell’Illinois e dell’Università di Genova ha creato una creatura ibrida costituita da un corpo meccanico controllato dal cervello di lampreda marina Nel 2002 Fromherz ha coltivato delle cellule nervose su elettrodi di silicio: le cellule nervose hanno formato sinapsi con gli elettrodi di silicio che rispondevano a stimoli elettrici

Interfacciamento fra neuroni e circuiti elettronici Nel 2003 il gruppo della Duke University è riuscito a collegare 320 microelettrodi alle cellule nel cervello di una scimmia, permettendo di tradurre direttamente i segnali elettrici in istruzioni per il computer, in grado di spostare un braccio robotico Nel 2005 il gruppo del SISSA di Trieste ha sperimentato la possibilità di utilizzare i neuroni su MEA come “neurocomputers” in grado di filtrare delle immagini digitali

Il nostro progetto Strutturare reti di neuroni biologici in forma di ANN. Ipotizzare una forma di apprendimento di questo sistema ibrido attraverso l’immissione iterata di pattern digitali secondo la tecnica ANN Decodificare i segnali neurali di output attraverso una ANN (ITSOM) e con questi guidare gli attuatori di un robot

Il nostro progetto Coltivazione sul MEA delle cellule staminali che sono state fatte differenziare in neuroni umani. Creazione della rete di Kohonen e di Hopfield su MEA La configurazione delle reti è stata scelta dopo una simulazione software su reti artificiali di Kohonen e di Hopfield, in modo da valutare il numero minimo di neuroni necessari a classificare delle semplici immagini

Il sistema hardware/software Abbiamo sviluppato un sistema che interfaccia le cellule attraverso l’adesione diretta a MEA (MultiElectrode Arrays) Un MEA è un disco di Petri di vetro in cui sono inseriti piccolissimi elettrodi. Ciascun elettrodo è connesso per mezzo di una traccia isolata ad un connettore esterno.

Il sistema hardware/software Il MEA permette la registrazione dell’attività delle cellule simultaneamente da diversi canali Può registrare a lungo l’attività cellulare senza danneggiare le cellule E’ adatto ai nostri esperimenti perché permette di studiare il comportamento dinamico di un’intera rete di neuroni

Il sistema hardware/software Il sistema è stato cambiato e migliorato molte volte, adottando man mano schede di acquisizioni più potenti e controller dedicati

Il sistema hardware/software Al momento usiamo un sistema avanzato National Instruments: Rack esterno PXI 1031 con board DAQ ad alta velocità PXI 6251 (16 input analogici, 24 Digital I/O, 2 output analogici) , velocità di campionamento 1.25 MS/s Labview 8.0 per la gestione della scheda e della regsitrazione dei segnali

Il sistema hardware/software Un controller dedicato progettato dal nostro gruppo permette di preamplificare i segnali neurali e stimolarli con pattern digitali

I neuroni Fino ad oggi abbiamo usato cellule staminali neurali Le cellule vengono piastrate alla densità a 3500 celle/cm2 in un mezzo contenente i fattori di crescita EGF e FGF-2 Le cellule sono coltivate per 15 giorni per ottenere neuroni maturi Abbiamo coltivato le cellule direttamente su MEA ricoperto da substrato di matrigel

Il nostro progetto E’ stato sviluppato un programma di controllo del sistema in linguaggio Labview, utilizzato per: il controllo del flusso degli esperimenti la generazione dei pattern sensoriali simulati l’acquisizione dei segnali l’interfacciamento con la rete neurale la generazione dei segnali di controllo degli attuatori del robot E’ stata sviluppata una rete neurale in linguaggio C sotto forma di DLL ed è stata linkata a Labview

Il nostro progetto Il differenziamento avviene su MEA. I nostri MEA Panasonic hanno 64 microelettrodi ITO (Indium Tin Oxide) – platino. La dimensione dei microelettrodi è 20 µ, la distanza interpolare 100 µ.

Il nostro progetto Si sono creati dei collegamenti per ricreare la rete di Hopfield e di Kohonen Kohonen: 8 neuroni di input, 3 neuroni dello strato competitivo Hopfield: 8 neuroni di input/output Kohonen Hopfield

Il nostro progetto Il software di stimolazione crea una serie di bitmap composte da 3 x 3 bit che rappresentano o un segnale “0” o un segnale “1” Si utilizzano gli 8 punti esterni Carattere 0 11111111 Carattere 1 00001111

I pattern digitali Oltre allo “0” e “1” perfetto si considerano anche zeri e uni con rumore 0 con rumore 1 con rumore

L’apprendimento Le stimolazioni vengono dati con impulsi di +/-35 mV a frequenze diverse La durata del singolo impulso è stata impostata a 1.25 ms o 25 ms nei diversi esperimenti

Analisi dei risultati

Analisi dei risultati

Analisi dei risultati

Analisi dei risultati I segnali misurati sono stati successivamente elaborati utilizzando la RQA (Recurrence Quantification Analysis). Questo strumento di analisi non lineare analizza il grado di autoorganizzazione di un segnale Si costruisce una serie di M vettori di lunghezza N ricavati prendendo porzioni di segnale al tempo t+i (i=i+k),ottenendo una matrice di valori. Si calcola la distanza euclidea fra i punti costituiti dalle righe della matrice, e queste vengono codificate attraverso dei colori (Recurrence Plots)

Analisi dei risultati Essenzialmente, il Recurrence Plot è una tabella di codici di colori, in cui i colori caldi (giallo, rosso ed arancio) possono essere associati con le piccole distanze fra i vettori, mentre i colori freddi (azzurro, nero) possono essere usati per mostrare le grandi distanze. Per segnali random la distribuzione dei colori è completamente uniforme. Quanto più deterministico è il segnale, tanto più strutturato sarà il Recurrence Plot

Recurrent Plots Segnale di output prima della somministrazione dei pattern Il grafico è costituito da colori freddi e disorganizzati che segnalano la mancanza di autoorganizzazione della serie temporale.

Recurrent Plots Segnale di output durante la somministrazione dei pattern disorganizzato anche se con un inizio di autoorganizzazione

Recurrent Plots Segnale di output subito dopo la fine della somministrazione di un pattern sensoriale simulato Si vedono ampie bande uniformi di colore giallo e rosso, mentre i colori freddi sono limitati agli estremi del diagramma

Recurrent Plots Segnale di output dopo la fine della somministrazione dei pattern sensoriali simulati Si vedono ampie bande uniformi di colore giallo e rosso, mentre i colori freddi sono limitati agli estremi del diagramma, a dimostrazione di un altissimo grado di autoorganizzazione

Analisi dei risultati Sia l’analisi dei segnali elettrici che i Recurrent Plots concorrono alle stesse conclusioni : La rete di neuroni risponde in modo simile a stimolazioni simili, risponde in modo diverso a stimolazioni diverse I risultati raggiunti consentono di affermare che la rete di neuroni è in grado di “apprendere” stimoli sensoriali simulati autoorganizzandosi, e rispondendo adeguatamente ai pattern anche successivamente all’apprendimento

Decodifica dei segnali neurali attraverso una rete neurale artificiale Abbiamo quindi pensato possibile un passo successivo: offrire un’interpretazione agli output generati dai neuroni Sviluppo di una rete autoorganizzante ITSOM (Inductive Tracing Self Organizing Map) per la decodifica dei segnali neuronali La rete ITSOM è un’ evoluzione della SOM (Kohonen)

La rete SOM Rete ad apprendimento non supervisionato. Caratteristiche della rete SOM: Rete ad apprendimento non supervisionato. Composta da due strati: uno strato di input e uno strato competitivo o di Kohonen Tutti i neuroni di input sono connessi ad ogni neurone dello stato di output. Autoorganizzazione di insiemi di dati n-dimensionali su una mappa k-dimensionale ( k << n ) (quantizzazione vettoriale)

La rete SOM Apprendimento e classificazione della rete di Kohonen: Regola Winner Take All Calcolo delle distanze tra segnali di input x e pesi delle connessioni wi. Il neurone vincente è quello con distanza minima, premiato con una variazione dei pesi

PUNTI DI FORZA DELLA ITSOM Problematiche della SOM Per input strettamente non lineari lo strato di output non riesce a mappare correttamente l’input Difficoltà di pervenire a convergenza certa non essendoci la possibilità di stabilire un errore della rete per ciascuna epoca Output non è esplicitato e necessita di un algoritmo per estrarlo PUNTI DI FORZA DELLA ITSOM Funziona in tempo reale Non necessita di convergenza Esplicitazione dell’output

La rete ITSOM Osservando la sequenza temporale dei neuroni vincenti di una SOM si nota che questa tende a ripetersi creando una serie temporale, costituente attrattori caotici, e che questi caratterizzano univocamente l’elemento di input che gli ha prodotti La rete ITSOM memorizza la serie temporale dei neuroni vincenti e successivamente li analizza col metodo degli z-score

Lo z-score I punteggi cumulativi relativi a ciascun input vengono normalizzati secondo la distribuzione della variabile standardizzata “z” x = numero vittorie per il neurone μ = media dei punteggi sui vari neuroni σ = scarto quadratico medio

Lo z-score z = 1 per z > τ Fissata una soglia τ, 0<τ<1 In questo modo ogni configurazione dei neuroni vincenti è rappresentata da un numero composto da zeri e uni Diventa poi immediato confrontare tra loro questi numeri binari detti codice ITSOM.

Generazione degli z-score di riferimento Lo z-score FASE DI TESTING Generazione degli z-score di riferimento Classificazione dei segnali in funzione degli z-score acquisiti nella fase di training CODICI Z-SCORE FASE DI TRAINING

Lo z-score Ad esempio nella tabella sotto sono riportati i codici generati dalla ITSOM che elabora un set di segnali emessi dalle cellule stimolate con lo stesso pattern R La prima volta vince 10 volte il neurone 2, 5 volte il neurone 5, 6 volte il neurone 6, una volta il neurone 7 e così via La seconda volta vince 1 volta il neurone 2, 6 volte il neurone 5, 4 volte il neurone 6 e così via

Fasi dell’esperimento Strutturazione di una rete di Hopfield Generazione dei segnali e stimolazione dei neuroni biologici, registrazione della loro risposta. Inoltro dei dati alla rete neurale artificiale ITSOM: fase di training fase di testing Utilizzo dell’output della ITSOM per pilotare gli attuatori del Robot.

I neuroni Nell’ultimo esperimento abbiamo stimolato la rete per mezzo di pattern direzionali I pattern sono bitmap 8x8 La durata del bit è 300 ms Ciascuna stimolazione è seguita da una pausa di 1 s in cui una Artificial Neural Network elabora i segnali L’impulso di stimolazione è un segnale è un segnale alternato a basso voltaggio (+/- 30 mV, 733 Hz)

Generazione di stimoli sensoriali simulati Pattern: 8 bit per 8 bit. Ogni bit ha la durata di 300 ms Ogni stimolazione della durata complessiva di 2.4s è seguita da 1s di pausa durante alla fine della la rete neurale registra gli output cellulari. Il segnale utilizzato per stimolare le cellule è un segnale alternato a bassa tensione (+/- 30 mV) a 733 Hz.

Generazione di stimoli sensoriali simulati Fase di Training: Somministrazione ripetuta di stimoli sensoriali simulati ai neuroni biologici Acquisizione (10 kHz) del segnale dei neuroni biologici Generazione degli z-score di riferimento della rete ITSOM

Generazione di stimoli sensoriali simulati Fase di Testing: Somministrazione di uno stimolo sensoriale simulato prescelto ai neuroni biologici Acquisizione (10 kHz) del segnale dai neuroni biologici Generazione dello z-score e confronto con quelli di riferimento Generazione dei comandi per pilotare il Robot

I neuroni I pattern vengono somministrati alla rete biologica come treni di impulsi elettrici in modo da rappresentare i punti bianchi (bit 1) o bianchi (0) della bitmap

I neuroni Gli impulsi sono somministrati simultaneamente su tutti gli elettrodi in forma di pattern Le cellule sono stimolate da impulsi elettrici con differenti voltaggi e frequenze Le stimolazioni sono somministrate con impulsi di 35 mV La durata di un impulso è stata posta da 1.25 ms a 25 ms in differenti esperimenti

La creatura bionica I neuroni sono connessi ad una Artificial Neural Network che decodifica i loro segnali dopo le stimolazioni Il sistema ibrido (artificiale/biologico) guida un minirobot

La creatura bionica Dopo una sequenza di stimolazioni di training, vengono somministrati alla rete biologica dei pattern direzionali random in forma di comandi La ITSOM decodifica i segnali neurali e il minirobot esegue i comandi

Parametri di taratura della ITSOM

Risultati Input 1-400ms Direzioni Totale Pattern F Pattern B Pattern L Pattern R Classificati correttamente 4 5 3 15 Non classificati correttamente 1 7 Non classificati Totale dei pattern forniti 6 25 % Classificati 100% 83,33% 85,71% 88% % Classificati correttamente 80% 42,86% 60% 0% 20% 40% 60% 80% 100% Pattern F Pattern B Pattern L Pattern R Totale Direzioni Percentuale di classificazione nelle quattro direzioni Non classificati Non classificati correttamente Classificati correttamente La tabella riassume le prestazioni della ITSOM successive alla taratura La casualità sarebbe rappresentata al massimo dal 25% ma va sottolineato che in realtà i neuroni hanno ben più di 4 possibilità di scelta

Risultati Analizzando i dati ottenuti con il metodo delle matrici di confusione possiamo calcolare la sensibilità e la specificità per valutare la bontà del nostro classificatore Per ogni matrice di confusione si possono definire quattro importanti parametri: Falso Positivo (FP): è la probabilità che un pattern sia stato erroneamente classificato come appartenente ad un altro pattern. Falso Negativo (FN): è la probabilità che uno specifico pattern sia stato erroneamente classificato non nel suo specifico pattern. Vero Positivo (VP): è la probabilità che un pattern sia stato correttamente classificato come appartenente ad uno specifico pattern. Vero Negativo (VN): è la probabilità che un pattern sia stato correttamente classificato come non appartenente ad uno specifico pattern.

Matrice di confusione pattern F Risultati Definiamo quindi: Sensibilità = (VP / ( VP + FN))*100 Specificità = (VN / (VN + FP))*100 Matrice di confusione pattern F F Non F VP FN FP VN

Risultati Sensibilità = (TP / ( TP + FN))*100 Matrice di confusione pattern F F Non F 4 1 17 Matrice di confusione pattern B B Non B 5 6 11 Matrice di confusione pattern L L Non L 3 1 15 Matrice di confusione pattern R R Non R 3 16 Sensibilità = (TP / ( TP + FN))*100 Specificità = (TN / (TN + FP))*100 Pattern F Pattern B Pattern L Pattern R Totale Sensibilità 100% 45,45% 75% 80,11% Specificità 94,44% 83,33% 84,21% 90,50% Nelle tabelle in rosso sono indicati i falsi positivi e in blu i falsi negativi. False Positive (FP): è la probabilità che un pattern sia stato erroneamente classificato come appartenente ad un altro pattern. False Negative (FN): è la probabilità che uno specifico pattern sia stato erroneamente classificato non nel suo specifico pattern. True Positive (TP): è la probabilità che un pattern sia stato correttamente classificato come appartenente ad uno specifico pattern. True Negative (TN): è la probabilità che un pattern sia stato correttamente classificato come non appartenente ad uno specifico pattern. Grazie a questi parametri è possibile definire altri due importanti indici che indicano la bontà del classificatore: Sensitività: è la probabilità che il test sia positivo dato che un determinato pattern possiede le caratteristiche di quella classe di appartenenza. Sensitivity = (TP / ( TP + FN))*100 Specificità: è la probabilità che il test sia negativo dato che un determinato pattern non possiede le caratteristiche di quella classe di appartenenza. Specificity = (TN / (TN + FP))*100 La sensitività (accuratezza) media di astrazione del modello è dell’80,11%, mentre la specificità (precisione) è del 90,50%. Dai rispettivi valori di sensitività e specificità possiamo considerare il modello di classificatore corretto ed efficiente nella classificazione dei segnali. Il modello di classificatore appare soddisfacente

Risultati Sviluppo di un sistema hardware/software in grado di interagire con i neuroni Sviluppo di un sistema di apprendimento di percezioni simulate di una rete di neuroni umani, correttamente allenata. Sviluppo di una opportuna ANN per la decodifica delle reazioni dei neuroni Sperimentazione di un sistema robotico ibrido in grado di guidare un attuatore

Risultati Attualmente in neurofisiologia si analizza solo la frequenza di spike e non si arriva alla decodifica semantica dei segnali neuronali Non esistono teorie consolidate sull’apprendimento di reti neurali biologiche Abbiamo sviluppato un sistema innovativo di decodifica dei segnali provenienti da reti di neuroni biologici e un sistema di apprendimento basati su riscontri sperimentali Anche il risultato sperimentale conseguito, ossia il movimento di un robot guidato dall’output di neuroni biologici in base all’apprendimento di pattern sensoriali simulati, non ha precedenti in letteratura.

Valutazione comparativa con la letteratura Nella letteratura esaminata in precedenza si è cercato di affidare ad un cervello già funzionante il compito di autoorganizzarsi sotto l’azione di stimoli esterni Nel nostro studio si è giunti a: Strutturare una rete di neuroni a priori disorganizzata seguendo la struttura di una ANN Farle apprendere stimoli sensoriali simulati Decodificare i segnali di output della rete

La creatura bionica Command Robot Left Forward Backward Left Backward

La creatura bionica “Cremino” è la prima creatura ibrida dotata di un piccolo cervello umano Scopo di questa ricerca è Raggiungere una migliore comprensione del meccanismo neurofisiologico della memoria e dell’apprendimento Sviluppare un’interfaccia efficiente fra neuroni ed elettronica Compiere un progresso nello sviluppo di protesi neuroelettroniche

Problemi da risolvere Identificazione sicura dei neuroni che formano la rete Persistenza in vita delle cellule Ottimizzazione della decodifica dei segnali neurofisiologici Crescita di complessità del sistema in modo da effettuare esperimenti a ciclo chiuso con sensori montati sul robot Miniaturizzazione

Sviluppi in corso Progetto europeo FLASHPOM: progettazione ed implementazione di MEA speciali con piste litografate e strato di polimeri che guidano le cellule a depositarsi solo sopra gli elettrodi senza spostarsi Ottimizzazione della ITSOM studio di un nuovo algoritmo di identificazione degli attrattori caotici Realizzazione di una ITSOM integrata in HW

Pubblicazioni R. Pizzi, D. Rossetti, G. Cino,D. Marino, and A. Vescovi, “A CULTURED HUMAN NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR", Biosystems Journal, Elsevier ed., in corso di pubbl. R. Pizzi, “ARTIFICIAL MIND”, in: Reflexing Interfaces: the Complex Coevolution of Information Technology Ecosystems , IGI group, Hershey, PA, USA R. Pizzi, G. Cino, F. Gelain, D. Rossetti and A. Vescovi, "LEARNING IN HUMAN NEURAL NETWORKS ON MICROELECTRODE ARRAYS", Biosystems Journal, Volume 88, Issues 1-2, March 2007, Pages 1-15, Elsevier ed. Rita M.R. Pizzi, Danilo Rossetti, Giovanni Cino, Daniela Marino and Angelo L. Vescovi, “A BIOLOGICAL NEURAL NETWORK DRIVES A ROBOTIC ACTUATOR”, Proc. CISI06, Ancona 26–29 settembre 2006. R. Pizzi, A. Fantasia, F. Gelain, D. Rossetti, G. Cino and A. Vescovi, “HOPFIELD AND KOHONEN MODELS: AN IN VIVO TEST”, Proc. International Meeting on Computational Intelligence Methods for Bioinformatics and Biostatistics, Perugia 15-17 settembre 2004, Kluwer ed. R. Pizzi, D. Rossetti, G. Cino, A . Vescovi, “ANOMALOUS FINDINGS IN CULTURED NEURONS IN PRESENCE OF LASER PULSES”, in fase di revisione su: Biosystems Journal, Elsevier R. Pizzi, D. Rossetti, G. Cino, A.L. Vescovi and W. Baer, “NEURONS REACT TO ULTRAWEAK ELECTROMAGNETIC FIELDS”, Quantum Mind 2007, Salzburg 23-26 Luglio 2007. W. Baer, R. Pizzi, THE SEARCH FOR BIOLOGICAL QUANTUM COMPUTER ELEMENTS accettato a :ICCES'08: International Conference on Computational & Experimental Engineering and Sciences, Honololu, Hawaii, Marzo 2008