La motivazione come determinante del comportamento di organismi artificiali: una simulazione di Artificial Life Relatore: Chia.mo Prof. Roberto Serra Correlatore:

Presentazione sul tema: "La motivazione come determinante del comportamento di organismi artificiali: una simulazione di Artificial Life Relatore: Chia.mo Prof. Roberto Serra Correlatore:"— Transcript della presentazione:

1 La motivazione come determinante del comportamento di organismi artificiali: una simulazione di Artificial Life Relatore: Chia.mo Prof. Roberto Serra Correlatore: Chia.mo Prof. Domenico Parisi Relatore: Chia.mo Prof. Roberto Serra Correlatore: Chia.mo Prof. Domenico Parisi Candidato: Fabio Ruini (matr. 7496) Università degli Studi di Modena e Reggio Emilia Facoltà di Scienze della Comunicazione e dell’Economia Corso di Laurea Specialistica in Economia e Gestione delle Reti e dell’Innovazione Anno Accademico 2005/06 (sessione straordinaria) Università degli Studi di Modena e Reggio Emilia Facoltà di Scienze della Comunicazione e dell’Economia Corso di Laurea Specialistica in Economia e Gestione delle Reti e dell’Innovazione Anno Accademico 2005/06 (sessione straordinaria)

2 Il dualismo mente-corpo e gli attuali limiti della psicologia cognitivista La psicologia sperimentale (laboratorio e metodo galileiano) nelle sue varie correnti: strutturalismo, comportamentismo, cognitivismo. Per la scienza resta un problema aperto: l’esistenza di due apparati concettuali distinti, un vocabolario per il realtà fisica ed uno per la “mente”. La riunificazione della mente con il resto della realtà:  la metodologia della simulazione (per rendere precise e disambigue le teorie della psicologia, “capire la realtà simulandola”);  la nascita del connessionismo (per superare i limiti dell’intelligenza artificiale, “mano armata” della psicologia cognitivista). La psicologia sperimentale (laboratorio e metodo galileiano) nelle sue varie correnti: strutturalismo, comportamentismo, cognitivismo. Per la scienza resta un problema aperto: l’esistenza di due apparati concettuali distinti, un vocabolario per il realtà fisica ed uno per la “mente”. La riunificazione della mente con il resto della realtà:  la metodologia della simulazione (per rendere precise e disambigue le teorie della psicologia, “capire la realtà simulandola”);  la nascita del connessionismo (per superare i limiti dell’intelligenza artificiale, “mano armata” della psicologia cognitivista).

3 Oltre l’approccio connessionista: l’Embodied Cognitive Science Nella prospettiva connessionista, il comportamento (individuale) è un fenomeno complesso, emergente dalla moltitudine di interazioni che hanno luogo ad un livello più basso e su una scala temporale più ristretta. D’accordo. Ma l’ambiente? Embodied Cognitive Science:  Embodiment  Situatedness Nella prospettiva connessionista, il comportamento (individuale) è un fenomeno complesso, emergente dalla moltitudine di interazioni che hanno luogo ad un livello più basso e su una scala temporale più ristretta. D’accordo. Ma l’ambiente? Embodied Cognitive Science:  Embodiment  Situatedness

4 Lo spazio per un ulteriore passo in avanti Fino ad oggi, la quasi totalità degli studi condotti nel campo della Embodied Cognitive Science ha riguardato la creazione di organismi artificiali (simulati a computer o implementati fisicamente mediante artefatti robotici) impegnati ad assolvere a singoli compiti, molto specifici. Magari implementabili attraverso sequenze di azioni più o meno articolate e gerarchicamente organizzate, ma comunque finalizzate al perseguimento di un singolo obiettivo. Una delle caratteristiche più interessanti del comportamento umano, però, è la sua flessibilità, intesa come capacità di mutare e di adattarsi alle diverse circostanze. Fino ad oggi, la quasi totalità degli studi condotti nel campo della Embodied Cognitive Science ha riguardato la creazione di organismi artificiali (simulati a computer o implementati fisicamente mediante artefatti robotici) impegnati ad assolvere a singoli compiti, molto specifici. Magari implementabili attraverso sequenze di azioni più o meno articolate e gerarchicamente organizzate, ma comunque finalizzate al perseguimento di un singolo obiettivo. Una delle caratteristiche più interessanti del comportamento umano, però, è la sua flessibilità, intesa come capacità di mutare e di adattarsi alle diverse circostanze.

5 La motivazione “La motivazione (dall’etimo latino motus) è una spinta per svolgere una certa attività e si può definire come un processo di attivazione dell’organismo finalizzato alla realizzazione di un dato scopo in relazione alle condizioni ambientali. Da tale processo dipende l’avvio, la direzione, l’intensità e la cessazione di una condotta da parte del soggetto.” Anolli L., Legrenzi P., Psicologia Generale (ed. Il Mulino, Bologna, 2006 - pag. 201) “La motivazione (dall’etimo latino motus) è una spinta per svolgere una certa attività e si può definire come un processo di attivazione dell’organismo finalizzato alla realizzazione di un dato scopo in relazione alle condizioni ambientali. Da tale processo dipende l’avvio, la direzione, l’intensità e la cessazione di una condotta da parte del soggetto.” Anolli L., Legrenzi P., Psicologia Generale (ed. Il Mulino, Bologna, 2006 - pag. 201)

6 Duplice relazione con l’ambiente “[…] realizzazione di un dato scopo in relazione alle condizioni ambientali […] ” L’ambiente determina gli scopi e dunque il comportamento di un individuo. Al tempo stesso, l’ambiente è il palcoscenico sul quale tale comportamento si manifesta e dal quale l’individuo trae successivamente un feedback. Ne deriva che lo studio della motivazione non può essere affrontato mediante l’approccio connessionista tradizionale. Occorre introdurre tra i vari parametri presi in considerazione anche l’ambiente di riferimento. “[…] realizzazione di un dato scopo in relazione alle condizioni ambientali […] ” L’ambiente determina gli scopi e dunque il comportamento di un individuo. Al tempo stesso, l’ambiente è il palcoscenico sul quale tale comportamento si manifesta e dal quale l’individuo trae successivamente un feedback. Ne deriva che lo studio della motivazione non può essere affrontato mediante l’approccio connessionista tradizionale. Occorre introdurre tra i vari parametri presi in considerazione anche l’ambiente di riferimento.

7 The Predator: l’ambiente Mondo discreto non-toroidale, formato da 15x15 celle Ogni cella ha probabilità 0.15 di contenere al suo interno un’unità di cibo Un organismo, che si muove all’interno dell’ambiente alla ricerca del cibo Un predatore (hard-wired), presente mediamente per il 25% della vita dell’organismo, che cerca di catturare quest’ultimo Raccolta e cattura hanno luogo rispettivamente quando, in seguito ad un movimento, organismo e cibo, oppure organismo e predatore, si trovano nella medesima cella Mondo discreto non-toroidale, formato da 15x15 celle Ogni cella ha probabilità 0.15 di contenere al suo interno un’unità di cibo Un organismo, che si muove all’interno dell’ambiente alla ricerca del cibo Un predatore (hard-wired), presente mediamente per il 25% della vita dell’organismo, che cerca di catturare quest’ultimo Raccolta e cattura hanno luogo rispettivamente quando, in seguito ad un movimento, organismo e cibo, oppure organismo e predatore, si trovano nella medesima cella

8 The Predator: l’architettura neurale degli organismi Due unità neurali di input, di tipo continuo, deputate a gestire l’informazione sensoriale relativa al cibo (angolo e distanza). Altre due, del tutto analoghe, dedicate alla percezione del predatore. Nove neuroni di tipo continuo nello strato intermedio. Due neuroni booleani di output, che implementano la risposta motoria dell’organismo: 00 : rimane fermo; 01 : ruota di 90° in senso orario; 10 : ruota di 90° in senso anti-orario; 11 : si sposta in avanti di una casella nella direzione in cui è orientato. Due unità neurali di input, di tipo continuo, deputate a gestire l’informazione sensoriale relativa al cibo (angolo e distanza). Altre due, del tutto analoghe, dedicate alla percezione del predatore. Nove neuroni di tipo continuo nello strato intermedio. Due neuroni booleani di output, che implementano la risposta motoria dell’organismo: 00 : rimane fermo; 01 : ruota di 90° in senso orario; 10 : ruota di 90° in senso anti-orario; 11 : si sposta in avanti di una casella nella direzione in cui è orientato.

9 The Predator: dettagli tecnici  Popolazione iniziale composta da 100 individui  Evoluzione genetica per 1000 generazioni  Ad ogni generazione, gli individui sono “testati” individualmente per 25 epoche (di 100 passi ciascuna) all’interno di altrettanti ambienti differenti (per una vita complessiva di 2500 step)  Formula di fitness: quantità di cibo raccolta - (numero di catture subite x “capture damage”)  I 20 migliori individui di ogni generazione si riproducono in maniera asessuata, dando origine ciascuno a 5 individui “figli”, che ereditano il materiale genetico del genitore, non necessariamente identico (ciascun peso sinaptico ha probabilità 0.25 di subire una mutazione casuale di un valore compreso tra -1 e +1)  Popolazione iniziale composta da 100 individui  Evoluzione genetica per 1000 generazioni  Ad ogni generazione, gli individui sono “testati” individualmente per 25 epoche (di 100 passi ciascuna) all’interno di altrettanti ambienti differenti (per una vita complessiva di 2500 step)  Formula di fitness: quantità di cibo raccolta - (numero di catture subite x “capture damage”)  I 20 migliori individui di ogni generazione si riproducono in maniera asessuata, dando origine ciascuno a 5 individui “figli”, che ereditano il materiale genetico del genitore, non necessariamente identico (ciascun peso sinaptico ha probabilità 0.25 di subire una mutazione casuale di un valore compreso tra -1 e +1)

10 Fitness media e massima (capture damage = 5)

11 Ammontare medio di cibo raccolto (capture damage = 5)

12 Numero medio di catture subite (capture damage = 5)

13 Ammontare medio di cibo raccolto in presenza ed in assenza del predatore (capture damage = 5)

14 L’emergere di un meccanismo di attenzione selettiva: analisi dell’hidden layer Davvero gli organismi riescono a discriminare tra gli input sensoriali? Per scoprirlo sono stati messi a confronto i pattern di attivazione dello strato intermedio della rete neurale relativa ai migliori organismi dell’ultima generazione:  in presenza esclusiva del predatore  in presenza di predatore e cibo Davvero gli organismi riescono a discriminare tra gli input sensoriali? Per scoprirlo sono stati messi a confronto i pattern di attivazione dello strato intermedio della rete neurale relativa ai migliori organismi dell’ultima generazione:  in presenza esclusiva del predatore  in presenza di predatore e cibo

15 Variazioni del valore del parametro capture damage Modificando il valore del parametro capture damage, ovvero l’importanza relativa di una cattura da parte del predatore al confronto con la raccolta di un’unità di cibo, varia lo schema comportamentale degli organismi.

16 Fitness media e massima (capture damage = 5, 10 e 50)

17 Ammontare medio di cibo raccolto (capture damage = 5, 10 e 50)

18 Numero medio di catture subite (capture damage = 5, 10 e 50)

19 Percentuale di passi spesi senza muoversi (capture damage = 5, 10 e 50)

20 I due livelli del comportamento  Livello strategico: il “cosa fare”, deputato a circuiti neurali relativamente semplici ed avente uno stretto legame con la motivazione;  Livello tattico: il “come farlo”, data l’enormità degli stimoli presenti nell’ambiente, necessita del supporto di strutture particolarmente sofisticate.  Livello strategico: il “cosa fare”, deputato a circuiti neurali relativamente semplici ed avente uno stretto legame con la motivazione;  Livello tattico: il “come farlo”, data l’enormità degli stimoli presenti nell’ambiente, necessita del supporto di strutture particolarmente sofisticate.

21 L’aggiunta di un circuito “sotto-corticale” per la gestione del “livello strategico” del comportamento Modifica dell’architettura di rete con l’introduzione di due neuroni intermedi aggiuntivi, che ricevono l’attivazione dall’input sensoriale relativo al predatore (la componente “emotivo- motivazionale”)

22 Fitness media e massima (con e senza circuito aggiuntivo)

23 Ammontare medio di cibo raccolto (con e senza circuito aggiuntivo)

24 Numero medio di catture subite (con e senza circuito aggiuntivo)

25 L’effetto del “rumore” sull’evoluzione genetica Condizione un po’ “particolare” è quella con capture damage = 0. In questo caso, il predatore non provoca alcun danno all’organismo in caso di cattura, limitandosi pertanto ad agire come un semplice “fattore di disturbo”. “Rumore”, appunto. Confronto:  con un organismo dotato di un’architettura neurale più semplice, che non prende in considerazione il predatore;  con un organismo dotato della “solita” architettura di rete, ma che riceve come input dei neuroni deputati a gestire l’informazione sensoriale relativa al predatore, del semplice rumore gaussiano. Condizione un po’ “particolare” è quella con capture damage = 0. In questo caso, il predatore non provoca alcun danno all’organismo in caso di cattura, limitandosi pertanto ad agire come un semplice “fattore di disturbo”. “Rumore”, appunto. Confronto:  con un organismo dotato di un’architettura neurale più semplice, che non prende in considerazione il predatore;  con un organismo dotato della “solita” architettura di rete, ma che riceve come input dei neuroni deputati a gestire l’informazione sensoriale relativa al predatore, del semplice rumore gaussiano.

26 Fitness massima (predatore “innocuo” vs. predatore assente)

27 Fitness media (predatore “innocuo” vs. predatore assente)

28 Distribuzione della fitness (predatore “innocuo”)

29 Distribuzione della fitness (predatore assente)

30 Fitness massima (rumore gaussiano vs. predatore “innocuo”)

31 Fitness media (rumore gaussiano vs. predatore “innocuo”)

32 Conclusioni (I)  Un meccanismo attentivo compare negli organismi della nostra simulazione come fenomeno emergente, con modalità che variano a seconda dell’ambiente (inteso come determinante della “struttura motivazionale” dell’individuo).  Un’architettura neurale dotata di un circuito “motivazionale/emozionale” risulta essere più performante rispetto ad una che ne è priva. Conferma alle tesi di vari neuroscienziati (ad es. Ledoux, con il suo “Emotional Brain”), secondo i quali nel sistema nervoso umano esistono strutture sotto-corticali che agiscono “in appoggio” al più complesso sistema corticale. Strutture presumibilmente dedicate alla gestione del “livello strategico” del comportamento.  Un meccanismo attentivo compare negli organismi della nostra simulazione come fenomeno emergente, con modalità che variano a seconda dell’ambiente (inteso come determinante della “struttura motivazionale” dell’individuo).  Un’architettura neurale dotata di un circuito “motivazionale/emozionale” risulta essere più performante rispetto ad una che ne è priva. Conferma alle tesi di vari neuroscienziati (ad es. Ledoux, con il suo “Emotional Brain”), secondo i quali nel sistema nervoso umano esistono strutture sotto-corticali che agiscono “in appoggio” al più complesso sistema corticale. Strutture presumibilmente dedicate alla gestione del “livello strategico” del comportamento.

33 Conclusioni (II): un aspetto metodologico L’introduzione del rumore gioca un ruolo rilevante non soltanto nell’apprendimento in vita (come già era noto, in virtù dei numerosi studi effettuati con riferimento ai metodi di addestramento delle reti neurali), ma anche nell’evoluzione biologica. La presenza di un certo quantitativo di rumore, se da un lato peggiora le performance dei migliori individui della popolazione, dall’altro migliora le prestazioni medie. L’effetto è evidente in riferimento alle “code di sinistra” delle distribuzioni della fitness delle popolazioni. Questo aspetto merita di essere approfondito ulteriormente in futuro, con studi specifici volti ad indagare il perché del manifestarsi di un tale effetto. L’introduzione del rumore gioca un ruolo rilevante non soltanto nell’apprendimento in vita (come già era noto, in virtù dei numerosi studi effettuati con riferimento ai metodi di addestramento delle reti neurali), ma anche nell’evoluzione biologica. La presenza di un certo quantitativo di rumore, se da un lato peggiora le performance dei migliori individui della popolazione, dall’altro migliora le prestazioni medie. L’effetto è evidente in riferimento alle “code di sinistra” delle distribuzioni della fitness delle popolazioni. Questo aspetto merita di essere approfondito ulteriormente in futuro, con studi specifici volti ad indagare il perché del manifestarsi di un tale effetto.