La collaborazione tra le modalità sensoriali è la regola La sinergia dei sensi La collaborazione tra le modalità sensoriali è la regola (Stein, Meredith, 1993)

Cooperazione tra i sensi Le informazioni su un oggetto provenienti da diverse modalità sensoriali vengono di norma sintetizzate insieme: anche nel caso di informazioni sensoriali discrepanti, l’esperienza di un conflitto intersensoriale in condizioni normali non è comune

Alcuni esempi di interazioni cooperative tra le modalità sensoriali Sostituzione sensoriale Sinestesia Rafforzamento/inibizione della percezione in presenza di stimoli multisensoriale Matching cross-modale Illusioni intersensoriali

1. Sostituzione sensoriale visuotattile Dispositivi elettrotattili e vibrotattili per sistemi di sostituzione sensoriale (TVSS di Bach-y-Rita) Formazione di “immagini” visive Rispetto della prospettiva Resa delle ombre Dissociazione tra immagine visiva e sensazione tattile Ruolo del movimento attivo della camera Solo il movimento attivo della camera permette proiezione dello stimolo all’esterno = percezione oggetto distale e non stimolazione prossimale

2. Sinestesia In risposta ad uno stimolo visivo (luce rossa) vengono avvertiti suoni, sensazioni tattili o odorose Le associazioni sono robuste e costanti Il fenomeno si presenta in soggetti normali (1 individuo su 250000) o patologici

3. Rafforzamento/depressione dell’attività percettiva Nel gatto, neuroni fortemente attivi durante stimolazione sonora anche debole, cessano attività quando la luce viene spenta e vengono a mancare stimoli visivi In presenza di stimoli multisensoriali effetti sulla forza, la velocità e la frequenza della scarica neuronale Stimoli bisensoriali possono aumentare le reazioni, es. di molti neuroni multisensoriali del colliculus superiore (possono avere anche un effetto opposto)

Meccanismi di integrazione multisensoriale Costruzione di uno spazio integrato multisensoriale a livello del colliculus superiore Allineamento parallelo (registro) Allineamento delle rappresentazioni sensoriali (registro delle mappe sensoriali) Allineamento delle rappresentazioni sensoriali e motorie (registro delle mappe sensoriali e motorie) Convergenza su un singolo neurone multisensoriale (mappe integrate multisensoriali) Neuroni multisensoriali Neuroni multisensoriali e motori Coordinano somestesia, visione e udito con il movimento (trasduzione sensomotoria) Per posizionare gli organi sensoriali in corrispondenza con la fonte dello stimolo (attenzione-posizionamento)

4. Matching cross-modale Uso di un’informazione ottenuta attraverso una modalità sensoriale per portare un giudizio a proposito di uno stimolo equivalente in un’altra modalità es.: vedere un oggetto e dire a quale di tre oggetti toccati ma non visti corrisponde Anche bambini molto piccoli esibiscono questo tipo di abilità (es. dell’imitazione delle smorfie dell’adulto da parte di un neonato di pochi giorni) Il dibattito riguarda la codifica dell’informazione: se l’informazione sia codificata in maniera multimodale o amodale o se sia codificata in maniera modale e poi convertita

Sviluppo della differenziazione dei sensi I sensi sono inizialmente differenziati e devono “apprendere” a collaborare (es. Piaget) I sensi sono originariamente uniti, o la percezione è originariamente amodale di modo che lo sviluppo va nel senso della differenziazione (es. Gibson, Bower). In altre parole il bambino è sinestetico Sembra che in ogni caso alcuni legami tra le modalità si stabiliscano pre-natalmente e che alcuni patterns di convergenza siano presenti prima della nascita

5. Influenze intersensoriali sostituzione intersensoriale (Illusioni somestetiche prodotte da stimoli visivi) dominanza intersensoriale (Effetto “ventriloquo”) bias intersensoriale (Risultato medio)

a. Sostituzione intersensoriale Illusione della mano di gomma: Mano di gomma posta di fronte al soggetto e toccata ripetutamente Soggetto ha sensazione tattile propriocettiva spostata nella mano di gomma Ripetizione con “colpetti” al tavolo soprastante la mano del soggetto produce lo stesso effetto rispetto al tavolo Illusione di Ramachandran: Arto fantasma Virtual reality box Illusione di movimento della mano assente prodotta da stimolo visivo

b. Dominanza intersensoriale Udito/tatto, Udito/visione Influenza del suono sulla percezione aptica della durezza per superfici di durezza identica associati con diversi suoni di contatto, vengono percepite come più dure quelle associate con un suono proprio di superfici dure Effetto ventriloquo (Tastevin, 1937: visual capture) uno stimolo sonoro associato ad uno stimolo visivo viene localizzato in corrispondenza dello stimolo visivo anche se la sua origine spaziale è diversa (attrazione visiva)

Tatto/Visione Influenza del feedback aptico sull’apparenza visiva di una superficie il feedback aptico altera i percetti visivi susseguenti, quando il feedback aptico non è più disponibile 2 stimoli visivi ambigui: superficie con pendenza segnalata da tessitura e pendenza diversa segnalata da differenza tra gli stimoli presentati ai due occhi; stimolo tattile in accordo con l’una o con l’altra Conflitto tra dimensioni visive e dimensioni tattili di un oggetto Lente riducente diminuisce le dimensioni dello stimolo visivo rispetto a quello tattile. Lo stimolo tattile viene ignorato (Rock, Victor, 1964)

Visione/propriocezione Gibson, 1933: quando un soggetto muove la sua mano lungo una superficie dritta mentre guarda attraverso un prisma che curva la superficie, questa gli appare curva anche al tatto Nielsen, 1963: il soggetto segue una linea dritta con la mano visibile; è introdotto uno specchio senza che il soggetto lo sappia, di modo che la mano che vede non è la sua: il soggetto continua ad avere la sensazione che la mano che vede sia la sua e ha la sensazione di aver perso il controllo su di essa Hay, Pick, Ikeda, 1965: una mano stazionaria vista attraverso un prisma distorcente (14°), viene sentita come se si trovasse molto vicino alla localizzazione apparente alla vista

Paradigma della dominanza Ryan, 1940: quando vengono presentate informazioni conflittuali, le informazioni mediate dalla visione dominano su quelle mediate dagli altri sensi Modality precision hypothesis: la risoluzione della discrepanza favorisce la modalità sensoriale che è più precisa nel registrare l’evento Directed attention hypothesis: domina la modalità su cui è diretta l’attenzione Modality appropriateness hypothesis: domina la modalità più adeguata a percepire la proprietà in causa

c. Bias intersensoriale Heller, Calcaterra, Green, Brown (1999) critica il paradigma dell’invariabilità della dominanza della visione sul tatto: Ripetizione esperimento classico di Rock e Victor (1964), con match simultaneo e diversi tipi di risposta: In situazione di conflitto nessuna delle due modalità domina: risultato è circa una media tra i risultati unisensoriali ottenuti senza conflitto Compare dominanza visiva per risposta visiva e tattile per risposta tattile qunado la misura richiesta è precisa

Bias e dominanza Lederman, Thorne et Jones (1986): valutazione tattile e visiva di tessiture: Densità: visione domina tatto Ruvidità: tatto domina visione, ma il bias non è del 100%: 73,2% del tatto sulla visione e 33% della visione sul tatto La dominanza è raramente assoluta: bias reciproco La dominanza è una forma di bias

Assunzione di unità Welch, Warren, 1980 Il bias intersensoriale è il risultato di un tentativo di mantenere l’esperienza percettiva consonante con un evento unitario I fattori che influenzano il bias intersensoriale in caso di conflitto o discrepanza degli stimoli operano anche in situazioni normali o non conflittuali Tra questi, oltre a fattori legati allo stimolo o alle modalità percettive, potrebbero essere rilevanti anche fattori cognitivi (assunzione di unità) Derrick, Dewar, 1970 presenta un bias della visione sul tatto anche in un caso in cui il soggetto è consapevole della possibilità che tatto e visione informino su due oggetti diversi

Conclusioni Carattere integrato e attivo dei sistemi percettivi Reazioni del sistema percettivo ai conflitti intersensoriali

I sistemi percettivi funzionano in modo integrato Collaborazione tra le modalità sensoriali è la regola: Necessità di pensare le modalità sensoriali in collaborazione In relazione con scopi, compiti e contesto dell’azione percettiva E non come moduli che funzionano in isolamento

Il sistema percettivo è attivo Scelta delle soluzioni rispetto a stimoli percepiti come conflittuali: Illusioni non sono errori ma strategie per risolvere conflitti Diverse scelte possibili rispetto ai conflitti, in relazione a contesto, scopo, compito dell’azione

Ruolo delle illusioni multisensoriali Le illusioni multisensoriali sono strategie per risolvere i conflitti intersensoriali e mantenere coerenza Possono creare esperienze sensoriali “inedite”