Sara Spotorno*°, Giuseppe Spinelli* & Sylvane Faure° GESCO I Convegno di Scienze Cognitive Università di Genova Salienza, rilevanza ed emisferi cerebrali nella percezione del cambiamento di scene visive complesse Sara Spotorno*°, Giuseppe Spinelli* & Sylvane Faure° * DiSA, Dipartimento di Scienze Antropologiche Sezione di Psicologia – Università di Genova ° LPEQ, Laboratoire de Psychologie Expérimentale et Quantitative Université de Nice-Sophia Antipolis

Di cosa parliamo ?!? CHANGE DETECTION (CD) & CHANGE BLINDNESS (CB) … una premessa necessaria….. Di cosa parliamo ?!?

CHANGE BLINDNESS (CB) “CECITA’ AL CAMBIAMENTO” (Rensink et al., 1997; Rensink, 2000, 2002; Simons & Levin, 1997) Difficoltà nella detezione, identificazione, localizzazione dei cambiamenti che avvengono nell’ambiente in condizioni di “perturbazione” del segnale transiente locale normalmente associato ai cambiamenti stessi.

il PRINCIPIO … In situazioni normali, il segnale transiente che proviene dalla regione del cambiamento “cattura” l’attenzione e quindi il cambiamento viene prontamente percepito. In un paradigma di CB, questi segnali sono assenti o molto più deboli a causa dell’intervento dei diversi fattori perturbanti.

… il MEZZO ….  paradigmi metodologici: interruzione della continuità del cambiamento, presentazione di elementi distrattori, lentezza del processo di modificazione dello stimolo, ecc.  tipi di stimoli: da oggetti molto semplici a scene complesse e dinamiche della vita quotidiana  tipi di cambiamento: aggiunta, eliminazione, spostamento di un elemento; modificazione delle proprietà fisiche o semantiche di un oggetto

L’APPROCCIO “GAP-CONTINGENT” Il cambiamento è attuato durante un intervallo …….temporale (gap) tra due stimoli in successione: tecnica one-shot: un solo ciclo di immagini ………………………………. e di cambiamento tecnica flicker: cicli continui di immagini sino …………………………… alla risposta del soggetto …………………………… o sino a un limite temporale …………………………… prefissato

Illustrazione tratta da Rensink, 2002 (tratto da Rensink, 2002) Illustrazione tratta da Rensink, 2002

… e la FINE boh… mah… …sob… insomma, non proprio la fine! La difficoltà a rendersi conto dei cambiamenti avvenuti è presente anche quando essi sono ampi, ripetuti e persino attesi dalla persona. boh… mah… …sob… insomma, non proprio la fine!

MOLTE QUESTIONI APERTE Rappresentazioni mentali: loro formazione, contenuto, possibilità di utilizzo Ruolo dell’attenzione: quale attenzione, rapporto con la percezione Livello di detezione: esplicito, semi-esplicito (“impressione"), implicito

 studi: ERPs, fMRI, rTMS + tecnica one-shot: SUBSTRATI CEREBRALI  studi: ERPs, fMRI, rTMS + tecnica one-shot: (Beck et al., 2001, 2006; Eimer & Mazza, 2005; Koivisto & Revonsuo, 2003; Turatto, Mandrini & Miniussi, 2004) CB: via visiva ventrale: aree striate (V1) ed extrastriate (categoria-selettive) CD: via ventrale + via dorsale (aree parietali e pre-frontali): legate all’attenzione (selezione e orientamento) Ruolo specifico della corteccia dorso-laterale pre-frontale destra (DLPFC dx) e parietale posteriore destra (PPC dx) nella CD cosciente.

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA (“assolute” e in rapporto al contesto globale della scena“) caratteristiche fisiche (fattori bottom-up): colore, luminosità, contrasto, dimensione, posizione, orientamento, movimento : > salienza percettiva  < CB caratteristiche semantiche (fattori top-down): grado di coerenza contestuale e/o di rilevanza soggettiva  < CB per gli elementi incoerenti con il contesto o, al contrario, rilevanti per il senso generale della scena; . < CB per gli elementi importanti in base alle consegne e, in generale, agli scopi del soggetto Questi fattori “catturano” e guidano l’attenzione nello spazio? O possono essere percepiti, sino al livello cosciente, anche in assenza di attenzione focalizzata?

INTERESSE (centrale vs. marginale) EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA Spesso nelle ricerche di CD si parla di INTERESSE (centrale vs. marginale) definito empiricamente dal numero di citazioni di un ….. oggetto durante la descrizione della scena (o dalla - ….. posizione della citazione in tale descrizione generale) ….. ((ad es., Auvray & O’Regan, 2003; Rensink, O’Regan & Clark, 1997; …. . O ’Regan et al., 2000). Malgrado gli oggetti di interesse centrale siano stati considerati come i “nuclei di significato” della scena, nel concetto generale di interesse gli aspetti top-down non sono sufficientemente separabili da quelli bottom-up

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA POTENZIALE INFORMATIVO contesto & soggetto Fattori top-down + fattori bottom-up Gist Layout Rappresentazione grossolana della scena costruita in pochi ms con scarso impiego di risorse attentive SKETCH Costituisce guida per: movimenti oculari scansione attentiva ricordo (Bracco & Spinelli, 2005)

EFFETTO DELLE PROPRIETA’ DELL’OGGETTO CHE CAMBIA HP: quando il cambiamento è perturbato ed è impossibile l’esplorazione seriale della scena, la CD si può basare soltanto su una comparazione degli sketch pre-post cambiamento. > CB per gli elementi a basso P.I., che non rientrano nello sketch: il loro cambiamento non permette l’aggiornamento della rappresentazione mentale della scena; > CD per gli elementi ad alto P.I. (molto salienti e/o molto significativi), anche con tempi di esposizione molto brevi (100 ms o meno): il cambiamento di questi aspetti determina la modificazione dello sketch.

SUBSTRATI DELLA CD/ASIMMETRIE EMISFERICHE HP: vantaggio funzionale dell’emisfero destro (EMdx) nella detezione dei cambiamenti visivi Ruolo specifico nella CD della DLPFC dx e della PPC dx Attenzione visuospaziale, soprattutto esogena (circuito ventro-fronto-parietale) vantaggio specifico per i cambiamenti più salienti? . . . (Corbetta & Shulman, 2002; Serences et al., 2005) > capacità di rappresentazione dello spazio topologico e metrico Elaborazione delle basse frequenze spaziali, base del riconoscimento rapido delle scene visive (Peyrin et al., 2003, 2004) aspetti globali  vantaggio specifico nella comprensione del senso generale della scena? Detezione degli stimoli rari e nuovi  importanza del meccanismo di computazione della rarità degli eventi nella CD (Mazza et al., 2004)

SUBSTRATI DELLA CD/ASIMMETRIE EMISFERICHE Molta confusione in letteratura sul ruolo degli emisferi cerebrali nei processi attentivi e percettivi! … una precisazione necessaria… In generale: differente coinvolgimento a seconda del tipo di stimoli e di compito SISTEMA DINAMICO …… (ad es., Hughdal, 2000; Siéroff & Auclair, 2002) Non si può dunque parlare di una dominanza globale di un emisfero, ma soltanto di un vantaggio relativo

LA RICERCA (finalmente!) OBIETTIVI GENERALI: studiare il ruolo della salienza percettiva e della rilevanza semantica (importanza del cambiamento rispetto al senso globale della scena) nella CD studiare il differente coinvolgimento degli emisferi cerebrali nella CD, in generale, e rispetto alla salienza ed alla rilevanza del cambiamento, in particolare 2 TAPPE: fase 1: valutazione della salienza e della rilevanza fase 2: esperimento di detezione del cambiamento

VALUTAZIONE DELLA SALIENZA & DELLA RILEVANZA LA RICERCA – FASE 1: VALUTAZIONE DELLA SALIENZA & DELLA RILEVANZA OBIETTIVO: ottenere delle misure il più possibile “oggettive”, o almeno intersoggettive, sulla base di una molteplicità di criteri. METODO: utilizzo di 2 gruppi indipendenti di 10 giudici ciascuno 26 immagini presentate in sequenza casuale Rilevanza semantica: descrizione scena + identificazione elementi rilevanti + valutazione su scale Likert a 6 punti Salienza percettiva: identificazione elementi salienti + valutazione su scale Likert a 6 punti + utilizzo di un software specifico (Itti & Koch, 2001) Valutazione della complessità della scena su scale Likert a 6 punti

Illustrazione tratta da Itti & Koch, 2001

LA RICERCA – FASE 1: RISULTATI: sono stati considerati “altamente salienti” o “altamente rilevanti” gli oggetti citati tra i primi 3 dalla maggioranza dei giudici, con in media + di 4 punti alle scale Likert e, per quanto riguarda la salienza, individuati dal software tra i primi 3 punti di salienza dell’immagine. si sono identificati per ogni scena gli oggetti più salienti e quelli meno visibili, cosi come quelli più rilevanti e quelli marginali rispetto al senso globale. su questa base si sono operati quattro gruppi di cambiamenti, derivanti dalla combinazione di alta/bassa salienza e alta/bassa rilevanza. Ciascuna delle 16 scene di base usate nella fase sperimentale è stata cambiata in 2 diverse condizioni; sono state scartate le scene con complessità inferiore a 2.8 punti e superiore a 3.7 punti (media = 3.33; SD = 0.28).

ESPERIMENTO SULLA CHANGE DETECTION LA RICERCA – FASE 2: ESPERIMENTO SULLA CHANGE DETECTION METODO: deriva dalla combinazione di: CD one-shot  S/blank/S’ (50% trials) o S/blank/S (50% trials) Presentazione tachistoscopica degli stimoli in campo ….visivo diviso  limitazione spaziale: tra i 2° e gli 8° di angolo visivo a destra o a sinistra della fissazione centrale (visione extrafoveale: proiezioni controlaterali)  limitazione temporale: < 200 ms ……………. (impossibilità di saccadi)

FASE 2: ALCUNE PRECISAZIONI SUL METODO Ogni scena (19 cm x 14 cm) è presentata centralmente sullo schermo, con 2 possibili  orientamenti; Tipo di cambiamento: aggiunta di un elemento (onset), ………………………nell’emicampo visivo destro o sinistro (bilanciato) Partecipanti: 32 soggetti destrimani (16 maschi e 16 femmine) Età compresa tra i 20 ed i 40 anni Ogni soggetto è posto a 57 cm dallo schermo, . appoggiato ad una mentoniera Consegna: fissare sempre la croce centrale ed indicare per ogni trial, il + rapidamente e accuratamente possibile, se c’è stato un cambiamento  risposta con 2 diversi tasti (sì/no) Controllo del fattore “mano di risposta” e della “compatibilità spaziale” (o effetto Simon)

Esempio di trial

FASE 2: IPOTESI … Migliori prestazioni come accuratezza (ACC) e come tempi di risposta (TR) in condizioni di alta salienza e di alta rilevanza Migliori prestazioni come ACC e/o come TR quando il cambiamento viene presentato nel campo visivo sinistro (CVsx), e quindi inizialmente indirizzato all’emisfero destro (EMdx), rispetto all’altra condizione di presentazione unilaterale  l’EMdx è funzionalmente + competente rispetto all’EMsx nella CD visiva. Vantaggio specifico (ancora maggiore) dell’EMdx, in termini di ACC e/o di TR, in condizioni di alta salienza ( lateralizzazione in EMdx del circuito per l’orientamento attentivo esogeno) e in condizioni di alta rilevanza ( competenza dell’EMdx nella comprensione del senso globale della scena)

… e DOMANDE la salienza percettiva e la pertinenza semantica hanno effetti indipendenti o interagiscono tra loro? E se si come? cosa accade nella condizione bassa salienza/bassa rilevanza (cambiamento di elementi di dettaglio sia del punto di vista visivo che da quello di significato)? E’ forse + competente l’EMsx, “specializzato” per l’attenzione rivolta al livello locale/alte frequenze spaziali?  ….risultati contraddittori in letteratura rispetto alla dicotomia “globale/locale”

Prestazioni al di sopra del valore casuale in ogni condizione FASE 2: RISULTATI ACCURATEZZA (ACC)  calcolata tenendo conto delle detezioni . corrette e delle false allerte Prestazioni al di sopra del valore casuale in ogni condizione effetto della salienza: > ACC per i cambiamenti + salienti (75.25%) rispetto a quelli - salienti (39.25%); effetto della rilevanza: > ACC per i cambiamenti + rilevanti (70%) che per quelli - rilevanti (46.43%); l’effetto della rilevanza appare però < di quello della salienza (23.64% vs. 38%); effetto di interazione tra salienza e rilevanza: l’effetto della rilevanza è > per i cambiamenti - salienti (29.34%) che per quelli + salienti (17.97%). non ci sono effetti significativi del campo visivo (CVsx: 58.38%; CVdx: 58.12%) né del sesso dei partecipanti (maschi: 57.91%; femmine: 58.38%) né della mano di risposta (dx: 59.33%; sx: 57.17%)

TEMPI di RISPOSTA (TR)  calcolati sulle detezioni corrette FASE 2: RISULTATI TEMPI di RISPOSTA (TR)  calcolati sulle detezioni corrette effetto della salienza: < TR per i cambiamenti + salienti (840 ms) rispetto a quelli - salienti (983 ms); effetto della rilevanza: < TR per i cambiamenti + rilevanti (882 ms) che per quelli - rilevanti (941 ms); l’effetto della rilevanza appare però < di quello della salienza (59 ms vs. 143 ms); effetto di interazione tra salienza e rilevanza: la rilevanza influenza la rapidità di risposta solo in condizioni di bassa salienza; effetto del campo visivo: < TR per i cambiamenti presentati nel campo visivo sinistro (CVsx; 894 ms) rispetto a quelli presentati nel campo visivo destro (CVdx; 929 ms); effetto del sesso dei partecipanti: i maschi sono + rapidi delle femmine  793 ms vs. 1031 ms

TR  ANALISI SEPARATE PER SESSO FASE 2: RISULTATI TR  ANALISI SEPARATE PER SESSO Maschi:  sono significativi unicamente l’effetto della salienza e quello della pertinenza, che inoltre presentano soltanto una tendenza ad interagire tra loro (p = .06) Femmine:  effetti di salienza, pertinenza e della loro interazione;  effetto del campo visivo, con vantaggio del CVsx di 47 ms rispetto al CVdx; tale effetto è inoltre modulato in maniera significativa dalla mano di risposta

TR  ANALISI SEPARATE PER SESSO FASE 2: RISULTATI TR  ANALISI SEPARATE PER SESSO QUALE EFFETTO DI CAMPO? Vantaggio della condizione CVsx/EMdx soltanto per le femmine e quando esse rispondono con la mano destra . … (CVsx/EMdx: 971 ms vs. CVdx/EMsx: 1065 ms) Sempre per le femmine, i TR sono influenzati dalla mano di risposta soltanto nel caso di cambiamenti presentati nel CVsx, dove le risposte con la mano destra (971 ms) sono + rapide di quelle con la mano sinistra (1043 ms):  vantaggio della condizione crociata . …. rispetto a quella non crociata Per i maschi non si registra invece alcun effetto significativo né del campo visivo né della mano di risposta

pare dunque + adeguata una < lateralizzazione FASE 2: DISCUSSIONE EFFETTO DI CAMPO: VERSO UN’IPOTESI ESPLICATIVA In questo compito l’informazione sulla scena è ripartita tra i 2 emisferi, che devono condividerla per ricostruire l’immagine nel suo complesso, rispetto a cui si determinano anche i valori di salienza e di pertinenza del cambiamento pare dunque + adeguata una < lateralizzazione Negli uomini entrambi gli emisferi sono in grado di svolgere il compito; funzionamento secondo un modello di “accesso diretto” l’emisfero che per primo riceve la stimolazione riguardante il cambiamento elabora l’informazione ad esso relativa e decide la risposta Le donne sono + lateralizzate degli uomini in questo compito visuospaziale e funzionano secondo un modello di “collegamento calloso” il compito è svolto dall’EMdx, relativamente + competente; ad esso è trasmessa l’informazione riguardo il cambiamento

FASE 2: DISCUSSIONE & EFFETTO DI CAMPO: VERSO UN’IPOTESI ESPLICATIVA Condizione crociata vs. non crociata Il vantaggio relativo dell’EMdx sull’EMsx emerge quando: l’EMdx controlla l’elaborazione dell’informazione relativa al cambiamento l’EMsx controlla la programmazione della risposta motoria & Effetto di interferenza intraemisferica S/R nell’emisfero + coinvolto nel compito (ad es., Wendt et al., 2007) > disponibilità di risorse (aspecifiche?) per l’elaborazione dell’informazione Il vantaggio della ripartizione S/R tra i 2 emisferi:  è > del costo del passaggio dell’informazione dall’EMdx all’EMsx su quale risposta attuare ( ITT: 2-7 ms circa);  supera gli aspetti di compatibilità spaziale S/R

FASE 2: DISCUSSIONE SALIENZA & RILEVANZA Come da hp, elevati livelli di salienza e di rilevanza hanno un effetto di facilitazione sulla detezione del cambiamento  accesso alla percezione di elementi ad alto potenziale informativo già ai primi stadi di elaborazione dell’input visivo, estraendo l’informazione ad essi relativa con una singola fissazione e senza scansione attentiva seriale . ………………………………………………………..(estrazione in parallelo) Aggiornamento dell’iniziale rappresentazione dell’immagine (sketch) e percezione delle modificazioni intervenute grazie al confronto fra le rappresentazioni pre- e post-cambiamento

FASE 2: DISCUSSIONE SALIENZA & RILEVANZA L’effetto della salienza sembra essere > rispetto a quello della rilevanza Si conferma comunque la possibilità di accesso anche a rappresentazioni semantiche, di alto livello, in tempi rapidi e con scarso impegno attentivo (ad es., Biederman, 1972; Grill-Spector & Kanwisher, 2003; Intraub, 1981; Li et al., 2002; Potter, 1976; Rasche & Koch, 2002; Rousselet et al., 2003; Van Rullen & Thorpe, 2001) ricchezza delle rappresentazioni mentali attivate, che possono comprendere anche elementi di dettaglio (prestazioni al di sopra del livello casuale)

SALIENZA, RILEVANZA ed EMISFERI FASE 2: DISCUSSIONE SALIENZA, RILEVANZA ed EMISFERI In questo studio non sono emerse relazioni dirette tra il livello di salienza e/o di rilevanza del cambiamento ed il grado di asimmetria emisferica ma La presenza di un’interazione significativa tra salienza e rilevanza soltanto per le donne, dove la rilevanza del cambiamento ha minore influenza sulle prestazioni in condizioni di alta salienza, potrebbe essere legata ad una priorità degli aspetti di salienza per l’EMdx Nessuno degli effetti è inoltre influenzato dalla pratica ……………………………………… (cfr. I vs. II parte dell’esperimento), che porta invece ad un miglioramento generico delle prestazioni .  TR: 105 ms; ACC: 8.5%

ASPETTI DA APPROFONDIRE BUONI PROPOSITI ASPETTI DA APPROFONDIRE Ruolo del tipo di cambiamento  onset vs. offset; Relazione tra lateralizzazione, salienza e pertinenza; Influenza degli aspetti legati al genere dei partecipanti: ….grado di lateralizzazione, modelli di interazione interemisferica, ….strategie utilizzate (nell’elaborazione dell’informazione e nella ….presa di decisione sulla risposta); Influenza degli aspetti temporali sui processi percettivi e mnestici ….implicati nella CD; Correlazioni tra la detezione ed il ricordo; Livello di detezione  continuum implicito/esplicito; … … …

to be continued ! spotorno@nous.unige.it