La prosodia audiovisiva: la teoria Diane Brentari Purdue University 10 aprile, 2008

Oggi, ci poniamo queste domande: Quali sono i tratti visivi usati per realizzare la prosodia? Qual è il rapporto temporale fra i tratti prosodici visivi e quelli orali? Come si sviluppano i tratti visivi? Qual è il rapporto fra i tratti prosodici visivi nelle lingue orali e nelle lingue dei segni? Quali sono le applicazioni di questa ricerca nel campo della realtà virtuale?

Le dimensioni dei gesti: icona metaforica deittica battuta (“beat”): la dimensione più importante per la prosodia

la dimensione battuta (“beat”) l’uso del corpo o della mano come una bacchetta che segue il ritmo del discorso.

le dimensioni significativi iconica: la forma del gesto rappresenta tratti visivi e significanti. metaforica: la forma del gesto rappresenta un’immagine astratta deittica: la forma o il movimento del gesto è usata per la localizzazione degli oggetti nello spazio

“lexical affiliate” vs. “parola co-segmentale” “lexical affiliate”: la parola o le parole che sono più vicine al gesto in significato. “parola co-segmentale”: la parola prodotta simultaneamente con il gesto. Il mio punto qui è che non è obbligatorio che questi 2 concetti corrispondano alle stesse parole.

i gesti non sono soltanto delle mani le guance le sopracciglia gli occhi la testa intera le spalle il busto

i gesti servono ai parlanti agli ascoltanti per ricordare e per esprimere le parole, per sostenere la catena di discorso, e agli ascoltanti per decidere dov’è la cesura fra le frasi; per decidere la prominenza della frase

Kramer & Swerts (di prossima pubblicazione) Tratti visivi e prominenza: C’è un effetto dei tratti visivi sulla prominenza delle parole? Ipotesi: Un gesto + un accento ha un effetto sulla prominenza, cioè la prominenza aumenta su quella parola e diminuisce sulle altre parole

3 esperimenti sulle battute “fare” le battute: Che cosa fanno i partecipanti con la voce quando usano anche i gesti? “ascoltare” le battute: Quando i partecipanti ascoltano a loro frasi, sono in grado di percepire che cosa fanno con la voce quando usano anche i gesti? “vedere” le battute: Quando i partecipanti guardano e ascoltano le loro frasi, che giudizio danno sulla prominenza?

tutti gli esperimenti Amanda va a Malta (in olandese) “Amanda gaat naar Malta.” L’accento può essere su “Amanda” o su “Malta” o può anche non esserci. I partecipanti: 10 (E1-E2), 20 (E3).

Esperimento 1: ‘fare’ battute 18 condizioni; 2 x 3 x 3 Parola (2 valori): ‘Amanda’ (W1) o ‘Malta’ (W2) Battuta (3 valori): le sopracciglia, la testa, le mani Effetto acustico (3 valori): accento W1, accento W2, Ø

Risultati (E1): effetti acustici gli effetti acustici sono ‘normali’ frequenza: accento su W1 o W2 è correlato a un F0, F1 più alta ; meno effetto su F2, poco effetto su F3. durata: l’accento su W1 è correlato a una vocale più lunga; energia: l’accento su W1 o W2 è correlato a più energia (più forte) sulla vocale.

Risultati (E1): gli effetti della battuta sul segnale effetto della battuta accento + battuta su W1 o W2 è correlato a un F2 più basso. accento + battuta su W2 è correlato a una vocale più lunga. Quindi, ci sono effetti del gesto sull’ accento, ma sono percepibili?

Esperimento 2: ‘ascoltare’ battute 10 persone hanno dato giudizi sull’accento delle vocali: 0 (nessun accento) 1 (accento minore) 2 (accento chiaro) Misura di “prominence difference”: ∑ W1 prominenza - ∑ W2 prominenza

Risultato (E2) C’è un effetto della battuta sulla prominenza percepita. Cioè una parola + battuta è correlata a una prominenza aumentata. Invece, la prominenza relativa all’altra parola sembra essere diminuita. Tutti i tre tipi di battuta avevano questo effetto (le sopracciglia, cenno del capo, battute manuali). Quindi, gli effetti del primo esperimento sono percepibili quando i partecipanti ascoltano, ma vorremmo sapere se c'è un effetto dei gesti sulla percezione.

Esperimento 3: ‘vedere’ battute Qual’è la differenza fra la condizione audio e la condizione audiovisiva? C’è una differenza fra che cosa si percepisce quando si ascolta soltanto e che cosa si percepisce quando si ascoltano e si vedono le frasi contemporaneamente?

Analisi dei tratti accento: W1, W2, Ø tipo di battuta: le sopracciglia, le battute manuali; cenno del capo è stato tolto) Dov’è la battuta: W1, W2 Parlante: (primo, secondo, terzo) soltanto 3 delle 10 sono stati usati

Risultati (E3) + accento: Quando si vede una battuta manuale sulla prima parola, la prominenza di questa è aumentata, mentre è diminuita sulla seconda parola. Vice versa quando la battuta è sulla seconda parola. - accento: Quando una battuta è sulla parola senza accento la prominenza della parola + accento è diminuita. L’effetto è lo stesso (ma meno forte) quando la battuta è realizzata dalle sopracciglia.

Effetto della battuta sulla prominenza percepita prima parola seconda parola

La conclusione Le battute hanno un effetto forte sulla percezione di prominenza, quindi l’ipotesi è stata confermata.

Brentari, González & Seidl (di prossima pubblicazione) Senza nessuna esperienza di segnato, gli udenti hanno intuizioni su come usare i tratti prosodici di una lingua dei segni per decidere dove sono i confini fra le frasi segnate? La risposta prevista è: ‘si’ Quali sono le differenze fra segnanti e nonsegnanti nella percezione di questi tratti prosodici? È vero che i segnanti e i nonsegnanti usano i tratti prosodici in modi diversi? La risposta prevista è: ‘si’

Tratti prosodici nella Lingua dei Segni Americana (ASL) Movimenti delle sopracciglia (Wilbur 1994, Liddell 1980) [non ne parliamo qui] Il prolungamento del segno intero, sopratutto tratti di movimento (Wilbur 1999, Tang, et al. in press) Il prolungamento dell’ultimo segmento (Perlmutter 1992, Brentari 1998) Quando le mani si abbassano (Nicodemus, 2006) Il battito delle ciglia (Wilbur 1994, Liddell 1980) Le pause (Brentari & Poizner, 1994)

La struttura dell’esperimento Questo esperimento è focalizzato sul confine delle frasi intonazionali (“I-Phrase”). Gli stimoli sono stati costruiti come piccoli discorsi. Hanno esattamente gli stessi segni, le stesse sillabe, ma confini diversi delle frasi intonazionali.

la procedura Fase “Familiarizzazione” (passaggi lunghi) Fase “Test”(passaggi brevi) Modulo di risposta su carta. Due domande: Fra i 2 segni, c’è una cesura? (si/no), Quanto è sicuro della Sua risposta? (10:molto - 0:niente affatto). Nessun limite di tempo.

il metodo i partecipanti: Stimoli: 8 segnanti (20+anni d’esperienza); 8 non-segnanti udenti Stimoli: 10 passaggi lunghi fase ‘familiarizzazione’ 2 paia di segni a ciascun passaggio breve (20) fase ‘test’ 20 paia x 2 segnanti diversi = 40 paia 3 volte ogni passaggio breve (60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase intera)

esempio di un paio dei passaggi lunghi (sono segnati tutti come se fossero segnati a un bambino) ANIMALE TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT. Gli animali hanno le caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.] YESTERDAY MORNING MY GARAGE SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. ‘ Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!

passaggio lungo “A”: ANIMAL TEND THEIR STRANGE passaggio lungo “A”: ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT. [Gli animali hanno caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]

passaggio lungo “B”: YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG passaggio lungo “B”: YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. [Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!]

I tratti previsti e quelli presenti: nella frase fra le frasi prol.segno forte ø ø prol.seg. ø forte forte mani abb. ø ø si si battito ciglia pause ø ø si si ø si si

I tratti previsti e quelli presenti: Passaggio A Passaggio A Passaggio A BIG STILL BIG STILL BIG STILL CAN. ALWAYS previsti previsti previsti nella frase nella frase nella frase fra le frasi fra le frasi prol.segno forte si si forte ø ø prol.seg. ø forte forte si si forte mani abb. ø ø ø si si ø ø battito ciglia pause ø ø si si ø ø ø si si ø si si ø ø ø si

I tratti previsti e quelli presenti: Passaggio A BIG STILL CAN. ALWAYS previsti previsti previsti Passaggio B Passaggio B BIG.STILL BIG.STILL CAN ALWAYS CAN ALWAYS nella frase nella frase fra le frasi fra le frasi nella frase fra le frasi prol.segno forte si forte forte ø ø ø prol.seg. ø forte forte si forte si forte mani abb. mani abb. ø ø ø ø si si ø ø battito ciglia pause battito ciglia pause ø ø si si ø ø ø si ø si si ø si ø si

questo è stato tagliato questo del passaggio “A”: SNAKE BIG STILL MOVE FAST CAN. ALWAYS [I serpenti grandi si possono comunque muovere velocemente. Sempre]

questo è stato tagliato del passaggio “B”: SNAKE BIG questo è stato tagliato del passaggio “B”: SNAKE BIG. STILL MOVE FAST CAN ALWAYS [Un serpente grande. Si può comunque muovere velocemente.]

Modulo di risposta (un pagina) BIG STILL CAN ALWAYS Between the two signs shown is there a sentence break? yes ___no ___ [Fra i 2 segni, c’è una cesura? (si/no)] How confident are you in your answer? 10 9 8 7 6 5 4 3 2 1 0 [Quanto sicuro è della Sua risposta?] very not at all [molto] [niente affato]

i risultati sono stati analizzati secondo queste categorie 2 pezzi dei frasi diversi 1 frase si corretto + spaglio + no spaglio - corretto -

La accuratezza La prova statistica d’ dimostra che non c’era un effetto del gruppo sulla accuratezza. I segnanti sono stati più accurati nella categoria di “corretti +”: 86% segnanti; 76% nonsegnanti I nonsegnanti sono stati più accurati nella categoria di “corretti -”: 76.5% segnanti; 85% nonsegnanti I segnanti mostrano meno variabilità.

Analisi degli stimoli costituiti da pezzi delle 2 frasi (Logical Regression) Effetto DF p-value Pause 1 <.0001 Bat.occhi 0.0444 mani cadute 0.0674 Prol.(segmento) 0.1248 Prol.(segno) 0.1471 Effetto DF p-value Pause 1 0.0111 Bat.occhi 0.1266 Prol.(segno) 0.3256 mani cadute 0.4322 Prol.(segmento) 0.6556 Segnanti Non-segnanti

Analisi degli stimoli costituiti da 1 frase intera (Logical Regression) Effetto DF p-value Prol.(seg) 1 <.0001 Bat.occhi 0.0938 mani cadute 0.1031 Pause 0.1327 Prol.(segno) 0.5203 Effetto DF p-value Prol.(seg) 1 < 0.0001 mani cadute 0.0052 Bat.occhi 0.1033 Prol.(segno) 0.1719 Pause 0.7413 Segnanti Non-segnanti

Conclusioni Segnanti e nonsegnanti possono entrambi identificare quando c’è uno spazio fra 2 frasi. Quindi la prima ipotesi è stata confermata. I segnanti mostrano meno variazione I segnanti focalizzano su un tratto solo, mentre nonsegnanti focalizzano su due tratti (almeno). I segnanti e i nonsegnanti sono sensibili a tratti simili: La pausa è il tratto più importante quando c’è una cesura nell stimolo. Il prolungamento segmentale è il tratto più importante negli stimoli costituiti da una frase intera (senza una cesura). Quindi anche la seconda ipotesi è stata confermata.

Alcune domande sulla prosodia (sono solo esempi) Quando un gesto e l'accento sono simultanei, quante volte il gesto è soltanto una battuta, e quante volte c'è un altra dimensione di significato. Quando c'è un altra dimensione di significato, quale è la dimensione? Qual'è il rapporto fra i gesti emblematici e la prominenza? Gesti emblematici hanno uno significato di per sé; e.g., ‘non me ne frega nulla di q.c’, ‘cosa/perché’, ‘perfetto’). Di solito succedono senza parole, ma qual’è il rapporto fra il gesto e le parole prima o dopo il gesto?

la distribuzione delle dimensioni dei gesti (McNeill 1992)

IT narrativo <-> ING narrativo Vi invito a scegliere 1 minuto dei 2 video diversi, fare una paragone di qualche tipo, e preparare una piccola presentazione per la prossima volta. IT narrativo <-> ING narrativo IT extra-narrativo <-> ING extra-narrativo IT narrativo <-> IT extra-narrativo ING narrativo <-> ING extra-narrativo --presentazione di10 minuti