La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

La prosodia audiovisiva: la teoria Diane Brentari Purdue University 10 aprile, 2008.

Presentazioni simili


Presentazione sul tema: "La prosodia audiovisiva: la teoria Diane Brentari Purdue University 10 aprile, 2008."— Transcript della presentazione:

1 La prosodia audiovisiva: la teoria Diane Brentari Purdue University 10 aprile, 2008

2 Oggi, ci poniamo queste domande: Quali sono i tratti visivi usati per realizzare la prosodia? Qual è il rapporto temporale fra i tratti prosodici visivi e quelli orali? Come si sviluppano i tratti visivi? Qual è il rapporto fra i tratti prosodici visivi nelle lingue orali e nelle lingue dei segni? Quali sono le applicazioni di questa ricerca nel campo della realtà virtuale?

3 Le dimensioni dei gesti: icona metaforica deittica battuta (beat): la dimensione più importante per la prosodia

4 la dimensione battuta (beat) luso del corpo o della mano come una bacchetta che segue il ritmo del discorso.

5 le dimensioni significativi iconica: la forma del gesto rappresenta tratti visivi e significanti. metaforica: la forma del gesto rappresenta unimmagine astratta deittica: la forma o il movimento del gesto è usata per la localizzazione degli oggetti nello spazio

6 lexical affiliate vs. parola co- segmentale lexical affiliate: la parola o le parole che sono più vicine al gesto in significato. parola co-segmentale: la parola prodotta simultaneamente con il gesto. Il mio punto qui è che non è obbligatorio che questi 2 concetti corrispondano alle stesse parole.

7 i gesti non sono soltanto delle mani le guance le sopracciglia gli occhi la testa intera le spalle il busto

8 i gesti servono ai parlanti per ricordare e per esprimere le parole, per sostenere la catena di discorso, e agli ascoltanti per decidere dovè la cesura fra le frasi; per decidere la prominenza della frase

9 Kramer & Swerts (di prossima pubblicazione) Tratti visivi e prominenza: Cè un effetto dei tratti visivi sulla prominenza delle parole? Ipotesi: Un gesto + un accento ha un effetto sulla prominenza, cioè la prominenza aumenta su quella parola e diminuisce sulle altre parole

10 3 esperimenti sulle battute 1.fare le battute: Che cosa fanno i partecipanti con la voce quando usano anche i gesti? 2.ascoltare le battute: Quando i partecipanti ascoltano a loro frasi, sono in grado di percepire che cosa fanno con la voce quando usano anche i gesti? 3.vedere le battute: Quando i partecipanti guardano e ascoltano le loro frasi, che giudizio danno sulla prominenza?

11 tutti gli esperimenti Amanda va a Malta (in olandese) Amanda gaat naar Malta. Laccento può essere su Amanda o su Malta o può anche non esserci. I partecipanti: 10 (E1-E2), 20 (E3).

12 Esperimento 1: fare battute 18 condizioni; 2 x 3 x 3 Parola (2 valori): Amanda (W1) o Malta (W2) Battuta (3 valori): le sopracciglia, la testa, le mani Effetto acustico (3 valori): accento W1, accento W2, Ø

13 Risultati (E1): effetti acustici gli effetti acustici sono normali frequenza: accento su W1 o W2 è correlato a un F0, F1 più alta ; meno effetto su F2, poco effetto su F3. durata: laccento su W1 è correlato a una vocale più lunga; energia: laccento su W1 o W2 è correlato a più energia (più forte) sulla vocale.

14 Risultati (E1): gli effetti della battuta sul segnale effetto della battuta accento + battuta su W1 o W2 è correlato a un F2 più basso. accento + battuta su W2 è correlato a una vocale più lunga. Quindi, ci sono effetti del gesto sull accento, ma sono percepibili?

15 Esperimento 2: ascoltare battute 10 persone hanno dato giudizi sullaccento delle vocali: 0 (nessun accento) 1 (accento minore) 2 (accento chiaro) Misura di prominence difference: W1 prominenza - W2 prominenza

16 Risultato (E2) Cè un effetto della battuta sulla prominenza percepita. Cioè una parola + battuta è correlata a una prominenza aumentata. Invece, la prominenza relativa allaltra parola sembra essere diminuita. Tutti i tre tipi di battuta avevano questo effetto (le sopracciglia, cenno del capo, battute manuali). Quindi, gli effetti del primo esperimento sono percepibili quando i partecipanti ascoltano, ma vorremmo sapere se c'è un effetto dei gesti sulla percezione.

17 Esperimento 3: vedere battute Qualè la differenza fra la condizione audio e la condizione audiovisiva? Cè una differenza fra che cosa si percepisce quando si ascolta soltanto e che cosa si percepisce quando si ascoltano e si vedono le frasi contemporaneamente?

18 Analisi dei tratti accento: W1, W2, Ø tipo di battuta: le sopracciglia, le battute manuali; cenno del capo è stato tolto) Dovè la battuta: W1, W2 Parlante: (primo, secondo, terzo) soltanto 3 delle 10 sono stati usati

19 Risultati (E3) + accento: Quando si vede una battuta manuale sulla prima parola, la prominenza di questa è aumentata, mentre è diminuita sulla seconda parola. Vice versa quando la battuta è sulla seconda parola. - accento: Quando una battuta è sulla parola senza accento la prominenza della parola + accento è diminuita. Leffetto è lo stesso (ma meno forte) quando la battuta è realizzata dalle sopracciglia.

20 Effetto della battuta sulla prominenza percepita prima parola seconda parola

21 La conclusione Le battute hanno un effetto forte sulla percezione di prominenza, quindi lipotesi è stata confermata.

22 Brentari, González & Seidl (di prossima pubblicazione) Senza nessuna esperienza di segnato, gli udenti hanno intuizioni su come usare i tratti prosodici di una lingua dei segni per decidere dove sono i confini fra le frasi segnate? La risposta prevista è: si Quali sono le differenze fra segnanti e nonsegnanti nella percezione di questi tratti prosodici? È vero che i segnanti e i nonsegnanti usano i tratti prosodici in modi diversi? La risposta prevista è: si

23 Tratti prosodici nella Lingua dei Segni Americana (ASL) Movimenti delle sopracciglia (Wilbur 1994, Liddell 1980) [non ne parliamo qui] Il prolungamento del segno intero, sopratutto tratti di movimento (Wilbur 1999, Tang, et al. in press) Il prolungamento dellultimo segmento (Perlmutter 1992, Brentari 1998) Quando le mani si abbassano (Nicodemus, 2006) Il battito delle ciglia (Wilbur 1994, Liddell 1980) Le pause (Brentari & Poizner, 1994)

24 La struttura dellesperimento Questo esperimento è focalizzato sul confine delle frasi intonazionali (I- Phrase). Gli stimoli sono stati costruiti come piccoli discorsi. Hanno esattamente gli stessi segni, le stesse sillabe, ma confini diversi delle frasi intonazionali.

25 la procedura Fase Familiarizzazione (passaggi lunghi) Fase Test(passaggi brevi) Modulo di risposta su carta. Due domande: Fra i 2 segni, cè una cesura? (si/no), Quanto è sicuro della Sua risposta? (10:molto - 0:niente affatto). Nessun limite di tempo.

26 il metodo i partecipanti: 8 segnanti (20+anni desperienza); 8 non-segnanti udenti Stimoli: 10 passaggi lunghi fase familiarizzazione 2 paia di segni a ciascun passaggio breve (20) fase test 20 paia x 2 segnanti diversi = 40 paia 3 volte ogni passaggio breve (60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase intera)

27 esempio di un paio dei passaggi lunghi (sono segnati tutti come se fossero segnati a un bambino) A. ANIMALE TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT. A. Gli animali hanno le caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.] B. YESTERDAY MORNING MY GARAGE SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. A. Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. Lho cacciato!

28 passaggio lungo A: ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT. [ Gli animali hanno caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]

29 passaggio lungo B: YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. [ Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. Lho cacciato!]

30 I tratti previsti e quelli presenti: battito ciglia pause mani abb. nella frase fra le frasi ø ø ø ø ø forte si previsti ø forte previsti ø ø si prol.segno prol.seg.

31 I tratti previsti e quelli presenti: battito ciglia pause mani abb. si nella frase BIG STILLCAN. ALWAYS Passaggio A nella frase fra le frasi ø ø ø ø ø ø ø ø forte si previsti forte si ø previsti ø forte previsti ø ø si BIG STILL Passaggio A si sisi nella frase BIG STILL Passaggio A ø øsi ø ø ø prol.segno prol.seg.

32 I tratti previsti e quelli presenti: battito ciglia pause mani abb. forte fra le frasi nella frase fra le frasi nella frase ø ø ø ø ø ø ø forte si previsti ø si øø ø Passaggio B BIG.STILL CAN ALWAYS previsti ø forte previsti battito ciglia pause mani abb. ø ø si CAN ALWAYS Passaggio B BIG.STILL CAN. ALWAYS fra le frasi ø forte si sisi nella frase BIG STILL Passaggio A si ø ø ø prol.segno prol.seg.

33 questo è stato tagliato questo del passaggio A: SNAKE BIG STILL MOVE FAST CAN. ALWAYS [I serpenti grandi si possono comunque muovere velocemente. Sempre]

34 questo è stato tagliato del passaggio B: SNAKE BIG. STILL MOVE FAST CAN ALWAYS [Un serpente grande. Si può comunque muovere velocemente.]

35 Modulo di risposta (un pagina) Between the two signs shown is there a sentence break? yes ___no ___ [Fra i 2 segni, cè una cesura? (si/no)] How confident are you in your answer? [Quanto sicuro è della Sua risposta?] very not at all [molto][niente affato] BIG STILL CAN ALWAYS

36 i risultati sono stati analizzati secondo queste categorie 2 pezzi dei frasi diversi 1 frase sicorretto +spaglio + nospaglio -corretto -

37 La accuratezza La prova statistica d dimostra che non cera un effetto del gruppo sulla accuratezza. I segnanti sono stati più accurati nella categoria di corretti +: 86% segnanti; 76% nonsegnanti I nonsegnanti sono stati più accurati nella categoria di corretti -: 76.5% segnanti; 85% nonsegnanti I segnanti mostrano meno variabilità.

38 Analisi degli stimoli costituiti da pezzi delle 2 frasi (Logical Regression) EffettoDFp-value Pause Bat.occhi Prol.(segno) mani cadute Prol.(segmento) EffettoDFp-value Pause1<.0001 Bat.occhi mani cadute Prol.(segmento) Prol.(segno) SegnantiNon-segnanti

39 Analisi degli stimoli costituiti da 1 frase intera (Logical Regression) EffettoDFp-value Prol.(seg)1<.0001 Bat.occhi mani cadute Pause Prol.(segno) EffettoDFp-value Prol.(seg)1< mani cadute Bat.occhi Prol.(segno) Pause Non-segnantiSegnanti

40 Conclusioni Segnanti e nonsegnanti possono entrambi identificare quando cè uno spazio fra 2 frasi. Quindi la prima ipotesi è stata confermata. I segnanti mostrano meno variazione I segnanti focalizzano su un tratto solo, mentre nonsegnanti focalizzano su due tratti (almeno). I segnanti e i nonsegnanti sono sensibili a tratti simili: La pausa è il tratto più importante quando cè una cesura nell stimolo. Il prolungamento segmentale è il tratto più importante negli stimoli costituiti da una frase intera (senza una cesura). Quindi anche la seconda ipotesi è stata confermata.

41 Alcune domande sulla prosodia (sono solo esempi) Quando un gesto e l'accento sono simultanei, quante volte il gesto è soltanto una battuta, e quante volte c'è un altra dimensione di significato. Quando c'è un altra dimensione di significato, quale è la dimensione? Qual'è il rapporto fra i gesti emblematici e la prominenza? Gesti emblematici hanno uno significato di per sé; e.g., non me ne frega nulla di q.c, cosa/perché, perfetto). Di solito succedono senza parole, ma qualè il rapporto fra il gesto e le parole prima o dopo il gesto?

42 la distribuzione delle dimensioni dei gesti (McNeill 1992)

43 Vi invito a scegliere 1 minuto dei 2 video diversi, fare una paragone di qualche tipo, e preparare una piccola presentazione per la prossima volta. IT narrativo ING narrativo IT extra-narrativo ING extra-narrativo IT narrativo IT extra-narrativo ING narrativo ING extra-narrativo --presentazione di10 minuti


Scaricare ppt "La prosodia audiovisiva: la teoria Diane Brentari Purdue University 10 aprile, 2008."

Presentazioni simili


Annunci Google