La prosodia audiovisiva: la teoria

Diane Brentari

Purdue University10 aprile, 2008

Oggi, ci poniamo queste domande: Quali sono i tratti visivi usati per realizzare la

prosodia? Qual è il rapporto temporale fra i tratti

prosodici visivi e quelli orali? Come si sviluppano i tratti visivi? Qual è il rapporto fra i tratti prosodici visivi

nelle lingue orali e nelle lingue dei segni? Quali sono le applicazioni di questa ricerca

nel campo della realtà virtuale?

Le dimensioni dei gesti: icona metaforica deittica battuta (“beat”): la dimensione più

importante per la prosodia

la dimensione battuta (“beat”)

l’uso del corpo o della mano come una bacchetta che segue il ritmo del discorso.

le dimensioni significativi iconica: la forma del gesto rappresenta

tratti visivi e significanti. metaforica: la forma del gesto

rappresenta un’immagine astratta deittica: la forma o il movimento del

gesto è usata per la localizzazione degli oggetti nello spazio

“lexical affiliate” vs. “parola co-segmentale” “lexical affiliate”: la parola o le parole che

sono più vicine al gesto in significato. “parola co-segmentale”: la parola prodotta

simultaneamente con il gesto.

Il mio punto qui è che non è obbligatorio che questi 2 concetti corrispondano alle stesse parole.

i gesti non sono soltanto delle mani le guance le sopracciglia gli occhi la testa intera le spalle il busto

i gesti servono ai parlanti

per ricordare e per esprimere le parole, per sostenere la catena di discorso, e

agli ascoltanti per decidere dov’è la cesura fra le frasi; per decidere la prominenza della frase

Kramer & Swerts (di prossima pubblicazione)

Tratti visivi e prominenza: C’è un effetto dei tratti visivi sulla prominenza

delle parole?

Ipotesi: Un gesto + un accento ha un effetto sulla

prominenza, cioè la prominenza aumenta su quella parola e diminuisce sulle altre parole

3 esperimenti sulle battute1. “fare” le battute: Che cosa fanno i

partecipanti con la voce quando usano anche i gesti?

2. “ascoltare” le battute: Quando i partecipanti ascoltano a loro frasi, sono in grado di percepire che cosa fanno con la voce quando usano anche i gesti?

3. “vedere” le battute: Quando i partecipanti guardano e ascoltano le loro frasi, che giudizio danno sulla prominenza?

tutti gli esperimenti Amanda va a Malta (in olandese)

“Amanda gaat naar Malta.” L’accento può essere su “Amanda” o su

“Malta” o può anche non esserci. I partecipanti: 10 (E1-E2), 20 (E3).

Esperimento 1: ‘fare’ battute 18 condizioni; 2 x 3 x 3

Parola (2 valori): ‘Amanda’ (W1) o ‘Malta’ (W2)

Battuta (3 valori): le sopracciglia, la testa, le mani

Effetto acustico (3 valori): accento W1, accento W2, Ø

Risultati (E1): effetti acustici gli effetti acustici sono ‘normali’

frequenza: accento su W1 o W2 è correlato a un F0, F1 più alta ; meno effetto su F2, poco effetto su F3.

durata: l’accento su W1 è correlato a una vocale più lunga;

energia: l’accento su W1 o W2 è correlato a più energia (più forte) sulla vocale.

Risultati (E1): gli effetti della battuta sul segnale

effetto della battuta accento + battuta su W1 o W2 è correlato

a un F2 più basso. accento + battuta su W2 è correlato a una

vocale più lunga.

Quindi, ci sono effetti del gesto sull’ accento, ma sono percepibili?

Esperimento 2: ‘ascoltare’ battute 10 persone hanno dato giudizi

sull’accento delle vocali: 0 (nessun accento) 1 (accento minore) 2 (accento chiaro)

Misura di “prominence difference”: ∑ W1 prominenza - ∑ W2 prominenza

Risultato (E2) C’è un effetto della battuta sulla prominenza

percepita. Cioè una parola + battuta è correlata a una prominenza aumentata. Invece, la prominenza relativa all’altra parola sembra essere diminuita. Tutti i tre tipi di battuta avevano questo effetto (le sopracciglia, cenno del capo, battute manuali).

Quindi, gli effetti del primo esperimento sono percepibili quando i partecipanti ascoltano, ma vorremmo sapere se c'è un effetto dei gesti sulla percezione.

Esperimento 3: ‘vedere’ battute Qual’è la differenza fra la condizione

audio e la condizione audiovisiva? C’è una differenza fra che cosa si percepisce quando si ascolta soltanto e che cosa si percepisce quando si ascoltano e si vedono le frasi contemporaneamente?

Analisi dei tratti accento: W1, W2, Ø tipo di battuta: le sopracciglia, le battute

manuali; cenno del capo è stato tolto)

Dov’è la battuta: W1, W2 Parlante: (primo, secondo, terzo)

soltanto 3 delle 10 sono stati usati

Risultati (E3)

+ accento: Quando si vede una battuta manuale sulla prima parola, la prominenza di questa è aumentata, mentre è diminuita sulla seconda parola. Vice versa quando la battuta è sulla seconda parola.

- accento: Quando una battuta è sulla parola senza accento la prominenza della parola + accento è diminuita.

L’effetto è lo stesso (ma meno forte) quando la battuta è realizzata dalle sopracciglia.

Effetto della battuta sulla prominenza percepita

prima parola seconda parola

La conclusione

Le battute hanno un effetto forte sulla percezione di prominenza, quindi l’ipotesi è stata confermata.

Brentari, González & Seidl (di prossima pubblicazione) Senza nessuna esperienza di segnato, gli udenti

hanno intuizioni su come usare i tratti prosodici di una lingua dei segni per decidere dove sono i confini fra le frasi segnate? La risposta prevista è: ‘si’

Quali sono le differenze fra segnanti e nonsegnanti nella percezione di questi tratti prosodici? È vero che i segnanti e i nonsegnanti usano i tratti prosodici in modi diversi? La risposta prevista è: ‘si’

Tratti prosodici nella Lingua dei Segni Americana (ASL) Movimenti delle sopracciglia (Wilbur 1994, Liddell

1980) [non ne parliamo qui]

Il prolungamento del segno intero, sopratutto tratti di movimento (Wilbur 1999, Tang, et al. in press)

Il prolungamento dell’ultimo segmento (Perlmutter 1992, Brentari 1998)

Quando le mani si abbassano (Nicodemus, 2006)

Il battito delle ciglia (Wilbur 1994, Liddell 1980) Le pause (Brentari & Poizner, 1994)

La struttura dell’esperimento

Questo esperimento è focalizzato sul confine delle frasi intonazionali (“I-Phrase”).

Gli stimoli sono stati costruiti come piccoli discorsi. Hanno esattamente gli stessi segni, le stesse sillabe, ma confini diversi delle frasi intonazionali.

la procedura

Fase “Familiarizzazione” (passaggi lunghi) Fase “Test”(passaggi brevi) Modulo di risposta su carta. Due domande:

Fra i 2 segni, c’è una cesura? (si/no), Quanto è sicuro della Sua risposta?

(10:molto - 0:niente affatto).

Nessun limite di tempo.

il metodo i partecipanti:

8 segnanti (20+anni d’esperienza); 8 non-segnanti udenti

Stimoli: 10 passaggi lunghi

fase ‘familiarizzazione’ 2 paia di segni a ciascun passaggio breve (20)

fase ‘test’ 20 paia x 2 segnanti diversi = 40 paia 3 volte ogni passaggio breve(60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase

intera)

esempio di un paio dei passaggi lunghi (sono segnati tutti come se fossero segnati a un bambino)

A. ANIMALE TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT.

A. Gli animali hanno le caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]

B. YESTERDAY MORNING MY GARAGE SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. ‘

A. Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!

passaggio lungo “A”:ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE

FAST CAN. ALWAYS HAVE PLENTY EAT. [Gli animali hanno caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]

QuickTime™ and aSorenson Video 3 decompressorare needed to see this picture.

passaggio lungo “B”:YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE.

[Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!]

QuickTime™ and aSorenson Video 3 decompressorare needed to see this picture.

I tratti previsti e quelli presenti:

battito ciglia

pause

mani abb.

nellafrase

fra le frasi

ø

ø

ø

ø

ø

forte

forte

si

si

si

previstiprevisti

ø

forte

previsti

ø

ø

si

si

si

prol.segno

prol.seg.

I tratti previsti e quelli presenti:

battito ciglia

pause

mani abb.

si

si

nella frase

BIG STILL CAN. ALWAYSPassaggio A

nellafrase

fra le frasi

fra le frasi

ø

ø

ø

ø

ø

ø

ø

ø

forte

forte

si

si

si

previsti

forte

forte

si

ø

previsti

ø

forte

previsti

ø

ø

si

si

si

BIG STILLPassaggio A

si

si

nella frase

BIG STILLPassaggio A

ø

ø si

si

ø

ø

ø

prol.segno

prol.seg.

I tratti previsti e quelli presenti:

battito ciglia

pause

mani abb.

forte

forte

fra le

frasinellafrase

fra le frasi

nella frase

ø

ø

ø

ø

ø

ø ø

forte

forte

si

si

si

previsti

ø

si

øø

si ø

Passaggio B BIG.STILL CAN ALWAYSprevisti

ø

forte

previsti

battito ciglia

pause

mani abb. ø

ø

si

si

si

CAN ALWAYSPassaggio B BIG.STILLCAN. ALWAYS

fra le frasi

ø

forte

fortesi

si

nella frase

BIG STILLPassaggio A

si

si

ø

ø

ø

prol.segno

prol.seg.

questo è stato tagliato questo del passaggio “A”: SNAKE BIG STILL MOVE FAST CAN. ALWAYS[I serpenti grandi si possono comunque muovere velocemente. Sempre]

questo è stato tagliato del passaggio “B”: SNAKE BIG. STILL MOVE FAST CAN ALWAYS[Un serpente grande. Si può comunque muovere velocemente.]

Modulo di risposta (un pagina)

Between the two signs shown is there a sentence break? yes ___no ___ [Fra i 2 segni, c’è una cesura? (si/no)]

How confident are you in your answer? 10 9 8 7 6 5 4 3 2 1 0[Quanto sicuro è della Sua risposta?]

very not at all [molto] [niente affato]

BIG STILL CAN ALWAYS

i risultati sono stati analizzati secondo queste categorie

2 pezzi dei frasi diversi

1 frase

si corretto + spaglio +

no spaglio - corretto -

La accuratezza

La prova statistica d’ dimostra che non c’era un effetto del gruppo sulla accuratezza. I segnanti sono stati più accurati nella categoria di

“corretti +”: 86% segnanti; 76% nonsegnanti

I nonsegnanti sono stati più accurati nella categoria di

“corretti -”: 76.5% segnanti; 85% nonsegnanti I segnanti mostrano meno variabilità.

Analisi degli stimoli costituiti da pezzi delle 2 frasi (Logical Regression)

Effetto DF p-value

Pause 1 0.0111

Bat.occhi 1 0.1266

Prol.(segno) 1 0.3256

mani cadute 1 0.4322

Prol.(segmento) 1 0.6556

Effetto DF p-value

Pause 1 <.0001

Bat.occhi 1 0.0444

mani cadute 1 0.0674

Prol.(segmento) 1 0.1248

Prol.(segno) 1 0.1471

Segnanti Non-segnanti

Analisi degli stimoli costituiti da 1 frase intera (Logical Regression)

Effetto DF p-value

Prol.(seg) 1 <.0001

Bat.occhi 1 0.0938

mani cadute 1 0.1031

Pause 1 0.1327

Prol.(segno) 1 0.5203

Effetto DF p-value

Prol.(seg) 1 < 0.0001

mani cadute 1 0.0052

Bat.occhi 1 0.1033

Prol.(segno) 1 0.1719

Pause 1 0.7413

Non-segnantiSegnanti

Conclusioni Segnanti e nonsegnanti possono entrambi identificare

quando c’è uno spazio fra 2 frasi. Quindi la prima ipotesi è stata confermata.

I segnanti mostrano meno variazione I segnanti focalizzano su un tratto solo, mentre

nonsegnanti focalizzano su due tratti (almeno). I segnanti e i nonsegnanti sono sensibili a tratti simili:

La pausa è il tratto più importante quando c’è una cesura nell stimolo.

Il prolungamento segmentale è il tratto più importante negli stimoli costituiti da una frase intera (senza una cesura).

Quindi anche la seconda ipotesi è stata confermata.

Alcune domande sulla prosodia (sono solo esempi)

Quando un gesto e l'accento sono simultanei, quante volte il gesto è soltanto una battuta, e quante volte c'è un altra dimensione di significato.

Quando c'è un altra dimensione di significato, quale è la dimensione?

Qual'è il rapporto fra i gesti emblematici e la prominenza? Gesti emblematici hanno uno significato di per sé; e.g., ‘non me ne frega nulla di q.c’, ‘cosa/perché’, ‘perfetto’). Di solito succedono senza parole, ma qual’è il rapporto fra il gesto e le parole prima o dopo il gesto?

la distribuzione delle dimensioni dei

gesti (McNeill 1992)

tipo di frase iconica battuta metaforica deittica nessuno totale narrativa 41% 25% 2% 5% 27% 543 extra-narrativa 14% 54% 13 1% 18% 247 totale 261 263 43 28 190 790

Vi invito a scegliere 1 minuto dei 2 video diversi, fare una paragone di qualche tipo, e preparare una piccola

presentazione per la prossima volta.

IT narrativo <-> ING narrativo IT extra-narrativo <-> ING extra-narrativo IT narrativo <-> IT extra-narrativo ING narrativo <-> ING extra-narrativo

--presentazione di10 minuti