1

ONTOLOGY BUILDING Draft Version 1.2 - October 2013

Sommario 1. Concezione del DB multilingue per immagini .............................................................................. 1

2. Dall’annotazione alla produzione del DB 1.0 ............................................................................... 1

2.1 Revisione dell’annotazione ................................................................................................... 1

2.1.1 Punti di revisione dell’annotazione ............................................................................... 2

2.2 Mapping................................................................................................................................. 3

2.2.1 Mapping intralinguistico ................................................................................................ 3

2.2.2 Mapping interlinguistico ................................................................................................ 5

2.2.3 Relazioni che strutturano il DB IMAGACT ..................................................................... 6

2.3 Creazione dell’Ontologia ....................................................................................................... 7

2.3.1 Creazione e editing degli elementi [scena] .................................................................... 7

2.3.2 Implementazione delle relazioni nel DB ........................................................................ 8

2.3.3 Scene “vuote”: Tipologia e trattamento ...................................................................... 12

3. Navigazione del DB (beta version) ............................................................................................. 13

1. Concezione del DB multilingue per immagini Il DB IMAGACT è disegnato per contenere un insieme di scene che rappresentano un’istanza prototipica di una classe di eventi, e che vengono collegate ai lessici verbali azionali di varie lingue. In estrema sintesi l’annotazione (WP2) produce:

a) due elenchi di verbi separati: uno per l’italiano, e uno per l’inglese; b) per ogni verbo, una serie di tipi; c) per ogni tipo, uno o più Best Example e uno script; d) per ogni best example, l’insieme delle istanze del verbo nel corpus in frasi standardizzate

che ne costituiscono la variazione e i rispettivi verbi localmente equivalenti. Il requisito generale che governa la creazione del DB è che la galleria di scene contenga una sola scena per i tipi equivalenti derivati dall’annotazione dei verbi azionali dell’italiano e dell’inglese.

2. Dall’annotazione alla produzione del DB 1.0

2.1 Revisione dell’annotazione Il primo passaggio verso la produzione di un’ontologia multilingue per immagini consiste nella mappatura sullo stesso set di scene dei tipi prodotti a partire dalle due annotazioni indipendenti condotte sui corpora italiano e inglese. L’operazione di mappatura richiede una preliminare revisione dell’annotazione condotta nella prima fase del progetto al fine di:

2

Ottenere una rappresentazione coerente dei tipi azionali di più verbi localmente

equivalenti all’interno di una singola lingua (coerenza intralinguistica); Collegare i tipi azionali di verbi appartenenti a lingue diverse in un quadro coerente

(coerenza interlinguistica).

Al livello dell’annotazione, i tipi sono stati infatti prodotti a partire da un solo verbo in una lingua specifica, come clustering di occorrenze che proiettano la stessa immagine virtuale. Una volta verificata la coerenza del clustering, nella fase di produzione delle scene, il punto d) viene “neutralizzato”, ovvero sia i verbi localmente equivalenti che le occorrenze riferiti al Best Example sono considerati caratteri del Tipo.

2.1.1 Punti di revisione dell’annotazione I principali punti intorno a cui si articola la revisione dell’annotazione sono i seguenti:

I casi di “uso riportato al corpo” e di “movimento autogenerato” devono essere separati in tipi indipendenti: (1a) Fabio appoggia la sedia al muro (1b) Fabio si appoggia con la schiena al muro [Uso riportato al corpo] (2a) La palla rotola (2b) Fabio si rotola nell’erba [Movimento autogenerato] Infatti, nonostante dal punto di vista cognitivo le due azioni siano parzialmente assimilabili: - l’immagine proiettata è diversa; - Il soggetto solitamente è sia tema che agente; - Non è inferibile da un causativo; E’ importante sottolineare che il corpo o una sua parte deve “muoversi”: se il corpo è solo “end point” dell’azione o del movimento, l’occorrenza non è considerabile “uso riferito al corpo”. Non di rado ciò avviene quando l’azione coinvolge l’utilizzo di uno strumento. (3a) Fabio arrotola la benda sul braccio (3b) Fabio avvolge il braccio con una benda

non è un tipo diverso rispetto a (3c) Fabio arrotola la corda intorno al palo

“addensamenti d’uso”: (4a) Fabio gira la cartolina [voltare, capovolgere, rivoltare, rigirare] (4b) Fabio gira la pagina del libro [voltare] (4b) e occorrenze simili non sembrerebbero costituire un tipo produttivo: l’annotatore sarebbe portato a pensare che l’azione compiuta sulla pagina sia la stessa di quella compiuta sulla cartolina, con una restrizione imposta dalla presenza della costola. Ogni caso deve essere valutato dal supervisore singolarmente: quando tuttavia, come in questo caso, la frequenza d’uso è supportata da un differenziale semantico (ovvero ci sono delle restrizioni nell’applicabilità di alcuni verbi localmente equivalenti), l’annotatore deve distinguere le occorrenze in due tipi separati.

3

Trattamento dell’alternanza causativa/incoativa:

(5a) John rolls the ball (5b) The ball rolls Come tutte le altre alternanze, deve essere contenuta all’interno di un unico tipo (in due Best Example distinti)1. Anche quando in una lingua L c'è l'incoativo senza il causativo, questo fa tipo, in quanto uso proprio di un verbo. (6a) * Fabio rotola la palla

(6b) La palla rotola

trattamento dello “stativo”: (7a) Matteo si appoggia alla parete (7b) L’arco si appoggia sulle colonne [stativo]

Gli stativi vengono isolati in un tipo separato.

Eventi privi di causazione: Talvolta accade che la frase intransitiva non sia legata da un rapporto di causazione alla corrispondente frase transitiva: (8a) La barca si capovolge (8b) Il marinaio capovolge la barca (9a) La melanzana si attacca alla piastra (9b) ? Il cuoco attacca la melanzana alla piastra Il rapporto di causazione può essere possibile, ma non necessario (come per 8a-8b) oppure inaccettabile (come in 9a-9b). In entrambi i casi gli “eventi privi di causazione” devono essere separati in un tipo a parte.

2.2 Mapping Conclusa la fase di revisione, il mapping tra verbi d’azione della stessa lingua e la creazione di relazioni cross-linguistiche è operato dal supervisore mediante negoziazioni dirette con gli annotatori che hanno prodotto la variazione dei tipi corpus-based. La procedura prevede la verifica dell’unicità dei tipi prodotti nell’annotazione di verbi diversi; la richiesta di verifica è formulata dal supervisore agli annotatori in questi termini:

"il tipo x e il tipo y sembrano riferirsi alla stessa tipologia di eventi: in effetti i due tipi sono lo stesso? Y può essere usato come esempio tipico di x?”

2.2.1 Mapping intralinguistico Il supervisore (linguista madrelingua italiano o inglese):

1 In realtà l’incoativo è “riportato” al causativo. L’interpretazione incoativa dell’alternanza infatti non predica

propriamente di una azione, ma del risultato di una azione.

4

- seleziona un verbo generale [VG] delle propria lingua (es. girare); - per ognuno dei tipi del [VG], delinea le relazioni intralinguistiche con i verbi d’azione che gli

sono semanticamente prossimi, utilizzando i verbi localmente equivalenti [VE] connessi (es. capovolgere, ruotare, svoltare, curvare…)2.

Fig. 1: Mapping intralinguistico L1

Scenari possibili:

SCENARIO AZIONE del SUPERVISORE

La variazione primaria del verbo equivalente [VE] contiene un tipo azionale uguale o simile a quello del [VG] con cui connesso.

il supervisore ipotizza la mappatura

La variazione primaria del [VE] non contiene un tipo azionale uguale o simile al tipo del [VG].

Cause: Difetto del corpus (il predicato è applicabile all’evento, ma non è attestato)

Il supervisore crea il tipo e ipotizza la mappatura

Inapplicabilità del predicato a quel tipo di evento, che può essere dovuta a:

- errore di annotazione; - il verbo localmente equivalente

scelto dall’annotatore si applica all’evento non in modo proprio, ma in modo “estensivo”.

Il supervisore esclude la mappatura

La variazione primaria del [VE] contiene due o più tipi azionali simili al tipo del [VG], ovvero in teoria riportabili allo stesso prototipo.

Cause: Diversa granularità tra le due annotazioni il supervisore sceglie una delle due e adegua l’altra

[VG] è più generale del [VE] il supervisore ipotizza la mappatura

- Quando ha concluso la mappatura del verbo generale appartenente alla sua lingua madre,

il supervisore seleziona il verbo generale dell’altra lingua che meglio traduce il *VG+ (es. to turn) e ripete gli stessi passaggi.

2 Un [VE] può essere a sua volta un verbo generale.

5

Fig. 2: Mapping intralinguistico L2

2.2.2 Mapping interlinguistico Quando il supervisore ha esplicitato le relazioni di equivalenza locale che i [VG] delle due lingue intrattengono con i lemmi che gli sono semanticamente affini, passa al confronto interlinguistico tra italiano e inglese.

Fig. 3: Mapping interlinguistico

Per fare ciò, data la lista di tipi di un verbo nella L1, verifica se il verbo generale corrispondente copre o meno la stessa serie di tipi. Operativamente, per ogni tipo del [VG] della L1 viene cercato un equivalente nel [VG] della L2. Scenari possibili:

SCENARIO AZIONE del SUPERVISORE

E’ presente nella variazione della L2 un tipo equivalente al tipo della L1 [relazione 1:1]

il supervisore ipotizza la mappatura

E’ assente nella variazione della L2 un tipo equivalente o simile al tipo della L1 [relazione 1:0]

Cause: Difetto del corpus (pur essendo il predicato applicabile all’evento, non ci sono occorrenze che lo attestino nel corpus)

il supervisore crea il tipo mancante se la relazione interlinguistica è priva di dubbio: il perfetto allineamento dei due corpora è delegato alla fase di CBE (competence based extension & validation, WP4)

Inapplicabilità del predicato a quel tipo di evento

Il supervisore si limita a costatare il differenziale cross-linguistico

La variazione primaria del [VG] della L2 contiene due o più tipi azionali simili al tipo del [VG] della L1 (ovvero più di un

6

tipo riportabile allo stesso prototipo) [relazione n:1 oppure 1:n]

Causa: Diversa granularità tra le due annotazioni il supervisore sceglie una delle due annotazioni e adegua l’altra, facendo uno split di tipo se l’annotazione granulare è più corretta, oppure un merge tra tipi nel caso contrario

Talvolta l’allineamento dei tipi del *VG+ di L1 e L2 risulta difficoltoso: le due variazioni tipologiche proposte dagli annotatori riflettono una categorizzazione degli eventi difficilmente confrontabile e conciliabile.

CAUSA AZIONE del SUPERVISORE

Assenza di una effettiva relazione di traduzione tra i due [VG] scelti dal supervisore

il supervisore sceglie un altro [VG] per la L2

Errore di annotazione non ancora corretto il supervisore revisiona nuovamente l’annotazione e ripete la fase di mapping intralinguistico per la L2 (descritto al paragrafo 2.2.1)

Concluso il processo di comparazione tra verbi generali la procedura viene ripetuta per ognuno dei [VE] connessi al [VG], e le relazioni vengono ampliate ricorsivamente.

2.2.3 Relazioni che strutturano il DB IMAGACT In IMAGACT la costruzione d’ontologia è realizzata mediante due tipi di relazioni tra tipo e scena:

PRO, prototipo: la scena è un prototipo per il tipo; INST, istanza: la scena rappresenta una possibile realizzazione (non prototipica) della classe

di eventi rappresentati in un tipo.

Un tipo di azione può infatti costituire un prototipo per un verbo (es. attaccare/mettere il quadro al muro in relazione alla variazione primaria del lemma “attaccare”) mentre può corrispondere ad una istanza del prototipo di un altro verbo (l’evento di “attaccare/mettere il quadro al muro” è una istanza del prototipo “mettere il bicchiere sul tavolo”). Il fenomeno, che non ha natura logica, è connesso alla maggiore o minore marcatezza pragmatica dell’evento e al fatto linguistico che specifici verbi categorizzano istanze marcate pragmaticamente. La relazione di istanza genera nel DB relazioni implicite di sussunzione tra tipi (IS_A). Dal punto di vista linguistico il verbo sussunto può:

a) Essere un troponimo, ovvero un iponimo che esplicita la modalità con cui l’azione viene compiuta dall’agente (es. “to turn” vs. “to flip”; “to clean” vs. “to dust”);

b) Essere un verbo denominale, ovvero un iponimo che esplicita uno specifico materiale o oggetto di cui l’agente si serve per realizzare l’azione (es. “fasciare” vs. “arrotolare-avvolgere”).

c) Specificare una restrizione spaziale (es. “affiggere” vs. “attaccare”).

7

2.3 Creazione dell’Ontologia Le procedure di mapping descritte in 2.2.1 e 2.2.2 sono svolte dal supervisore “fuori” dall’infrastruttura: solo quando le relazioni intra-linguistiche e inter-linguistiche sono state completamente definite e approvate nella negoziazione con gli annotatori, il supervisore si serve dell’infrastruttura per dar luogo all’ontologia.

2.3.1 Creazione e editing degli elementi [scena] Il supervisore esegue l’accesso nell’interfaccia, loggandosi con privilegi di “Admin”. Nella tabella <Processed Verbs> della pagina <Assigned Verbs> seleziona <Scenes> nella lista di opzioni possibili per il [VG] (Fig.4).

Fig. 4: tabella <Processed Verbs>

Compare l’interfaccia di creazione e di editing delle scene “Scene insertion” (Fig. 5).

Fig. 5: pagina “Scene Insertion”

8

Facendo click sul pulsante <Create a new Scene> l’interfaccia genera un elemento [scena] e gli assegna un ID alfanumerico casuale di 6 cifre (Fig.6).

L’editing della *scena+ prevede:

Il caricamento del video prototipale (cfr. “specifiche di realizzazione e annotazione dell’immagine”, D3.1) mediante il pulsante di upload <Sfoglia…>. Qualora il tipo non preveda l’inserimento di una scena (cfr. paragrafo 3) deve essere aggiunta una spunta nel check box <No video>;

Il riempimento del campo <caption> con una frase semplice che descriva l’azione rappresentata nel video;

L’aggiunta dei metadati di alto livello nel campo <class>; Esplicitazione della relazione che lega la [scena] al tipo mediante la scelta di una opzione

nella combo box <Relation with type #>. Le opzioni possibili sono: - None - Prototypic - Instance

Aggiunta (facoltativa) di keywords; Aggiunta mediante il pulsante <Add> di “suggested verbs”, ovvero verbi equivalenti da

collegare alla scena in un secondo momento;

Per rendere effettive l’editing, il supervisore registra le modifiche cliccando sul pulsante <Save>.

Fig. 6: Editing della scena

In ogni momento è possibile aprire un pop-up per la ricerca delle scene (pulsante <Search Scene>, par. 2.3.3) oppure tornare all’annotazione per modificarla (pulsante <Go to Validation>).

2.3.2 Implementazione delle relazioni nel DB Dopo aver creato e editato la scena associata al tipo del [VG], il supervisore deve trasferire nel DB IMAGACT le connessione intralinguistiche e interlinguistiche precedentemente identificate

9

(paragrafi 2.2.1 e 2.2.2); i tipi dei [VE] devono essere mappati sulla scena, valutandone caso per caso l’effettiva equivalenza anche in relazione al video. Le relazioni vengono introdotte nel DB usando il pulsante <Connect to another Verb> (Fig.7).

Fig. 7: mapping dei verbi equivalenti sulla scena

La combo box <Connection Type> permette di specificare la relazione che lega il verbo equivalente alla scena3 mentre il campo <Verb to be linked> consente di recuperare dall’annotazione il lemma da connettere. Il pulsante <Select type> mostra i tipi creati per il verbo: il supervisore può collegare alla scena uno dei tipi della lista premendo <Select> (Fig. 8).

Fig. 8: Creazione delle relazioni

3 Anche in questo caso le opzioni sono “none”, “prototypic” e “instance”.

10

Schematizzando, dato il tipo azionale A del [VG] e il tipo azionale B del [VE], il supervisore può trovarsi di fronte tre diverse situazioni:

A = B, i 2 tipi condividono lo stesso prototipo e quindi la stessa scena (par 2.3.2.1); A ⊃ B, A e B hanno due prototipi diversi. La scena y del tipo B è istanza della scena x

del tipo A (par 2.3.2.2); A ⊂ B, A e B hanno due prototipi diversi. La scena x del tipo A è istanza della scena

y del tipo B (par 2.3.2.3).

2.3.2.1 A = B Se il tipo B di un [VE] è considerabile equivalente al tipo A del [VG], in quanto riportabile al medesimo prototipo, il supervisore li collega entrambi come “PRO” ad una unica scena “α”.

Fig. 9: relazione di equivalenza fra prototipi

Ne sono un esempio il tipo 2 del lemma “arrotolare” ed il tipo 3 del lemma “avvolgere”: (10a) Fabio arrotola il filo sul rocchetto [TIPO A] (10b) Fabio avvolge il filo sul rocchetto [TIPO B] Il supervisore, dopo aver creato e editato la scena prototipo per il tipo A (ID 79263991), connette il tipo B con relazione PRO, seguendo la procedura descritta in par 2.3.2 (Fig.10).

Fig. 10: esempio di equivalenza fra prototipi

11

2.3.2.2 A ⊃ B Se il tipo B del [VE] può essere considerato un sottoinsieme del tipo A del [VG] il supervisore deve, dopo aver creato la scena “α” prototipo per il tipo A, creare un nuova scena “β”, prototipo per il tipo B. Per farlo utilizza l’interfaccia di gestione delle scene “Scene insertion” adottando la procedura descritta in 2.3.1. La scena “β” deve poi essere connessa come “INST” al tipo A (paragrafo 2.3.2.).

Fig. 11: relazione di sussunzione tra il tipo di un [VG] e il tipo di un [VE]

A esempio, il verbo denominale “fasciare” (che ha un unico tipo) è considerabile un sottoinsieme rispetto al prototipo di arrotolare/avvolgere esemplificato al paragrafo 2.3.2.1. (11a) Fabio arrotola/avvolge il filo sul rocchetto (11b) Fabio fascia il braccio [di Fabio] con una benda Il supervisore perciò, dopo aver creato la scena prototipo di arrotolare/avvolgere (ID 79263991), crea una nuova scena prototipo per “fasciare” (ID 7856aeed) e la connette come istanza “INST” ai tipi di “arrotolare” e “avvolgere” (Fig. 12).

Fig. 12: relazione INST

12

2.3.2.3 A ⊂ B Se il tipo A del [VG] può essere considerato un sottoinsieme del tipo B del [VE]4 il supervisore deve, dopo aver creato la scena “α” prototipo per il tipo A, creare un nuova scena “β”, prototipo per il tipo B (cfr. paragrafo 2.3.1). La scena “α” deve poi essere connessa come “INST” al tipo B (cfr. paragrafo 2.3.2.).

Fig. 13: relazione di sussunzione tra il tipo di un [VE] e il tipo di un [VG]

2.3.3 Scene “vuote”: Tipologia e trattamento

Un numero esiguo di tipi non riceve video in IMAGACT; appartengono alle seguenti categorie:

ALTERNANZA CAUSATIVA/INCOATIVA: Se una lingua L consente unicamente l’interpretazione incoativa dell’alternanza causativa/incoativa, un tipo specifico viene creato per tale lettura (cfr. descrizione paragrafo 2.1.1). Per il tipo viene creato un elemento [scena], che però non viene riempito però con un video (par. 2.3.1). Se nell’altra lingua corpus-based del DB l’interpretazione causativa è possibile e attestata, la scena “vuota” viene collegata interlinguisticamente come INST (Fig. 14).

Fig. 14: scena prototipo per “rotolare”, incoativo

STATIVO

Per i tipi “stativi” (cfr. descrizione paragrafo 2.1.1) viene creata un elemento scena che non contiene video (par. 2.3.1).

EVENTI PRIVI DI CAUSAZIONE Per i tipi che si riferiscono a “eventi privi di causazione” (cfr. descrizione paragrafo 2.1.1) viene creata una scena che non contiene video (par. 2.3.1).

4 Il tipo B sussume il tipo A.

13

3. Navigazione del DB (beta version) Il supervisore può visualizzare le scene create utilizzando la pagina “Scene Search” dell’interfaccia (Fig.15). Il DB può essere interrogato utilizzando i seguenti parametri:

- Id - Caption - Class - Keyword - Suggested Verb - Verb

Fig. 15: pagina “Scene Search”

Il parametro di ricerca <verb>, che consente la ricerca per lemma, permette di visualizzare una versione ridotta di tutte le scene collegate al lemma, prototipi e istanze (Fig. 16).

Fig. 16: pagina “Scene Search”

14

E’ possibile accedere alla pagina “Scene insertion” per visualizzare e/o modificare le scene cliccando direttamente sul lemma nella colonna <Verb> della tabella <Connected verbs> presente in ogni elemento [scena]. Nella pagina “Scene insertion” (Fig 17) l’interfaccia visualizza sul lato sinistro la variazione verticale del predicato, e per ciascun tipo le scene connesse (PRO e INST).

Fig. 17: pagina “Scene Insertion”