Progetto MADCOW

Progetto MADCOW: Annotando…

MADCOW’s Scientific Staff

Seminario Divulgativo di Base Relativo al Progetto MADCOW

Roma, Italia, 25 Maggio 2010Università degli Studi di Roma “La Sapienza”Dipartimento di Informatica

Titolo del Seminario

Prof. P. Bottoni

Attività Formativa Complementare al Corso diSistemi per L’Interazione Locale e Remota

DocentiProf. P. Bottoni & Prof.ssa A. Labella

Dr. D. Avola

Prof. E. Panizzi

Prof. S. Levialdi

Ordine Alfabatico

11

MADCOW: Multimedia Annotation of Digital Content Over the Web.

Argomenti:

A: Nuove Frontiere del WEB:

B: I Sistemi di Annotazione Digitale:

C: Il Sistema di Annotazione MADCOW:

D: Ambiti di Applicazione:

Introduzione: Generalità sull’Evoluzione del WEB.

Introduzione: Generalità sui Sistemi di Annotazione.

Introduzione: Generalità.

Approfondimento: Funzionalità & Fattori Critici.

Approfondimenti: Architettura & Sviluppi Futuri.

Introduzione: Ambienti Supportabili.

22

Ottica Semplificata del WEB:

Introduzione:

Evoluzione del WEB (WEB 1.0 e oltre):

insieme di risorse digitali (testi, stream audio/video, immagini, etc.); insieme di risorse digitali (testi, stream audio/video, immagini, etc.);

organizzate all’interno ambienti web-oriented (siti, portali, servizi, etc.) ; organizzate all’interno ambienti web-oriented (siti, portali, servizi, etc.) ; fruibili attraverso una tecnologia di interonnessione (internet e

reletivi protocolli) per mezzo di un’applicazione di interpretazione (browser).

fruibili attraverso una tecnologia di interonnessione (internet e reletivi protocolli) per mezzo di un’applicazione di interpretazione (browser).

WEB 1.0:…dove i contenuti delle pagine WEB (i.e. risorse digitali) sono usualmente fruiti/gestiti in modo non interativo… ;

WEB 1.0:…dove i contenuti delle pagine WEB (i.e. risorse digitali) sono usualmente fruiti/gestiti in modo non interativo… ;

WEB 2.0:…dove i contenuti delle pagine WEB sono usualmente fruiti/gestiti in modo interativo… ;

WEB 2.0:…dove i contenuti delle pagine WEB sono usualmente fruiti/gestiti in modo interativo… ;

WEB 3.0:…dove la fruizione/gestione dei contenuti delle pagine WEB è supportata attraverso l’uso di tecnologie semantiche (i.e. semantic web)…;

WEB 3.0:…dove la fruizione/gestione dei contenuti delle pagine WEB è supportata attraverso l’uso di tecnologie semantiche (i.e. semantic web)…;

WEB 4.0:…dove la fruizione/gestione dei contenuti delle pagine WEB è supportata attraverso l’uso di tecnologie intelligenti (i.e. web learning, intelligent network, etc)….

WEB 4.0:…dove la fruizione/gestione dei contenuti delle pagine WEB è supportata attraverso l’uso di tecnologie intelligenti (i.e. web learning, intelligent network, etc)….

33

Alcune Note sull’Evoluzione del WEB:

Introduzione:

Le Conseguenze:

Tecnologie algoritmiche trasversali che supportano in modo indisitno le diverse evoluzioni del Web (e.g. trust models, authority models, etc.);

Tecnologie algoritmiche trasversali che supportano in modo indisitno le diverse evoluzioni del Web (e.g. trust models, authority models, etc.); Concetto di pervasività (anytime, anywhere) dovuto in particolar modo alla diffusione dei moderni dispositivi desktop (e.g. tablets, laptops) e mobile (e.g. smartphones, PDAs, palmtops).

Concetto di pervasività (anytime, anywhere) dovuto in particolar modo alla diffusione dei moderni dispositivi desktop (e.g. tablets, laptops) e mobile (e.g. smartphones, PDAs, palmtops).

Elevata e crescente disponibilità di ambienti web-oriented aventi contenuti sempre più ricchi, distinti e complessi (i.e. testi, video, immagini, elementi minori);

Elevata e crescente disponibilità di ambienti web-oriented aventi contenuti sempre più ricchi, distinti e complessi (i.e. testi, video, immagini, elementi minori);

Crescente eterogeneità degli ambienti web-oriented (e.g. news sites, learning sites/portals, e-commerce portals, digital library portals, thematic sites/portals, specialist sites/portals, private sites, entertainment sites/portals, heterogeneous services, informative sites/portals).

Crescente eterogeneità degli ambienti web-oriented (e.g. news sites, learning sites/portals, e-commerce portals, digital library portals, thematic sites/portals, specialist sites/portals, private sites, entertainment sites/portals, heterogeneous services, informative sites/portals).

Concludendo:

Entropia nella gestione della classificazione sia dei differenti ambienti web-oriented sia dei relativi contentui.

Entropia nella gestione della classificazione sia dei differenti ambienti web-oriented sia dei relativi contentui.

44

Una Prima Introduzione ai Sistemi di Annotazione:

Introduzione:

Definizione dell’Ambito di Applicazione:

Esigenza: avere a disposizione uno strumento capace di classificare, catalogare, condividere e supportare sia gli ambienti web-oriented sia i loro contenuti.

Esigenza: avere a disposizione uno strumento capace di classificare, catalogare, condividere e supportare sia gli ambienti web-oriented sia i loro contenuti.

Ambiente Web-Oriented: indipendentemente dal tipo specifico (i.e. sito, portale, servizio) un ambiente web-oriented può essere sempre visto come un insieme (semplice o complesso) di pagine web.

Ambiente Web-Oriented: indipendentemente dal tipo specifico (i.e. sito, portale, servizio) un ambiente web-oriented può essere sempre visto come un insieme (semplice o complesso) di pagine web.

Elementi che Definiscono il Contenuto delle Pagine Web:

Elementi caratterizzanti: Testo…; Streaming Audio e/o Video…; Elementi Grafici…; Elementi Minori…;

Elementi caratterizzanti: Testo…; Streaming Audio e/o Video…; Elementi Grafici…; Elementi Minori…;

Sistemi di Annotazione: assolvono a tali esigenze e sono inoltre capaci di fornire ulteriori e molteplici funzionalità di tipo avanzato.

Sistemi di Annotazione: assolvono a tali esigenze e sono inoltre capaci di fornire ulteriori e molteplici funzionalità di tipo avanzato.

55

Definizione del Dominio Tecnico:

Introduzione:

Basate su: HTML Like. Basate su: HTML Like.

Non Basate su: HTML Like. Non Basate su: HTML Like.

(e.g. HTML 4.01 & 5 ; XHTML 1 & 2)

(e.g. HTML 4.01 & 5 ; XHTML 1 & 2)

(e.g. Flash; SilverLight)(e.g. Flash; SilverLight)

Conclusione:

Basate su: HTML Like. È importante evidenziare sin da ora che:

un sistema client-server; agisce direttamente sul codice HTML; logiche legate al dominio tecnico scelto.

Basate su: HTML Like. È importante evidenziare sin da ora che:

un sistema client-server; agisce direttamente sul codice HTML; logiche legate al dominio tecnico scelto.

66

Generalità - Annotazioni su Documenti Cartacei:

Introduzione:

Un Esempio Comune:

Un’annotazione tradizionale è una meta-informazione, associata ad un documento cartaceo, la quale “arricchisce” il contenuto informativo del documento stesso.

Un’annotazione tradizionale è una meta-informazione, associata ad un documento cartaceo, la quale “arricchisce” il contenuto informativo del documento stesso.

La lettura approfondita di un testo (ad esempio per motivi di studio) comporta la sua comprensione e talvolta, la sua “rielaborazione”:

La lettura approfondita di un testo (ad esempio per motivi di studio) comporta la sua comprensione e talvolta, la sua “rielaborazione”:

Un Elemento dominante:

La condivisione: le annotazioni sono finalizzate (a seconda delle esigenze) ad essere a carattere “privato” (solo per se stessi) o “pubblico” (atte ad essere condivide per differenti scopi).

La condivisione: le annotazioni sono finalizzate (a seconda delle esigenze) ad essere a carattere “privato” (solo per se stessi) o “pubblico” (atte ad essere condivide per differenti scopi).

• evidenziare parti di interesse…

• aggiungere note testuali o schemi per chiarificare parti di interesse…

• aggiungere “link” ad altri documenti di approfondimento…

• aggiungere interrogativi su parti mal comprese…

77

Generalità - Annotazioni su Documenti Cartacei:

Introduzione:

Scopi Basilari dell’Annotazione:

Uno sguardo più approfondito: sostanzialmente un’ annotazione è composta da tre elementi fondamentali:

Uno sguardo più approfondito: sostanzialmente un’ annotazione è composta da tre elementi fondamentali: • contenuto dell’annotazione (solitamente testuale, che però può essere arricchito

con schemi, disegni e simili)… • contenuto dell’annotazione (solitamente testuale, che però può essere arricchito

con schemi, disegni e simili)… • elementi chiave per classificare l’elemento oggetto di annotazione (solitamente

testuale, e.g. parole chiave (tag))…• elementi chiave per classificare l’elemento oggetto di annotazione (solitamente

testuale, e.g. parole chiave (tag))…• link/riferimenti a terze risorse (documenti di qualsiasi tipo e natura)…• link/riferimenti a terze risorse (documenti di qualsiasi tipo e natura)…

Il fine: è quello di arricchire un documento ed allo steso tempo di catalogarlo e renderlo reperibile (l’intero documento o parte di esso) per una successiva consultazione.

Il fine: è quello di arricchire un documento ed allo steso tempo di catalogarlo e renderlo reperibile (l’intero documento o parte di esso) per una successiva consultazione.

ricordare

ricordare

chiarirechiarire pensarepensare condividere

condividere

88

Generalità – Annotazioni Digitali:

Introduzione:

Idea Base: poter effettuare ogni tipo di “azione” vista sino ad ora all’interno delle pagine Web (HTML like).

Idea Base: poter effettuare ogni tipo di “azione” vista sino ad ora all’interno delle pagine Web (HTML like).• ossia: poter annotare ogni tipo di risorsa digitale: testo (di ogni tipo e formato),

stream audio e/o video (di ogni tipo e formato), elementi grafici (di ogni tipo e formato), terze parti (e.g. links, icone, etc.).

• ossia: poter annotare ogni tipo di risorsa digitale: testo (di ogni tipo e formato), stream audio e/o video (di ogni tipo e formato), elementi grafici (di ogni tipo e formato), terze parti (e.g. links, icone, etc.).

Classificazione dei Sistemi di Annotazione Digitali: tali sistemi possono essere classificati come non-integrati ed integrati.

Classificazione dei Sistemi di Annotazione Digitali: tali sistemi possono essere classificati come non-integrati ed integrati.

• I sistemi non integrati: Tali sistemi sono quelli che prevedono un’interazione esplicita e non trasparente dell’utente con il relativo servizio di annotazione.

• I sistemi non integrati: Tali sistemi sono quelli che prevedono un’interazione esplicita e non trasparente dell’utente con il relativo servizio di annotazione.

• I sistemi integrati: Tali sistemi sono quelli che prevedono che il browser sia arricchito con degli “strumenti” adatti (e.g. plug-in, estensioni) in modo da permettere all’utente una diretta esperineza di annotazione (attraverso l’uso di apposite interfacce).

• I sistemi integrati: Tali sistemi sono quelli che prevedono che il browser sia arricchito con degli “strumenti” adatti (e.g. plug-in, estensioni) in modo da permettere all’utente una diretta esperineza di annotazione (attraverso l’uso di apposite interfacce).

Osservazione: Osservazione:• I sistemi integrati (come MADCOW) sono quelli che permettono di realizzare le

annotazioni in modo più naturale, semplice ed intuitivo.• I sistemi integrati (come MADCOW) sono quelli che permettono di realizzare le

annotazioni in modo più naturale, semplice ed intuitivo.

99

Introduzione - Sistemi Specializzati sull’annotare il Testo:

ComMentor [Röscheisen et al., 1994] CoNote [Davis & Hutternlocher, 1995] Web Highlighter [Philippot, 2002] UCAT [Bonifazi & Trinchese, 2002]

1010

Introduzione - Sistemi Specializzati sull’Annotare le Immagini: I2CNet (Image Indexing by Content Network) [Zabulis et

al., 1997] AnnoteImage [Lober & Brinkley, 1999 ] Oxalis [Ertman, 2003]

Introduzione – Sistemi Specializzati sull’Annotare i Video:

1111

MRAS [Bargeron et al., 1999] ANVIL [Kipp, 2001] VideoAnnEx [Ching-Yung Lin et al., 2003]

Generalità – Annotazioni Digitali:

Introduzione:

Abbiamo dato un sguardo a quelli che sono i sistemi “storici” per ciò che concerne le annotazioni digitali.

Abbiamo dato un sguardo a quelli che sono i sistemi “storici” per ciò che concerne le annotazioni digitali.

Oggi esistono nuovi ed evoluti “competitor” con i quali è necessario confrontarsi dal punto di vista delle features tecniche implementate:

Oggi esistono nuovi ed evoluti “competitor” con i quali è necessario confrontarsi dal punto di vista delle features tecniche implementate:

1212

Generalità – Cosa è il Sistema MADCOW:

Introduzione:

è un sistema finalizzato alla creazione

e alla consultazione di annotazioni digitali all’interno di pagine WEB basate su tecnologia HTML

like.

è un sistema finalizzato alla creazione

e alla consultazione di annotazioni digitali all’interno di pagine WEB basate su tecnologia HTML

like.

MMAADDCCOOWW

ultimediannotation of

ontentver the

igital

eb

1313

Generalità – Cosa è il Sistema MADCOW:

Introduzione:

MADCOW è un sistema client-server distribuito che permette agli utenti di effettuare annotazioni digitali su pagine Web basate su tecnologia HTML-like.

Gli Approcci e gli Algoritmi che sono stati utilizzati per la realizzazione di MADCOW sono basati sulle specifiche della W3C. Questo permetterà una migliore integrazione del sistema MADCOW con gli standard futuri che dominarenno il Word Wide Web (i.e. derivati XML).

MADCOW è basato su tecnologie implementative di sviluppo orientate al Web 2.0 (i.e. JQuery) le quali sono ottimizzate per fornire una esperienza di interazione semplice ed intuitiva.1414

Approfondimento – Funzionalità:

Introduzione:

HTML Web Page MADCOW Main Functionalities

Links/Icons/etc

Text

Images

Video/Au

dio

1515

Funzional i tà

Text Annotation

1616

Funzional i tà

Image Annotation

1717

Funzional i tà

Video Annotation

1818

Funzionalità - La Semplice Integrazione del Sistema MADCOW:

Approfondimento:

1919

Fattori Critici:

Approfondimento:

I sistemi di annotazione sono tra gli strumenti (intesi come web services) più complessi che si possano realizzare a causa dei seguenti aspetti:

I sistemi di annotazione sono tra gli strumenti (intesi come web services) più complessi che si possano realizzare a causa dei seguenti aspetti: Forte dipendenza dalla struttura HTML del designer del sito, del

portale o del servizio; Forte dipendenza dalla struttura HTML del designer del sito, del

portale o del servizio;

Forte dipendenza dai cambiamenti tecnologici che investono il World Wide Web (i.e. tag html, browser, protocolli di accesso, API, etc.);

Forte dipendenza dai cambiamenti tecnologici che investono il World Wide Web (i.e. tag html, browser, protocolli di accesso, API, etc.);

Forte dipendenza dal sistema operativo e dal browser con il quale l’utente sta visualizzando la pagina che ha intenzione di annotare.

Forte dipendenza dal sistema operativo e dal browser con il quale l’utente sta visualizzando la pagina che ha intenzione di annotare.

Cosa Comportano tali “Classi” di Criticità:

Manutenzione Elevata di tutti quei processi critici che sono mirati al supporto della parte logico-implementativa del sistema di annotazione;

Manutenzione Elevata di tutti quei processi critici che sono mirati al supporto della parte logico-implementativa del sistema di annotazione;

Manutenzione Elevata di tutte le interfacce di comunicazione (e.g. protocolli di interscambio) nonché delle interfacce di collegamento (e.g. verso API) che regolano la vita in esercizio dell’applicazione.

Manutenzione Elevata di tutte le interfacce di comunicazione (e.g. protocolli di interscambio) nonché delle interfacce di collegamento (e.g. verso API) che regolano la vita in esercizio dell’applicazione.2020

Architettura: DOM & HTML DOM (concetti preliminari)

Approfondimenti:

Il W3c DOM (Document Object Model) può essere considerato come un insieme di interfacce (API), indipendenti sia dalla piattaforma sia dal linguaggio, che permettono in modo dinamico di accedere e manipolare il contenuto, la struttura e lo stile di un documento (strutturato).

Il W3c DOM (Document Object Model) può essere considerato come un insieme di interfacce (API), indipendenti sia dalla piattaforma sia dal linguaggio, che permettono in modo dinamico di accedere e manipolare il contenuto, la struttura e lo stile di un documento (strutturato).• I Differenti Livelli: • I Differenti Livelli: • Core DOM – Standard model per ogni documento strutturato; • Core DOM – Standard model per ogni documento strutturato; • XML DOM – Standard model per i documenti XML; • XML DOM – Standard model per i documenti XML;

• HTML DOM – Standard model per i documenti HTML. • HTML DOM – Standard model per i documenti HTML.

Definizione Intuitiva: Il W3c HTLM DOM è: sia un modo per descrivere la struttura di un documento HTML (tipicamente: nodi e archi) sia un insieme di metodologie per manipolare (aggiungere, modificare o cancellare) gli elementi (detti nodi e archi) di tale struttura.

Definizione Intuitiva: Il W3c HTLM DOM è: sia un modo per descrivere la struttura di un documento HTML (tipicamente: nodi e archi) sia un insieme di metodologie per manipolare (aggiungere, modificare o cancellare) gli elementi (detti nodi e archi) di tale struttura.• Evidenziamo: • Evidenziamo:

• MADCOW (sistemi di annotazione in genere) lavorano su una attenta e sofisticata manipolazione del HTML DOM.

• MADCOW (sistemi di annotazione in genere) lavorano su una attenta e sofisticata manipolazione del HTML DOM. 2121

Architettura: HTML DOM

Approfondimenti:

Osservazioni: Osservazioni:

<html> <head>    <title>DOM Tutorial</title>   </head>   <body>    <h1>DOM Lesson one</h1>     <p>Hello world!</p>   </body></html>

Semplice Pagina Web

DOM

DOM

• valgono tutte le proprietà note degli alberi n-ari;

• valgono tutte le proprietà note degli alberi n-ari;

htmlhtml

bodybodyheadhead

titletitle

“DOM Tutorial”“DOM Tutorial”

h1h1 pp

“DOMLesson one”

“DOMLesson one”

“DOM Tutorial”“DOM

Tutorial”

• Ogni elemento della pagina HTML è un nodo:

• Ogni elemento della pagina HTML è un nodo:• l’intero documento è un nodo;• l’intero documento è un nodo;• Ogni TAG è un nodo (con attributi e

proprietà);• Ogni TAG è un nodo (con attributi e

proprietà);• Ogni Blocco di Testo è un nodo.• Ogni Blocco di Testo è un nodo.2222

Architettura - Una Architettura Semplificata:

Approfondimenti:

2323

Server Side(Business Logic)

Client Side(Presentation

Logic)

MADCOW Platform: o Server Side: LAMP (Linux; Apache; MySQL; PHP) – Framework Zend

2.0;o Client Side: Javascript.

Architettura – Architettura basata sul paradigma MVC:

Approfondimenti:

2424

o il ruolo del model (BL)…

o il ruolo del view (PL)…

o il ruolo del controller (BL)...

Sviluppi Futuri:

2525

In Lavorazione: advanced groups management; duplicate documents identification; multi-structured annotations; etc...

Prossime Features: semantic annotations; semantic search; annotations based on ontology data structure; etc...

Pianificate: Advanced Multimodal Interfaces: sketch-based interfaces; speech-based interfaces; vocal annotations; etc...

Generalità – Alcuni Ambiti di Applicazione dei Sistemi di Annotazione:

Introduzione:

2626

Ambito privato di conoscenza… Ambito privato di conoscenza…

Ambito condiviso di conoscenza… Ambito condiviso di conoscenza…

Librerie Digitali… Librerie Digitali…

Ambienti di Learning… Ambienti di Learning…

Ambienti Specialistici (e.g. medico)… Ambienti Specialistici (e.g. medico)…

Ambienti di scambio informativo… Ambienti di scambio informativo…

Ambienti di condivisione del lavoro (e.g. redazioni)… Ambienti di condivisione del lavoro (e.g. redazioni)…

Ambienti di progettazione condivisa… Ambienti di progettazione condivisa…

Ambienti di supervisione assistita… Ambienti di supervisione assistita…

etc… etc…