Tecniche di annotazione per contenuti...

Tecniche di annotazione per contenuti

multimediali

Tecniche di annotazione per contenuti multimediali

Sommario

� Introduzione

� Annotazioni Audio

� Annotazioni di Immagini

� Annotazioni di Video

2

Applicazioni Informatiche



Sommario

� Introduzione




3



Introduzione

Librerie Digitali

� Una libreria digitale è

• Un collezione di oggetti informativi

• Una collezione di servizi che supportano

– gli utenti nella gestione di oggetti informativi

4


– gli utenti nella gestione di oggetti informativi

– le organizzazioni nella presentazione di questi oggetti

direttamente o indirettamente attraverso canali elettronici/digitali

DLib Working Group on Digital Library

Introduzione

Dati delle librerie musicali

� Dati: i file digitali memorizzati• Testo (e-book, documenti Word, pagine Web,

PDF, Blog, etc.)

• Audio

– Parlato (broadcasting, podcasting, registrazioni, etc.)

5


etc.)

– Musica (CD, MP3, etc.)

• Immagini/Photo: collezioni di pixel

• Video: sequenze di immagini + audio (musica e/o parlato)

Introduzione

Attività associate a una libreria digitale

� Memorizzazione e “conservazione” dei dati in formato elettronico• Trasformazioni (digitalizzazione di libri, foto,

etc.)• Cambi di formato

� Reperimento dei contenuti e creazione di interfacce per la ricerca dei dati

6


interfacce per la ricerca dei dati

� Estrazione e/o generazione dei metadati (o annotazioni)

� Gestione copyright, etc.

Introduzione

Cose’è un metadato?

� I metadati sono dati relativi ai dati• Descrivono in modo strutturato

proprietà dei dati

– Esempio: creatore, proprietario, data di creazione, modifica, descrizione

� Alcuni metadati sono presenti in modo

7


� Alcuni metadati sono presenti in modo esplicito nei dati• Esempio: dimensione file, nome, etc.

� Altri sono impliciti e sono estratti tramite algoritmi di analisi dei dati

Introduzione

Utilità dei metadati

� I metadati servono per• Migliorare le ricerche interrogando non

solo i dati ma anche i metadati

– I metadati spesso contengono delle informazioni che sono contenute in forma implicita nei dati

• Facilitare lo scambio di informazioni tra

8


• Facilitare lo scambio di informazioni tra sistemi diversi

– Se si utilizzano gli stessi metadati o metadati “compatibili”

- Esempio: formati XML (MPEG7, Dublin Core, etc.)

Introduzione

Perché annotare contenuti multimediali?

� I computer non sono in grado di comprendere il significato di un contenuto multimediale• Un calcolatore, a differenza di un

essere umano, non può comprendere che questa immagine rappresenta un tramonto

9


rappresenta un tramonto• Pixel e campioni audio non portano

semantica, ma solo informazione binaria

� E’ necessario produrre rappresentazioni trattabili da un calcolatore• Esempio: testo o numeri

Introduzione

Perché annotare automaticamente contenuti multimediali?

� L’annotazione manuale di oggetti multimediali è un processo• Costoso

– Esempio: la segmentazione manuale di un video richiede circa 10 ore di lavoro per 1 ora di video

– Le collezioni multimediali possono anche contenere milioni di oggetti

• Incompleto o inaccurato– un utente può non essere in grado di cogliere tutti i

significati associati ad un oggetto multimediale

10


– un utente può non essere in grado di cogliere tutti i significati associati ad un oggetto multimediale

– “una immagine vale più di mille parole!”• Difficoltoso

– Alcuni contenuti sono difficili da descrivere a parole- Esempio: una melodia senza accompagnamento vocale

e con una struttura irregolare

� Le tecniche di annotazione automatica consentono di creare annotazioni di buona qualità e a “basso” costo

Introduzione

Esempi di utilizzo di annotazioni multimediali

� Archiviazione• Gestione efficiente di grosse collezioni di dati

multimediali• Aggregazione di contenuti in insiemi coerenti

per significato

– Esempio: insieme delle canzoni di genere “Indie”

� Ricerca

11


� Ricerca• Trovare tutti i contenuti aventi la stessa

annotazione

– Esempio: cercare tutte le puntate dei Simpson in cui viene pronunciata la parola “ciambella”

Introduzione

Esempi di utilizzo di annotazioni multimediali

� Comparazione• Identificazione di contenuti MM equivalenti

– Esempio: Protezione del brand e della proprietà intellettuale

• Individuazione di contenuti simili

– Esempio: trovare abiti aventi lo stesso tipo di tessuto e colore

12


tessuto e colore


Sommario

� Introduzione




13



Audio

Segmentazione

� OBIETTIVO: dividere una traccia audio in segmenti omogenei al fine di determinare il loro tipo• Musica• Parlato• Rumore• Musica e parlato

14


• Musica e parlato• …

� Possibili utilizzi• Miglioramento performance di altre

tecnonologie di annotazione (es. parlato, musica)

• Meccanismi di accesso al contenuto di un video• Rimozione o identificazione pubblicità

Audio

Segmentazione - Esempio 15


CREDITS: Thorsten Hermes@SSMT2006

Audio

Identificazione dello speaker

� OBIETTIVO: identificare automaticamente gli individui che prendono parte ad una conversazione

16

ERIC

DAVID

JOHN


� UTILIZZI:• Meccanismi di ricerca e catalogazione

– Esempio: trova tutte le registrazioni in cui viene intervistato X

• Individuazione di un parlatore in video-conferenze

• Esecuzione di comandi vocali

JOHN

Audio

Word spotting

� OBIETTIVO: riconoscere automaticamente dal parlato parole appartenenti a un vocabolario chiuso

17

Call

Open

Bomb


� UTILIZZI:• Riconoscere parole specifiche nel parlato

spontaneo– Esempio: blacklist words (attack, bomb,…)

• Esecuzione di comandi vocali• Controlli di accesso (password vocali),

possibilmente combinato con il riconoscimento del parlatore

Audio

Speech to text

� OBIETTIVO: riconoscere automaticamente dal parlato parole appartenenti ad un dizionario completo

18


� UTILIZZI:• Trascrizione automatica• Meccanismi di ricerca e catalogazione

– Esempio: trova tutti i video in cui qualcuno pronuncia la parola “ciambelle”

Audio

Trascrizione automatica del parlato - Esempio 19



Audio

Identificazione di eventi sonori

� OBIETTIVO: identificare automaticamente nell’audio la presenza di eventi sonori significativi• Esempio: spari, urla

� UTILIZZI:• Meccanismi di ricerca e catalogazione

20


• Meccanismi di ricerca e catalogazione• Creazione di sommari automatici


Audio

Identificazione di eventi sonori 21



Audio

Classificazione di generi musicali

� OBIETTIVO: identificazione automatica del genere musicale di una data canzone• Rock, pop, Jazz, Blues, etc.

22

Rock

Dance!


� UTILIZZO:• Meccanismi di ricerca e catalogazione

– Esempio: trova tutte le canzoni Pop nella collezione musicale

• Selezione automatica di canzoni in una playlist

Audio

Individuazione di strumenti

� OBIETTIVO: identificazione automatica degli strumenti utilizzati per l’esecuzione di una canzone• Batteria, chitarra elettrica, chitarra acustica,

pianoforte, etc.

23


� UTILIZZO:• Meccanismi di ricerca e catalogazione• Input per algoritimi di identificazione del genere

Audio

Caratteristiche ritmiche

� OBIETTIVO: identificazione automatica delle caratteristiche ritmiche di una data canzone• Esempio: BPM

24


� UTILIZZO:• Ricerca e catalogazione• Nike+ per iPod• Composizione automatica di playlist

Audio

Caratteristiche di struttura

� OBIETTIVO: segmentare automaticamente una canzone nelle sue componenti strutturali• Intro• Chorus• Outro• Etc..

25


� UTILIZZO:• Ricerca e catalogazione• Composizione automatica di playlist• Tecniche avanzate di navigazione nel file

musicale


Sommario

� Introduzione




26



Immagini

Estrazione feature di basso livello

� OBIETTIVO: estrarre caratteristiche implicite di una immagine� Luminosità� Colore dominante� Orientamento dell’immagine� Presenza di tessiture

27


� UTILIZZO:� Classificazione e ricerca (anche per

similarità)� Input per successivi algoritmi di analisi

Immagini

Segmentazione testo/immagine di documenti

� OBIETTIVO: identificare la tipologia di contenuto di una immagine� testo/immagine� Sezioni di una immagine

28


� UTILIZZO:� Classificazione e ricerca� Input per successivi algoritmi di analisi

delle immagini

Immagini

Optical character recognition (OCR)

� OBIETTIVO: convertire le parole contenute all’interno di una immagine nel corrispondente testo• Digitializzazione di testi

cartacei• Estrazione di testo da

fotografie– Targhe, sottotitoli, etc.

29


– Targhe, sottotitoli, etc.

� UTILIZZO: • Meccanismi di ricerca e

catalogazione– Esempio: trova tutte le

immagini in cui appare la targa X

• Meccanismi di archiviazione digitale

Immagini

Riconoscimentoedidentificazionedivolti

� OBIETTIVO: riconoscere e identificare I volti presenti all’interno di una immagine

� UTILIZZO:• Conteggio di persone• Applicazioni di sicurezza• Ricerca e catalogazione

30


• Ricerca e catalogazione

CREDITS: Thorsten

Hermes@SSMT2006

Immagini

Riconoscimento ed identificazione di volti 31


Immagini

Riconoscimento ed identificazione di volti 32




Sommario

� Introduzione




33



Immagini

Riconoscimento di persone

� OBIETTIVO: riconoscimento di persone all’interno di una immagine

� UTILIZZO:• Conteggio di persone

34


• Conteggio di persone• Applicazioni di sicurezza

(riconoscimento di situazioni potenzialmente “critiche”)

• Ricerca e catalogazione– Trova tutte le immagini che

contengono folle dipersone

Immagini

Riconoscimento di oggetti

� Obiettivo: identificare e registrare gli oggetti che compaiono in una immagine• Palleda tennis, calcio, basket, etc.• Automobili

� Possibili utilizzi• Archiviazione e ricerca• Sicurezza

35


• Sicurezza• Aiuti visuali per gli spettatori

Immagini

Riconoscimento di oggetti attraverso esempi

� Obiettivo: identificare degli oggetti in una immagine dato un esempio• Riconoscimento indipendente da

posizione dello scatto,distanza etc.

36


� Possibili utilizzi• Archiviazione e ricerca• Identificazione di contenuti MM

equivalenti

– Esempio: Protezione del brand e della proprietà intellettuale

Video

Motion identification

� Obiettivo: identificare movimenti della camera durante la registrazione di una scena• Zoom• Rotazione• Panoramica (orizzontale o

verticale)

37


verticale)

� Possibili utilizzi• Identificazione automatica

di tecniche di regia• Riconoscimento di registi• Input per algoritmi di

segmentazione


Video

Motion identification 38



Immagini

Inseguimento di oggetti

� OBIETTIVO: riconoscimento di un oggetto all’interno di un video• Persone• Palle da tennis, calcio, basket,

etc.• Automobili

� UTILIZZO:• Riconoscimento del movimento

39


• Riconoscimento del movimento delle persone

• Applicazioni di sicurezza (riconoscimento di comportamenti “sospetti”)

• Ricerca e catalogazione– Trova tutte le immagini che contengono

folle di persone

• Aiuti visuali per gli spettatori• On-line gaming• Tactics analysis

Immagini

Riconoscimento del movimentodellepersone

� Obiettivo:riconoscere il tipo di movimento effettuato da una persona• Camminare• Correre• Cadere

� Possibili utilizzi• Applicazioni di sicurezza (riconoscimento di

comportamenti “sospetti”)

40


• Applicazioni di sicurezza (riconoscimento di comportamenti “sospetti”)

• Ricerca e catalogazione

Video

Segmentazione – Fotogrammi chiave

� OBIETTIVO: dividere una traccia video in funzione dei suoi fotogrammi chiave• Compressione• Temporalmente equidistanti

� Possibili utilizzi• Sommario del video• Analisi dei fotogrammi chiave per annotazioni

41


• Analisi dei fotogrammi chiave per annotazioni su immagini

Video

Segmentazione – Riprese

� OBIETTIVO: dividere una traccia video in segmenti dove la ripresa della camera è ininterrotta

• Transizioni instantanee• Fades• Uno shot ha lunghezza minore o

uguale ad una scena• Una scena può contenere più shot

� Possibili utilizzi• Sommario del video• Estrazione di keyframe

42


• Estrazione di keyframe• Composizione “semantica” di video (manuale o

automatica)

Video

Esempi di segmentazione – Riprese 43

DISSOLVE HARD CUT


DISSOLVE HARD CUT

FADE-IN FADE-OUT


Video

Segmentazione - Scene

� Obiettivo: dividere una traccia video in segmenti che riguardano una azione coerente• Master scene• Flashback scenes• Introduction scenes• …

� Possibili utilizzi

44


� Possibili utilizzi• Sommario del video• Composizione “semantica” di video (manuale o

automatica)

Video

Video OCR

� Obiettivo: estrarre testo da filmati• Titoli introduttivi• Titoli di coda (attori, registi etc.)• Sottotitoli• Nome di luoghi, persone, fatti etc.• Data/ora registrazione

� Possibili utilizzi

45


� Possibili utilizzi• Indicizzazione per ricerca testuale

Video

Video Summarization

� Obiettivo: creare automaticamente una versione compatta di un filmato, capace di trasmetterne sintenticamente il suo contenuto• Composizione “intelligente” di segmenti eterogenei

� Come?• Segmentazione

46


– Video

– Audio

� Possibili utilizzi• Trailers di film• Preview• Pubblicità



References

� Slides del corso di “Archivi Multimediali e Data Mining”, Politecnico di Torino, Prof. Silvia Chiusano

� Slides e video delle lezione tenute dal Prof. Thorsten Hermes presso la summer school SSMS 2006

47


Tecniche di annotazione per contenuti...

Documents

Transcript of Tecniche di annotazione per contenuti...