Evento CDVS: 02 - Francini "Lo standard CDVS"

37
Milano, 10 Giugno 2014 Gianluca Francini CDVS La visione artificiale per nuovi servizi e applicazioni industriali

Transcript of Evento CDVS: 02 - Francini "Lo standard CDVS"

Page 1: Evento CDVS: 02 - Francini "Lo standard CDVS"

Milano, 10 Giugno 2014

Gianluca Francini

CDVSLa visione artificiale per nuovi servizi e applicazioni industriali

Page 2: Evento CDVS: 02 - Francini "Lo standard CDVS"

La ricerca visuale

Page 3: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

3Gianluca Francini

La ricerca di informazioni

Page 4: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

4Gianluca Francini

La ricerca visuale

Page 5: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

5Gianluca Francini

La ricerca visuale, da tempo

Page 6: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

6Gianluca Francini

La ricerca visuale: il problema

Page 7: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

Suscita un elevato interesse

7Gianluca Francini

La ricerca visuale oggi

Ha subito un’evoluzione

Page 8: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

Identificazione di dettagli affidabili

8Gianluca Francini

L’evoluzione tecnologica: l’analisi a descrittori locali

Page 9: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

9Gianluca Francini

L’evoluzione tecnologica: l’analisi a descrittori locali

Page 10: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

10Gianluca Francini

L’evoluzione tecnologica: l’analisi a descrittori locali

Query Reference

Page 11: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

11Gianluca Francini

La ricerca visuale

Page 12: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

12Gianluca Francini

Natural user interaction

petitinvention.wordpress.com

Page 13: Evento CDVS: 02 - Francini "Lo standard CDVS"

MPEG Compact Descriptors for Visual Search (CDVS)

Page 14: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

14Gianluca Francini

La ricerca visuale per i cellulari

ImmagineImmagine

InformazioniInformazioni

Fotocamera Client Server Estrazione descrittori Confronto

Page 15: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

15Gianluca Francini

Quanti byte per un’immagine VGA?

VGA image

Page 16: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

16Gianluca Francini

MPEG Compact Descriptors for Visual Search (CDVS)

Descrittori compressiDescrittori compressi

InformazioniInformazioni

Fotocamera Estrazione descrittori

Codifica descrittori Client Server Confronto

Page 17: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

17Gianluca Francini

MPEG Compact Descriptors for Visual Search (CDVS)

Descrittori compressiDescrittori compressi

InformazioniInformazioni

Fotocamera Estrazione descrittori Confronto Client

Page 18: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

18Gianluca Francini

Cosa c’è in un descrittore MPEG CDVS?

Global Descriptor

Local descriptors

Coordinates

Page 19: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

19Gianluca Francini

Quanti byte per un’immagine VGA?

VGA image

Page 20: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

2011 2012 2013 2014

20Gianluca Francini

MPEG CDVS timeline

Call for Proposals

Evaluation

Core Experiments

Committee Draft

International Standard

Page 21: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

21Gianluca Francini

Caratteristiche di MPEG CDVS

Interoperabilità

Efficienza compressione

Scalabilità

Generalità

Robustezza

Sufficienza

Efficiente implementazionehardware

Applicabile a database di grandi dimensioni

Page 22: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

Data:• 33590 images from various datasets• 1 million images used as distractors

Parameters:• True Positive Rate, Localization Accuracy

• 187846 pairs of images

• Mean Average Precision, Top Match• 11313 queries against the DB

22Gianluca Francini

Valutazione delle prestazioni di CDVS

Page 23: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

23Gianluca Francini

Dataset “Graphics”

Page 24: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

24Gianluca Francini

Dataset “Paintings”

Page 25: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

25Gianluca Francini

Dataset “Video frames”

Page 26: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

26Gianluca Francini

Dataset “Buildings”

Page 27: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

27Gianluca Francini

Dataset “Common objects”

Page 28: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

28Gianluca Francini

Categorie problematiche

Few details

Deformable

Reflective

Transparent

Page 29: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

29Gianluca Francini

MPEG CDVS: non solo applicazioni mobili

Automotive

Robotic vision

Television applications

Web search

Page 30: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

30Gianluca Francini

http://ict-bridget.eu

Page 31: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

31Gianluca Francini

Page 32: Evento CDVS: 02 - Francini "Lo standard CDVS"

MPEG Compact Descriptors for Visual Analysis (CDVA)

Page 33: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

Applicare la ricerca visuale ai video in modo efficiente

Estendere il riconoscimento a una più ampia tipologia di oggetti

33Gianluca Francini

MPEG CDVA: due obiettivi

Page 34: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

34Gianluca Francini

CDVA: Analisi del video

Page 35: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

35Gianluca Francini

CDVA: riconoscimento esteso

Riconoscimento di una categoria

(classificazione)

Page 36: Evento CDVS: 02 - Francini "Lo standard CDVS"

CDVS: la visione artificiale per nuovi servizi e applicazioni industriali

36Gianluca Francini

[email protected]

Page 37: Evento CDVS: 02 - Francini "Lo standard CDVS"

This work is licensed under the Creative Commons Attribution- NonCommercial-NoDerivs 3.0 Unported License. To view a copy of this license, visit http://creativecommons.org/licenses/by-nc-nd/3.0/