1

Sistemi avanzati per il riconoscimento

Dr. Marco Cristanie-mail: marco.cristani@univr.itufficio: Stanza 47, Ca Vignal 2

Università di VeronaFacoltà di Scienze MM.FF.NN.

Corso di Laurea magistrale in Ingegneria e scienze informatiche

http

://fo

rum

.thes

imps

on.it

/upl

oad/

mdm

/Hom

er20

&20

Ben

der.j

pg

2

Il corso• Esame:

– progetto in MATLAB da 1 max 2 studenti

• Sessioni di laboratorio

• Pre-requisiti (non obbligatori):– Elaborazione delle Immagini

3

Il corso: obiettivi• Studiare interfacce con articolazioni e

osservazioni non ordinarie

4. Osservazione

1. Articolazione2. Prestazione

3. Presentazione

Ciclo di Interazione di Abowd e Beale

• Articolazione– Niente input da

tastiera, mouse, voce

• Osservazione– In alcuni casi,

niente output su schermo LCD (specialmente nelle interfacce non collaborative)

4

Il corso: contesto• L’HCI avanzata può essere suddivisa

categorizzando l’articolazione; abbiamo:

– Computer Vision HCI• Tecniche di Computer Vision

– Audio-based HCI• Tecniche di Elaborazione del suono

– Tecniche ibride per HCI• Sensori di posizionamento etc.

…

…

…

…HUMAN COMPUTINGHUMAN ROBOT INTERACTION

5

Il corso: Computer Vision(CV)-based HCI

• La CV-based HCI mira a costruire interfacce che percepiscano l’uomo e acquisiscano articolazioni volontarie (interfacce collaborative) o involontarie (interfacce non collaborative)

• Ingredienti dell’articolazione - l’utente comunica attraverso:– locazione, identità, età approssimativa, fuoco d’attenzione, espressione

facciale, postura, gesti e attività generali

• La CV-based HCI fornisce canali d’articolazione utili per l’Audio-based HCI– back channel

• Campo di ricerca “maturo” (Myron Krueger, Responsive Environments, ~1970) ma sempre attivo

6

Il corso: motivazioni

• Il corso propone tematiche– attuali, di ricerca– applicative– corredate da codice MATLAB – direttamente sviluppabili come Tesi di Laurea– eventualmente sviluppabili in un Dottorato di Ricerca

• ponte per l’estero– Internship Microsoft– Altre sedi

7

Il corso: materiali• Per ogni tematica studiata, verranno dati opportuni

riferimenti per approfondire• Le slide, unite alle spiegazioni che daro’ in classe, e al

materiale d’approfondimento sono bastevoli ad affrontare il progetto finale

• Per qualsiasi problema di sorta, scrivetemi e-mail e/o richiedete appuntamento per ricevimento

8

Il corso: contenuti• Articolazione Vision-based mediante

– Volto• Face recognition• Face detection• Facial expression recognition• Face tracking

– Gesti• Hand gestures recognition• Complex gestures recognition

Osservazione:differente a seconda

delle applicazioni

9

Il corso: contenuti (2)• Articolazione Vision-based mediante

– Movimento• Motion detection• Tracking

– Miste• Action recognition

• Articolazione Audio-based mediante– Speech

• Social signalling

Osservazione:differente a seconda delle applicazioni; spesso, l’utente che compie l’articolazioneè differente da quello che fruisce dell’os-servazione (schema tipico nella videosorveglianza, interfaccia tipicamentenon collaborativa)

10

Face Recognition• Si può dividere in due obiettivi:

– Identificazione: Estrarre l’identitàlegata ad un volto osservato, utilizzando un database di volti etichettato (“Chi è costui?”)

– Verifica: verificare se il volto osservato è associabile o meno ad una data identità (“Costui èJack?”)

• Importante area di ricerca, in sviluppo

???

11

Face Detection• Obiettivo: identificare e localizzare volti

umani in un’immagine, in modo invariante a: – posizione – scala – in-plane rotazione– posa o orientazione(rotazione out-plane) – illuminazione – espressione

12ESEMPIO… http://vipbase.googlepages.com/tool_face_detect_result_opencv.jpg

13

Facial Expression Recognition• Obiettivo: riconoscere una delle

7 (o più…) espressioni fondamentali– neutro– felice– sopreso– impaurito – triste– disgustato – arrabbiato

• Dualità con face recognition:– Expression recognition: l’identità di un volto è sorgente di

rumore– Face recognition: l’espressione di un volto è sorgente di rumore

14

Face Tracking• Obiettivo: acquisire

da una videosequenzaframes consecutivi di una o più facce

• Utile per potenziare il riconoscimento e gestire l’affectivecomputing

http://hackheads.blogspot.com/2007/10/robot-con-face-tracking.html

15

Gaze tracking• http://www.diku.dk/~panic/eyegaze/node8.html• Obiettivo: capire la direzione dello sguardo di un

utente• Un gaze tracker deve soddisfare determinati

requisiti per essere ritenuto tale• Utile a sviluppare interfacce non invasive per

– Videoconferenza– Entertainment

• Basilare nelle interfacce per soggetti diversamente abili.

16

Gesture recognition• Obiettivo: identificare gesti specifici ed

usarli per articolare un messaggio preciso alla macchina.

• Si può suddividere in– Hand Gesture Recognition

• http://ls7-www.cs.uni-dortmund.de/research/gesture/vbgr-table.html

– Complex Gesture Recognition• http://www.cybernet.com/~ccohen/

17

Motion Detection• Obiettivo: in generale,

identificare movimento in una scena monitorata attraverso telecamera fissa o mobile (difficile), o tramite altri sensori (infrared etc.)

• Ambiti applicativi: – Primariamente,

sorveglianza automatizzata– Modulo per l’attivazione di

interfacce più complesse (basate su tracking)

18

Tracking• Obiettivo: inseguire uno o più oggetti

separatamente in tempo reale • Ambiti applicativi:

– La maggior parte delle interfacce che eseguono prestazioni da input visivi incorporano applicazioni di tracking

19

Tracking (2)• Le applicazini di tracking possono essere

molto complesse:– Tracking di persone nella folla– Tracking multi camera: un oggetto deve essere

inseguito tramite più telecamere il cui frustumnon si interseca.

20

Action Recognition• Obiettivo: rilevare

un’azione compiuta dall’utente e classificarla in un set di azioni predefinite

• Ambiti applicativi: – Dall’entertainment

(WII) alla domotica.

21

Social-signalling – Humancomputing

• Obiettivo: codificare comportamenti umani– dai piu’ semplici – emozioni– a pattern più complessi

• mirroring• centralità

•Ambiti applicativi: –psicologia, sociologia, humancomputer interaction.

22

Fine