Fusione di impronta digitale e impronta vocale per il

controllo accessi

UNIVERSITA’ DEGLI STUDI DI TRIESTEFACOLTA’ DI INGEGNERIA

Dipartimento di Ingegneria Industriale e dell'Informazione

Laureando: Pietro CORONA Relatore:

Enzo MUMOLO

Motivazioni

• La sicurezza nei sistemi di elaborazione richiede standard sempre più elevati

• Il problema dell’autenticazione è un problema difficile da risolvere con tecniche di tipo tradizionale

• La ricerca in questo settore è molto attiva

Obiettivi

• Implementare un sistema di autenticazione biometrico multimodale utilizzando impronte vocali e digitali.

• Dimostrare i vantaggi dell’uso di sistemi biometrici multimodali rispetto a quelli unimodali.

• Realizzare una dimostrazione in tempo reale di fingerprint verification in ambiente embedded.

Strumenti usati

• Scanner di impronta digitale Upek TCEEA4• Tipo swipe (a strisciamento)• Risoluzione 501 dpi• Immagini catturate: 144x384 pixel

• SBC TS-7800• Processore ARM9 500Mhz• S.O. Linux Debian Sarge

• Sw identificazione facciale • Modellazione statistica delle immagini usando DCT e

EHMM• Per Windows

Lavoro svolto

• In ambiente pc• Realizzazione programma di acquisizione• Raccolta impronte digitali• Implementazione enrollment e creazione modelli• Implementazione e test algoritmo di verifica• Analisi dei risultati (normalizzazione)• Algoritmo di fusione• Analisi dei risultati

• In ambiente ARM• Realizzazione ulteriore programma di acquisizione• Porting programma verifica (no enrollment)• Script gestione automatica delle operazioni

Problemi affrontati

• Problemi di porting• Da Windows a Linux: modifica chiamate di sistema per la

gestione dei file.• Da pc ad Arm: librerie openCv, API alternative per lo

scanner.

• Modifiche al sw di face identify• Da identify a verify: modello soggetto + modello mondo• Separazione enrollment da verifica• Modifica output del programma (risultati)• Parametri: accuratezza vs. prestazioni

Addestramento modelli 

 

 

 

 

 

Baum - Welch

 

 

 

𝑋𝑘1𝑘2=𝐷𝐶𝑇 −2𝐷

Verifica

• Acquisizione di una immagine di fingerprint

• Modello del Mondo + Modello soggetto per robustezza

Algoritmo di fusione

 

 

Varianza score fingerprint verification (da esperimenti)

 

 

  

Score fingerprint verificationScore speaker verification

Varianza score speaker verification (da esperimenti)

Minimizza la varianza complessiva

Risultati - I

0tan28a566028

0tan29a566029

0tan1a56601

0tan2a56602

0tan3a56603

0tan4a56604

0tan5a56605

0tan6a56606

0tan7a56607

0tan8a56608

0tan9a56609

0tan10a566010

0tan11a566011

0tan12a566012

0tan13a566013

0tan14a566014

0tan15a566015

0tan16a566016

0tan17a566017

0tan18a566018

0tan19a566019

Parametri (1)

Parametri (2)

Ritaglio immagine (1)

EER

Falsi Negativi %

Fal

si P

osi

tivi

%

0tan28a566028

0tan29a566029

0tan1a56601

0tan2a56602

0tan3a56603

0tan4a56604

0tan5a56605

0tan6a56606

0tan7a56607

0tan8a56608

0tan9a56609

0tan10a566010

0tan11a566011

0tan12a566012

0tan13a566013

0tan14a566014

0tan15a566015

0tan16a566016

0tan17a566017

0tan18a566018

0tan19a566019

Falsi Positivi

Falsi Negativi

Soglia

Val

ori

%

EER

(1) e (2) : parametri diversi

Risultati - II

singole biometrie

vs

fusione

Con la fusione otteniamo prestazioni migliori!

0tan28a5660280tan29a566029

0tan1a566010tan2a566020tan3a566030tan4a566040tan5a566050tan6a566060tan7a566070tan8a566080tan9a56609

0tan10a5660100tan11a5660110tan12a5660120tan13a5660130tan14a5660140tan15a5660150tan16a5660160tan17a5660170tan18a5660180tan19a566019

Speaker Verification

Fingerprint Verification

Fusione

EER

Falsi Negativi %

Fal

si P

osi

tivi

%

Conclusioni

• Gli obiettivi sono stati raggiunti totalmente.

• La fusione è stata realizzata solo su pc per problemi tecnici e per mancanza di tempo.

• Sviluppi futuri• Implementazione della fusione in ambiente embedded.• Miglioramento delle prestazioni dell’algoritmo di verifica• Posa in opera di un’applicazione pratica del sistema