Realtà aumentata markerless basata su algoritmi di Image Recognition e SLAM

Simone Sabbatini sabbatini.simone@gmail.com

Sede dello stage: Interplay Software Tutor: Giovanni Cortese

OBIETTIVI •  Comprendere funzionamento della Realtà

Aumentata •  Approfondire tecniche markerless

•  Image Recognition •  SLAM

•  Test tool di sviluppo •  Realizzazione demo

Realtà aumentata – che cos’è Realtà Aumentata (AR) Rappresentazione alterata della realtà

Alla realtà percepita attraverso i sensi umani vengono sovrapposte informazioni ed elementi virtuali ed artificiali

Realtà Virtuale (VR)

Non si ha percezione della realtà

Realtà aumentata – come funziona

Marker-based Basata su riconoscimento di marker bidimensionali

Fotocamera

Webcam

Marker Modello 3D

Basata sulla locazione geografica

Realtà aumentata – come funziona

Location-based

Realtà aumentata – come funziona

Marker-less

Basata su algoritmi di Computer Vision

IMAGE RECOGNITION

(IR)

Non necessita di marker

SIMULTANEOUS LOCALIZATION AND

MAPPING (SLAM)

IMAGE RECOGNITION

Acquisizione immagine

Analisi immagine

I n d i v i d u a z i o n e features significative

Classificazione immagine

Simultaneous Localization and Mapping

Problema affrontato nel campo della robotica

LOCALIZZAZIONE

MAPPING

“Where I am?”

“What does the world look like?”

Simultaneous Localization and Mapping

E’ considerato un problema risolto

Esistono varie implementazioni ( alcune Open Source! )

Visual SLAM : risolve il problema della SLAM utilizzando solamente la camera come sensore

C r e a u n a m a p p a 3 D dell’ambiente circostante utilizzando i sensori dei robot

No riferimenti metrici e sistema di riferimento non noto

STRUMENTI di SVILUPPO TOOL AR IR SLAM SDK

Frameworks OpenSource

Obiettivo: Riconoscimento quadri interi o dettagli Visualizzare informazioni relative al quadro riconosciuto Visualizzare collegamenti a “Scheda Autore” e “Contesto storico”

DEMO – Image Recognition

https://github.com/SimoneSabba/DemoIR-PointCloud

DEMO – Image Recognition

DEMO – Image Recognition

DEMO – Image Recognition

DEMO – Image Recognition

Dettaglio del cavallo

Dettaglio donna che urla

DEMO – Image Recognition

Obiettivo: Riconoscere immagine ed “aumentarla” con contenuti 3D e video

DEMO – Image Recognition

https://github.com/SimoneSabba/DemoIR-Android-Metaio

DEMO – Image Recognition

DEMO – Image Recognition

Riproduzione Video

DEMO – SLAM

Obiettivo: Demo misurazione ambiente Problemi: Mappa non scalata metricamente Sistema di riferimento non noto Soluzione: Utilizzo di Image Recognition + SLAM

https://github.com/SimoneSabba/DemoSLAM-PointCloud

DEMO – SLAM

DEMO – SLAM

DEMO – SLAM

Obiettivo: Visualizzazione modello 3D Problemi: Mappa non scalata metricamente Sistema di riferimento non noto Soluzione: Utilizzo di Image Recognition + SLAM

https://github.com/SimoneSabba/DemoSLAM-Android-Metaio

DEMO – SLAM Creazione mappa 3D

DEMO – SLAM Mappa 3D non calibrata

DEMO – SLAM Mappa 3D calibrata

DEMO – SLAM

Aumentazione

M o d e l l o 3 D v isua l izzato ne l la scena inquadra ta dalla fotocamera

CONCLUSIONI

Nuove soluzioni di AR basate su Image Recognition e SLAM possibili grazie a dispositivi mobili sempre più “evoluti” Esperienza d’uso più stimolante ed immersiva per l’utente Nuovi scenari di utilizzo grazie a Google Glass ed affini Riconoscimento basato su SLAM sensibile ai cambiamenti esterni della scena (cambi di luce e variazione della scena) Problematica superabile grazie a nuove features quali tracking basato su modello CAD

https://github.com/SimoneSabba