© 27/02/2014 – ROMAGNA INNOVAZIONE; FOR DISCUSSION PURPOSES ONLY: ANY OTHER USE OF THIS PRESENTATION - INCLUDING REPRODUCTION FOR PURPOSES OTHER THAN NOTED ABOVE, MODIFICATION OR DISTRIBUTION - WITHOUT THE PRIOR WRITTEN PERMISSION OF ROMAGNA INNOVAZIONE IS PROHIBITED

Ing. Massimiliano Fantini, PhD Project Manager e Ricercatore

@. massimiliano.fantini@romagnainnovazione.it

RInnova - Romagna Innovazione Soc. Cons. a R.L. C.so Garibadi, 49 - 47121 Forlì (Italy)

t. +39 0543 32087 - f. +39 0543 33445 w. www.romagnainnovazione.it

25 Febbraio 2014

REALTÀ AUMENTATA:

TECNOLOGIE ED APPLICAZIONI

• Definizioni

• Principi di funzionamento

• Tecnologie coinvolte

• Campi di applicazione

• Elementi da considerare

Augmented Reality

La Realtà Aumentata (in inglese Augmented Reality – AR) può essere definita come la capacità di sovrimporre alla realtà osservata dal soggetto un insieme di informazioni aggiuntive, generate da un computer, relative al contesto.

Le informazioni aggiuntive possono consistere in:

– oggetti virtuali posti nell’ambiente reale

– informazioni relative ad oggetti reali

DEFINIZIONI A

ugm

en

ted

Rea

lity

Augmented Reality Timeline

DEFINIZIONI A

ugm

en

ted

Rea

lity

Virtual Reality (VR) vs Augmented Reality (AR)

DEFINIZIONI A

ugm

en

ted

Rea

lity

Augmented Reality Virtual Reality

VS

A differenza della Virtual Reality, l’Augmented Reality si riferisce a situazioni nelle quali l’obiettivo è

integrare la percezione dell’utente di un mondo reale attraverso l’aggiunta

di dati digitali

La Realtà Virtuale (Virtual Reality) rappresenta un ambiente

tridimensionale modellizzato al calcolatore e percepito attraverso una interazione uomo-macchina basata sui

naturali mezzi di comunicazione

Virtual Reality (VR) Affinché l’utente di un sistema abbia la sensazione che gli oggetti

che popolano l’ambiente virtuale siano reali è possibile implementare tre livelli di percezione:

visivo, acustico e tattile

DEFINIZIONI A

ugm

en

ted

Rea

lity

"As far as I know, no one seriously proposes computer displays of smell or taste"

Ivan Sutherland in 1965 paper, "The Ultimate Display"

“un mezzo composto da simulazioni interattive tramite computer che percepiscono la posizione e le azioni dell’utente e sostituiscono o aumentano il feedback di uno o più sensi, dando l’impressione di essere mentalmente immersi o presenti nella simulazione”

DEFINIZIONI

A

ugm

en

ted

Rea

lity Interazione reale

AMBIENTE

REALE

SEGNALI DAL MONDO

REALE

INTERPRETAZIONE DEI SEGNALI

ATTRAVERSO I SENSI

PERCEZIONE AMBIENTALE

REALE

INTERAZIONE CON

L’AMBIENTE REALE

•L’uomo percepisce l’ambiente reale che lo circonda attraverso i suoi cinque sensi, con i quali “si è costruito un modello di mondo dopo anni di esperienza” •Il soggetto “interagisce con il mondo reale attraverso l’interpretazione di segnali di input usando il suo modello che, nel dettaglio, è differente da individuo ad individuo”

•Se l’insieme dei segnali di input trasmessi dai sensi è in grado di mantenere il processo di interpretazione con risultati coerenti, si ha la corretta percezione dell’ambiente reale circostante

DEFINIZIONI A

ugm

en

ted

Rea

lity

AMBIENTE

VIRTUALE

SEGNALI DAL MONDO

VIRTUALE

INTERPRETAZIONE DEI SEGNALI

ATTRAVERSO I DISPOSITIVI DI INTERFACCIA

PERCEZIONE AMBIENTALE

VIRTUALE

INTERAZIONE CON

L’AMBIENTE VIRTUALE

Interazione virtuale

•L’ utente viene isolato dall’ambiente reale che lo circonda, impedendogli di ricevere degli stimoli sensoriali naturali e, contemporaneamente, attraverso un sistema computerizzato gli vengono forniti segnali di input

•Questa non è solo una realtà di sintesi, ma un mondo effettivo in cui l’utente non è semplice spettatore passivo, bensì parte determinante dell’insieme con cui interagisce

•Sono quindi necessari dispositivi di interfaccia uomo-macchina capaci di stimolare in modo opportuno i sensi

Mixed Reality

DEFINIZIONI A

ugm

en

ted

Rea

lity

Reality-Virtuality (RV) Continuum

Reality Augmented

Reality Augmented

Virtuality Virtual Reality

“Mixed Reality” “...anywhere between the extrems of the virtuality continuum” (Paul Milgram)

Mixed reality includes augmented reality (AR), augmented virtuality (AV), and other mixed configurations

Au

gme

nte

d R

ealit

y • Mixed Reality (MR)

• Virtual Reality (VR)

• Augmented Reality (AR)

• Augmented Virtuality (AV)

La Mixed Reality (MR) è un termine che viene usato per rappresentare l’intero spettro di situazioni che spaziano dall’ambiente reale all’ambiente virtuale L’Augmented Virtuality (AV) descrive i contesti in cui entità reali sono inserite in un ambiente generato dal computer e rappresenta sistemi che tipicamente includono input reali multi-sensoriali che integrano l’ambiente virtuale

DEFINIZIONI

DEFINIZIONI A

ugm

en

ted

Rea

lity

“Augmented experiences using the Head-Up Display pattern add information about the real objects in view into a complete mixed-reality experience…”

Head Up Display (HUD)

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Sovrapposizione informazioni

• Informazioni aggiuntive possono essere visualizzate insieme al contesto reale in cui l’utente si trova

• In questi casi non c’è però correlazione tra ambiente reale e informazioni aggiuntive

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Sincronizzazione reale-digitale

• L’ambiente virtuale è completamente digitale e quindi non è necessaria la sincronizzazione tra questi due mondi, ma serve solo l’interazione con l’utente

• Nell’ambiente aumentato è invece necessario localizzare in maniera corretta dove si trova l’ambiente reale per capire dove posizionare contestualmente la parte digitale

In funzione delle modalità di sincronizzazione reale-digitale esistono due tipologie di Augmented Reality:

• Vision-based AR (non geolocalizzata) • con utilizzo di marker

• con utilizzo di natural marker

• senza utilizzo di marker (markerless)

• Geolocation AR (geolocalizzata)

Augmented Reality

Vision-based AR

Marker

Natural marker

Markerless Geolocation

AR

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity

• È basata sull’uso di forme bidimensionali, disegni o caratteristiche geometriche che permettono al programma di individuare la posizione e l’orientamento dell’oggetto virtuale da sovrapporre all’immagine reale

Vision-based AR

• È basata sull’utilizzo di sensori hardware di posizione (GPS) e di orientamento (accelerometro e bussola) presenti sul dispositivo (tipicamente utilizzata su dispositivi mobili come smartphone e tablet)

Geolocation AR

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity

Vision-based AR con utilizzo di marker Queste applicazioni si basano su uno schema consolidato, che prevede un

meccanismo di riconoscimento di un particolare elemento grafico detto marker (una sorta di codice a barre bidimensionale come il QR code), un sistema di tracciamento dei movimenti (della webcam o del marker) e un engine per la creazione e l’animazione di oggetti tridimensionali

I marker sono degli elementi grafici, su cui è stampato un simbolo facilmente riconoscibile (anche quando ruotato), che vengono “individuati e tracciati” attraverso una videocamera

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity

Vision-based AR con utilizzo di natural marker Applicazioni più sofisticate ed evolute sono in grado di compiere le azioni di

sicronizzazione utilizzando al posto di un marker specifico (elemento grafico o codice a barre bidimensionale) direttamente un’immagine o una figura o comunque un oggetto bidimensionale, utilizzando tecnologie di image recognition ormai consolidate nella computer vision

Questo tipo di applicazioni basate sul riconoscimento effettuato su immagini è comunemente considerata basata su natural marker

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity

Vision-based AR senza utilizzo di marker (markerless) Applicazioni ancora più sofisticate ed in via di sviluppo sono in grado di

compiere le azioni precedentemente descritte in assenza di marker: al posto di un elemento grafico o di una immagine bidimensionale, il riconoscimento viene effettuato direttamente sugli elementi tridimensionali presenti nell’ambiente, utilizzando tecnologie di geometric features recognition in via di consolidamento nella computer vision

Questo tipo di applicazioni basate su immagini è comunemente detta markerless, proprio in quanto non necessitano di alcun marker

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Principio di funzionamento dei sistemi Vision-based AR

Vision-based AR

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Principio di funzionamento dei sistemi Geolocation AR

Geolocation AR

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Esempi di soluzioni con marker

QR Code (Quick Response Code)

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Esempi di soluzioni con natural marker

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Esempi di soluzioni markerless

PRINCIPI DI FUNZIONAMENTO A

ugm

en

ted

Rea

lity Esempi di soluzioni geolocalizzate

Un ambiente di Realtà Virtuale necessita l’utilizzo di strumenti che permettano di avere interazione con l’ambiente digitale (wearable computers/werable devices)

Un ambiente di Realtà Aumentata deve essere fruibile e utilizzabile con strumenti di interazione meno invasivi

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity

Diverse tecnologie sono utilizzate nel rendering per la Realtà Aumentata:

- Sistemi di proiezione (projection-based)

- Monitor (monitor-based)

- Hand-held device

- Werable display system

Hand-held device Dispositivi portatili che utilizzano un piccolo display e che si adatta alla

mano dell’utente (ad esempio smartphone, tablet, ecc.). Ad oggi, tutte le soluzioni AR palmari optano per la tecnologia video see-through.

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity

Werable display system: Head-mounted display (HMD)

Si tratta di un dispositivo di visualizzazione associato ad un auricolare come un casco. I dispositivi HMD posizionano le immagini sia del mondo fisico sia degli oggetti virtuali sul campo di vista dell'utente con tecnologia video see-through.

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity

Werable display system: Eyeglasses

Display AR possono essere cerati su dispositivi simili ad occhiali. Alcune versioni includono occhiali che utilizzano telecamere per intercettare la visione del mondo reale e mostrare poi la sua visione aumentata attraverso display oculari. Tali dispositivi utilizzano la tecnologia optical see-through (ad esempio Google Glasses).

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity

Werable display system: Contact lenses Sono in sviluppo particolari lenti a contatto per la visualizzazioni di

immagini in AR. Queste lenti a contatto possono contenere gli elementi per la visualizzazione incorporati nella lente stessa, compresi circuiti integrati, LED e un'antenna per la comunicazione wireless. . Tali dispositivi utilizzano la tecnologia optical see-through.

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity Google Glass

Si tratta di un wearable device con un head-mounted display (HMD) sviluppato da Google con il Project Glass

È equipaggiato con sistema operativo Android 4, una videocamera da 5Mpx e una connessione Wi-Fi

In aprile 2013 Google ha rilasciato una «explorer edition» dei Google Glass a 8000 utenti (per 1500 $)

Non c’è una data ufficiale di rilascio dei Google Glass. La notizia è che dovrebbe essere nella prima metà del 2014

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity Google Glass

Google Glass interagisce con lo smartphone ed è in grado di fornire servizi come SMS, chiamate, notifiche dei social network, scattare foto e registrare video in alta qualità e condividerli su internet. Ci sono già decine di applicazioni su web, ma non ancora un canale ufficiale. Alcuni esempi di applicazioni sono:

BEAM è un'applicazione che permette di caricare contenuti video direttamente su YouTube. Dopo che è caricato, è possibile mantenerlo privato o condividerlo con Twitter.

L’applicazione del New York Times per Google Glass fornisce avvisi di breaking news, aggiornamenti di notizie ogni ora e vi legge ad alta voce i sommari degli articoli.

Winky consente di scattare una foto con l’occhiolino. Consente di attivare i Google Glass dalla modalità standby e scattare una foto solo con un batter d'occhio.

L’applicazione Send to Facebook per Google Glass rende più semplice caricare le tue foto direttamente su Facebook.

UltraRun mostra i dati di performance durante la corsa. Mostra il tempo trascorso, le miglia corse e le miglia al minuto.

Google Glass

TECNOLOGIE COINVOLTE A

ugm

en

ted

Rea

lity

La realtà aumentata ha molte campi di applicazione e molti settori possono beneficiare dell'uso della tecnologia AR

La realtà aumentata è stata inizialmente impiegata per applicazioni militari, industriali mediche ma ha presto trovato applicazioni in campo commerciale e dell’intrattenimento

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

• Architecture • Art • Commerce (Shopping) • Construction • Customer Service • Design • Education • Gaming • Industrial • Maintenance (Tasks support)

• Marketing • Military • Medical • Navigation • Office workplace • Safety and Rescue Operations • Sports and entertainment • Television • Tourism and sightseeing • Translation

Campi di applicazione

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

Architettura La Realtà Aumentata può aiutare a

visualizzare i progetti realizzati

Le immagini digitali di un edificio possono essere sovra-imposte in una vista reale del sito prima della costruzione fisica dell’immobile

Ad esempio applicazioni AR possono permettere agli utenti che hanno visionato l'esterno di un edificio di vedere virtualmente attraverso le sue pareti, visualizzando i suoi oggetti interni e il suo layout

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

Commercio (Shopping) Applicazioni AR possono migliorare

anteprime di prodotti, ad esempio, consentendo al cliente di vedere cosa c'è dentro l'imballaggio di un prodotto senza aprirlo

Immagini digitalizzate di prodotti possono attivare la visualizzazione di contenuti aggiuntivi come opzioni di personalizzazione e ulteriori immagini del prodotto nel suo utilizzo

Materiale di marketing stampato può essere progettato con immagini “marker" che, una volta scansionate da un dispositivo AR abilitato mediante riconoscimento di immagini, attivano una versione video del materiale promozionale

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

AR Dressing mirror Uno specchio in realtà aumentata

consente agli utenti di selezionare e indossare diversi capi di abbigliamento e accessori nelle combinazioni preferite

Interagiscono con i gesti degli utenti e sono in grado di catturare le loro foto nella combinazione scelta di abbigliamento per stamparla

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

AR Makeup mirror Le utenti possono provare diverse

tonalità di trucco, rimuoverle e quindi ripetere la procedura da capo attraverso una tecnologia di realtà aumentata che si propone di fare questi test di colore molto facilmente

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

Manutenzione (Tasks support) Compiti complessi come

assemblaggio e manutenzione possono essere semplificati inserendo informazioni aggiuntive nel campo di vista

Le informazioni possono essere visualizzate su parti di un sistema per chiarire le istruzioni al meccanico che sta eseguendo la manutenzione

CAMPI DI APPLICAZIONE A

ugm

en

ted

Rea

lity

AR non è solo un'applicazione per mobile device La creazione e l’editing di una esperienza in AR è parte di un processo che richiede sforzi e contenuti da pubblicare per mezzo di una struttura/piattaforma AR

Riconoscimento della posizione o delle immagini può essere problematico GPS e sensori non sono sempre precisi e possono posizionare nel posto sbagliato. Il posizionamento Indoor necessita di essere assistito con l’utilizzo di marker (ad esempio QR code). Il riconoscimento delle immagini potrebbe essere influenzato da elementi esterni quali la luce ambientale o la dimensione dell'elemento scansionato

Le imprese possono voler integrare applicazioni AR nei sistemi interni esistenti Interoperabilità e flessibilità di SDK per applicazioni di AR simili disponibili sul mercato possono fare la differenza (come anche i costi e il tipo di licenza)

Sicurezza e riservatezza Quando la piattaforma AR lavora nella rete globale, un’azienda che pubblica esperienze AR deve sapere che le informazioni non sono più solo nella rete aziendale privata. Le aziende però possono integrare la piattaforma AR nella loro rete per evitare il problema e offrire l'accesso anche a soggetti esterni quali i propri clienti.

ELEMENTI DA CONSIDERARE Sv

ilup

po

di s

olu

zio

ni A

R