Augmented Reality

Mirko CompagnoAugmented reality architect e UX designer

http://about.me/MirkoCompagno

[email protected]

AUGMENTED REALITY

19 marzo 2015

REMEDIA Italia(c/o ESRIN - ESA Centre for Earth Observation)

Cos’è realtà aumentata?

da Philip Kindred Dick nel 1969 dal

titolo: “La Formica Elettrica”.

Il protagonista di questo piccolo racconto di Dick è Garson Poole un

androide che decide di mettere alla prova la realtà percepita

manomettendo il suo sistema percettivo composto da un nastro

perforato all’interno del suo addome. Praticando nuovi fori sul

nastro della sua realtà comparivano nuovi oggetti, nuovi colori e

nuovi suoni.

La realtà aumentata fa esattamente la stessa

cosa, essa arricchisce la percezione sensoriale

umana attraverso informazioni manipolate

elettronicamente.

Mirko Compagno – THE ROUND AUGMENTED REALITY

La realtà aumentata (AR, dall'inglese Augmented

Reality) è una branca della computer graphics che

studia e sviluppa sistemi in grado di combinare

immagini provenienti dal mondo reale con

informazioni e oggetti generati da computer.

L’utente di un’applicazione di AR, utilizzando

opportune apparecchiature, è nella condizione

di vivere un’esperienza sensoriale arricchita di

informazioni ed elementi virtuali, a volte anche

interagendo con loro.



Il termine augmented reality venne coniato nel 1990 da due ricercatori dei laboratori

della Boeing, Tom Caudell e David Minzell. I due scienziati, al lavoro su un prototipo che

rimpiazzasse gli strumenti di bordo di un aereo, svilupparono un congegno indossabile sul

viso dei piloti in grado di visualizzare velocemente la rotta e tutte le informazioni

correlate ai decolli e agli atterraggi. La realtà così visualizzata venne ribattezzata “Realtà

aumentata”, perché al mondo reale venivano aggiunte informazioni di altro tipo.


Il termine augmented reality


2. La realtà aumentata, invece, offre alla persona la

sensazione di essere presente all’interno della realtà fisica

percepita attraverso i cinque sensi anche se quest’ultima è

arricchita di informazioni aggiuntive o manipolata da

queste.

Differenza tra realtà aumentata

e realtà virtuale

Spesso la realtà aumentata viene confusa con

la realtà virtuale in realtà la differenza tra le

due è sostanziale:

1. Nella realtà virtuale le informazioni che arricchiscono

la realtà lo fanno in maniera preponderante al punto che

la persona è interamente immersa all’interno di una

realtà finta creata attraverso l’uso del computer.


Breve storia della AR

1960 – 80: primi esperimenti1980 – 90: ricerche di baseTracking, displays

1995 – 2005: tool e applicazioniInteraction, usability, theory

2005 - : applicazioni commercialiGames, Medical, Industry

Step storici della AR

La realtà aumentata oggi

La realtà aumentata oggi

Tecnologie disponibili- Tracking più affidabile (Computer Vision, GPS/sensors)- Migliori Display (Handheld, HMDs)- Migliori «Input Devices» (Kinect, leap motion, smart glass…)- Developer tools (metaio, qualcomm, wikitude…)

Mercato in forte crescita- Gaming, GPS/Mobile, Online Advertisement• >$5 Billion USD by 2016 (Markets andMarkets)• >$1.5 Billion USD in Mobile AR by 2014 (Juniper Research)


Google Searches for AR

Google Searches for AR


1. Serve uno smartphone/tablet con una fotocamera per catturare la realtà;

2. un collegamento Internet per ricevere il livello informativo;

3. l software sullo smartphone/tablet che consente la sovrapposizione dei

dati.

4. l sistema GPS e la bussola interna permettono di sapere in quale direzione

siamo rivolti.

Cosa serve per attivare la Realtà Aumentata

con lo smartphone/tablet


Location-based - Image Recognition (Mobile Augmented Reality)


Un nuovo oggetto comuncativo

La realtà aumentata è solo l’evoluzione della tecnologia o, forse, rappresenta qualcosa del tutto nuovo nell’ambito comunicativo?

La Realtà aumentata è solo tecnologia?


Consideriamo il "testo scritto" come il principale medium, ovvero il canale attraverso il quale l’informazione è trasmessa, veicolo portante della comunicazione.

Il “testo scritto” esprime non solo il contenuto della comunicazione, ma ne organizza interamente la forma (divisione in capitoli, paragrafi, punteggiatura…).

Se volessimo arricchire il libro con delle immagini avremo un libro illustrato.

Le immagini sono aggiunte al testo scritto , possono essere sostituite con altre più efficaci, p. es., ed hanno comunque una funzione secondaria e di sussidio.




Se la narrazione di una storia avviene tramite il cinema, questa è costruita e diffusa nel linguaggio proprio e specifico di questo medium.

Sequenze, tagli, montaggio, il colore, il suono, organizzano la narrazione secondo specifiche esigenze. E in questo caso sia il linguaggio verbale che scritto sono interamente dipendenti dalle regole dettate da questa diversa forma di comunicazione.




Dagli esempi precedenti si rilevano due caratteristiche correlate e tipiche di questi usi "misti" di media:

(a) autonomia, ciascun medium impone il suo specifico linguaggio costruttivo eorganizzativo e lo conserva rigidamente;

(b) prevalenza, un medium domina sugli altri medium e ne organizza la struttura della comunicazione, mentre gli altri hanno più che altro una funzione accessoria.

Queste caratteristiche possiamo rilevarle anche nell’uso che facciamo della realtà aumentata ?




Rivediamo sinteticamente la definizione di realtà aumentata facendone un confronto con la realtà virtuale

1. La AR aumenta la scena del mondo reale in modo che l‟utente mantenga comunque un senso di presenza in tale mondo;

2. La VR mira a “sostituire” il mondo reale ;3. La AR mira ad arricchire la realtà di informazioni utili per l‟espletamento di

compiti complessi;4. Il feedback visivo in VR è completamente sotto il controllo del sistema

digitale. 5. In AR il feedback è misto.

Per questo motivo AR ha esigenze assenti in VR, quali l ‘acquisizione di immagini reali e la fusione con quelle digitali.






L’ obiettivo che ci si pone nella realizzazione di un sistema di realtà aumentata, è la creazione di un oggetto comunicativo in cui non si noti la differenza tra il mondo reale e l’ arricchimento virtuale.

L’ibrido che si viene così a creare è un nuovo oggetto comunicativo che agisce sul mondo reinterpretando la realtà e portandola ad uno stato di continua mutazione.

Relazione tra mondo digitale e mondo fisico

La stampa appartiene al mondo fisico

Il web, i new media appartengono al mondo digitale.

Nella sovrapposizione di questi 2 mondi si trova l’AR


Campi d’applicazione della Realtà Aumentata


Campi d’applixazione della Realtà Aumentata

Servizi turistici


In campo medico la AR

è stata adottata per

migliorare l’affidabilità

degli interventi

chirurgici.



The Commonwealth Bank of Australia



Il futuro prossimo ci indica l’utilizzo di Wearable Devices che ci permettono di

avere informazioni fortemente contestualizzate.

Il futuro prossimo


Case Studies

Case Studies

INSTALLAZIONI SONORE E REALTÀ AUMENTATA PER LA COLLETTIVA “MURI E DIVISIONI”. MACERATA OPERA FESTIVAL 2013

Celebrare il bicentenario della nascita di Giuseppe Verdi, attraverso Nabucco e Il Trovatore. Giuseppe Verdi in realtà aumentata è un’esperienza multisensoriale di fruizione delle opere artistiche esposte. Si tratta di installazioni sonore su sette quadri esposti.


Realizzare un ambiente AR per mobile o desktop?

Progettazione

Progettazione


Progettazione

Progettazione

Il nostro obiettivo è la realizzazione di una «Mobile Augmented Reality» app.

Come procedere?


Augmented Reality Application Development Tools

Developer Tools


Augmented reality browser


web browser Ar browser


Differenze tra i diversi ar browser

Differenze tra i diversi ar browser


Definire il contesto1

2. Definire:a) obiettivo informativo;b) obiettivo comunicativo.

OBIETTIVO COMUNICATIVO:La grafica di questa pagina si riduce al logo di realtà aumentata, poichè quest’ ultima è di introduzione e vuole solamente spiegare all’ utente il funzionamento della rivista.

OBIETTIVO INFORMATIVO:I collegamenti multimediali che si trovano all’ interno dell’introduzione, danno la possibilità all’utente di accedere a un sito web, nel quale viene spiegato dettagliatamente cos’ è la realtà aumentata, e in che ambiti viene utilizzata.In più l’ utente potrà accedere a una piccola animazione del logo.

Progettazione

Progettazione


3. Design logico funzionale dell’ambiente AR

4. Lo storyboard

Progettazione

Progettazione


5. Definire le Trigger images

Progettazione

Progettazione


6. Buone e cattive Trigger images

Progettazione

Progettazione


7. Definizione dei layers (video, immagini, scene 3D, pagine web)

Specifiche dei “Video layer”: MP4 (h.264 ), FLV (video trasparenti)

Specifiche delle “scene 3D”:

Specifiche delle “Immagini layer”: jpg, png (per i buttons)

Specifiche delle “pagine web”: html

Progettazione

Progettazione


8. Creazione dell’ AR Layout

Si tratta di definire il posizionamento e le relative dimensioni dei vari contributi multimediali.

Progettazione

Progettazione


Progettazione

Progettazione

9. Interazioni

Attivazione del Layer: • Quando il contenuto viene cliccato• Quando il contenuto viene cliccato due volte• Dopo che il contenuto è entrato in assolvenza• Dopo che il contenuto è iniziato• Quando il contenuto è terminato• Dopo un certo numero X di secondi

Azioni: • Vai a un link predefinito• Fai partire un altro contenuto• Stoppa il contenuto• Metti in pausa il contenuto• Metti il contenuto in full screen• Metti il contenuto in full screen con la camera attiva(se il contenuto ha lo sfondo trasparente è possibilevedere l’ambiente reale circostante)• Togli la modalità full screen al contenuto

Un’interazione è data dalla combinazione di un’ ATTIVAZIONE del Layer (A1) + un’ AZIONE (A2)

A1

A2


9. Complessità delle Interazioni

• 1° Livello di interazione: A1 + A2• 2° Livello di interazione: (A1 + A2 ) + (A1 + A2• 3° Livello di interazione: (A1 + A2 ) + (A1 + A2) + (A1 + A2)

Per evitare una situazione di Information Overload, si consiglia di non superare il 3° livello

Pubblicazione del sistema AR

Progettazione

Progettazione


10. Pubblicazione dell’ AR app

Differenze tra i maggiori AR browser (Aurasma, Junaio, Layar, Wikitude)

Progettazione

Progettazione


AR plus

Contenuti addizionali, associati all’ambiente di AR sviluppato

Quando il contenuto viene cliccato

FLIPPING BOOKFOCUS WEB APP

• Quiz: multiple choice, true-false, drag and drop, fill in the blanks• Simulazioni dinamiche interattive• Customizzazione slide ppt

Vai a un link predefinito

………….

AR plus


Realtà aumentata e comunicazione scientifica

Realtà aumentata e comunicazione scientifica


AR Experience Design


“The product is no longer the basis of value. The experience is.”

Venkat RamaswamyThe Future of Competition.


Design

Evaluate

Prototype

Interaction Design

Interaction Design


User Interactions in Mobile Augmented Reality

Markerless AR Geo-location based AR

Generalità



Metodi e limitazioni per la progettazione AR markers

Non c’è suffiente contrasto, né un contorno ben definito

Il contrasto c’è, ma gli elementi chiave di riconoscimento sono simili



Mondo digitale e mondo fisico

Interazione attraverso elementi che incoraggiano l’utente ad esplorare e comprendere lo spazio digitale e fisico

Feedback dallo spazio digitale per allertare l’utente delle limitazioni e delle possibilità del design

L’ interazione con GUI avviene tramite il mondo fisico piuttosto che col display del device

L’ interazione con GUI avviene con elementi visualizzati sul display del device

Interazione con gli oggetti aumentati attraverso azioni nel mondo fisico

Interazione diretta con gli oggetti aumentati senza l’ausilio di elementi GUI)



Mondo digitale e mondo fisico esempi

DP




DD




GP

Physical interactions




GD

Digital interactions




AP




AD


Grazie per l’attenzione

[email protected]

Mirko Compagnohttp://about.me/MirkoCompagno

AUGMENTED REALITY


Augmented Reality

Education

Transcript of Augmented Reality