La comunicazione nella Realtà VirtualeLa comunicazione nella Realtà Virtuale

Davide Gadia, Daniele Marini, Raffaella FolgieriDavide Gadia, Daniele Marini, Raffaella Folgieri

Corso di Ambienti Virtuali Immersivi e InterattiviCorso di Ambienti Virtuali Immersivi e Interattivi

Laurea Magistrale in Informatica per la ComunicazioneLaurea Magistrale in Informatica per la Comunicazione

a.a. 2012/2013a.a. 2012/2013

• Una sessione di RV è un processo di comunicazione tra esseri umani mediato da un elaboratore usa interazione, visualizzazione e altri stimoli sensoriali per trasferire informazione

RV e comunicazione

• Qualche domanda: Come la RV risolve un problema di comunicazione? Qual’è la sua potenza espressiva nello stabilire la

comunicazione? Che linee guida si possono seguire per progettare un sistema

efficace? Quali sono i modelli di RV più rilevanti?

RV e comunicazione

• La realtà non è una caratteristica intrinseca della RV è il risultato di un modo convenzionale di codificare

l’informazione

• Nella RV compare il termine realtà, per indurre a pensare che uno scenario virtuale sia reale

Ma soprattutto: cos’è la realtà nella RV?

• Usiamo il termine verisimiglianza per denotare un grado desiderato di corrispondenza con il reale simulato

• Lo scopo della RV è di indurre chi la usa a ritenere che sta interagendo con la cosa vera, sfruttando la verisimiglianza

• Ma verisimile non implica per forza l'uso del realismo*

*N. Goodman - I linguaggi dell’arte, Il Saggiatore, Milano, 1968

Verisimiglianza

• La rappresentazione è un simbolo di un oggetto (lo denota)

• Non c’è bisogno di alcuna somiglianza della rappresentazione (simbolo) con l’oggetto rappresentato Ma nella rappresentazione visiva la somiglianza è importante!

Rappresentazione

• La nozione di somiglianza è vaga: un oggetto ha infiniti modi di essere

…, una forma, un comportamento, un colore, … …, una temperatura, una tessitura, un materiale, …

• Chi crea la rappresentazione deve scegliere sotto quale modo rappresentare l’oggetto quindi predispone una interpretazione della rappresentazione

Rappresentazione

• Esempio: la prospettiva: tende a catturare la somiglianza, a rendere l’idea per comprendere la prospettiva occorre però un

addestramento, non è una proprietà innata Nella creazione artistica la prospettiva geometrica può

essere forzata e piegata per facilitare la comprensione o enfatizzare aspetti

• Non c’è quindi una regola universale per catturare la somiglianza con la prospettiva

Rappresentazione

• E' quindi una figura che opera come una descrizione

• Quando guardiamo una rappresentazione possiamo tentare di giudicare la somiglianza chiedendoci: cosa descrive? che tipo di descrizione è?

Rappresentazione

• Un oggetto può quindi essere considerato come tale o come figura che lo rappresenta

Rappresentazione

• Somiglianza tra oggetto rappresentato e rappresentante non è requisito sufficiente per capire il realismo

• Cosa è allora il realismo?

Ancora su somiglianza e realismo

• L' oggetto rappresentato può essere scambiato per l’originale• L'illusione ha funzionato!

• No! Questo nella pittura è impossibile Vedi ancora la “pipa di Magritte” Nella RV è ancora più difficile data la varietà dei modi con cui

l’oggetto può essere considerato

Alcune risposte possibili - 1

• La rappresentazione più realistica è quella che ha il maggior contenuto di informazione

• No! Una foto e il suo negativo hanno lo stesso contenuto informativo Anzi, in teoria dell'informazione, il negativo ne ha di più! E il negativo è meno somigliante

Alcune risposte possibili - 2

• Basiamoci su un concetto di fedeltà: Il livello di esattezza con cui l'oggetto rappresentato è copiato o

riprodotto In questo caso, una foto e il suo negativo non hanno lo stesso

grado di fedeltà il positivo è più fedele, si decodifica più rapidamente per decodificare il negativo occorre addestramento

• Risposta non ancora soddisfacente: Limitata

unica soluzione proposta è una rappresentazione il più possibile vicina all'originale

Non considera l'effettiva capacità di decodifica del messaggio comunicato

Alcune risposte possibili - 3

• Il realismo dipende dalla facilità di interpretazione o di decodifica della rappresentazione dipende quindi da stereotipi usati nella rappresentazione quindi da fattori legati alla cultura, allo stile, all' esperienza

dell'utente

• Concludendo, il realismo non è una proprietà intrinseca è uno stile esso stesso una scelta retorica

Alcune risposte possibili - 4

• Creare rappresentazioni per la RV che siano di immediata e facile decodifica con qualunque mezzo, che si discosta anche dalla somiglianza o

dalla fedeltà

• Ciò si può ottenere con artifici retorici, in particolare metafore e allegorie

Obiettivo di comunicazione nella RV

• Attua un processo di comunicazione

• Mette in scena una rappresentazione del mondo reale o di un mondo ideale Dinamica e interattiva Con adeguata verosimiglianza Ricorrendo ai necessari artifici retorici Stimolando emozioni per trasmettere il messaggio voluto

RV dal punto di vista della comunicazione

• Basata su principi di semiotica, retorica e di teoria della comunicazione

• In un processo di comunicazione: Livello sintattico Livello semantico Livello pragmatico

Tassonomia di modelli di RV

• Sintassi: La disciplina che considera gli elementi di un linguaggio

indipendentemente dal loro significato ne studia la struttura a vari livelli di complessità ed

aggregazione degli elementi

• Nella RV la scelta del linguaggio determina la forma della rappresentazione la soluzione per l'evoluzione dinamica e interattiva del sistema

Livello sintattico

• Nella RV è composto da tre elementi: la struttura

fondata principalmente sulla visualizzazione e sulla scelta degli aspetti retorici necessari per suscitare le

emozioni nell'utente L’ interazione

Sviluppa e attua l’aspetto dinamico del sistema di RV Il modello

È la rappresentazione formale (interna) del mondo (fisico o ideale) simulato

esprimibile in modo matematico o approssimato con leggi tratte dalla fisica o del tutto di fantasia

Livello sintattico

• Correlata ai linguaggi disponibili per rappresentare visivamente la replica del mondo fisico (o ideale) il disegno e in generale la raffigurazione della forma o di altri modi

degli oggetti Es: funzioni, organizzazione, struttura interna, …

• Classificazione per la scelta della migliore rappresentazione Dal graphic design: nozione di livello di iconicità*

Livello di somiglianza o analogia tra denotante e denotato Uso di metafore o allegorie visive

* Anceschi G. (1992) L’oggetto della rappresentazione, Milano

* Moles A., (1970 ) L'affiche dans la société urbain, Paris

Livello sintattico: struttura

1. L'oggetto originale

2. Rendering 3D (prospettiva e background)

3. Fotografia ritoccata

4. Semplificazione al tratto

5. Vista anatomica

6. Disegni costruttivi

7. Disegni costruttivi normalizzati

8. Diagrammi di flusso

9. Simboli normalizzati

10. Diagrammi logici

11. Diagrammi di campo

12. Astrazione perfetta

Tassonomia dei livelli di iconicità (Moles)

A - Rappresentazione mista (modello 3D + astrazione perfetta)B – Tagli e sezioniC - endoscopia

Effetti retorici

1. Fotorealismo2. Impressionismo (image based rendering)3. Modelli di illuminazione globali4. Modelli di illuminazione locali5. Smooth shading6. Flat shading7. Disegni al tratto con eliminazione linee nascoste8. Disegni al tratto 2D9. Proiezioni ortografiche piane di forme 3D10. Prospettiva al tratto

Livelli di iconicità (verisimiglianza) nella CG

Livelli di verisimiglianza e livelli di iconicità

• RV sistema dinamico

• Gestione interazione è essenziale Navigazione Tempo reale e tempo artificiale

• Scelta modalità di interazione deve essere coerente con il livello di iconicità adottato

Livello sintattico: interazione

1. Linguaggio naturale

2. Phidgets3. Manipolazione diretta

4. Realtà aumentata

5. Metafora fisica

6. Widgets

7. Basata su menu 8. A moduli9. A comandi

7

45

6

3

21

Modalità di interazione

98

Modalità di interazione e livelli di iconicità

• Modellare in RV un sistema reale è assai complesso definire proprietà strutturali del mondo (geometria) definire le caratteristiche del modello di simulazione dei

processi fisici e chimici Massa Dinamica rotazionale Effetto collisioni Esplosioni …

• L’evoluzione del sistema può essere descritta con simulatori indipendenti che dialogano con il sistema di RV

Livello sintattico: modello

• Anche il modello può avere diversi gradi di corrispondenza con il reale Fisico-matematico: è basato su parametri

fisici ed equazioni con cui si può calcolare la sua evoluzione (dinamica di corpi rigidi, di fluidi etc.)

Impressionistico: il comporamento fisico è approssimato con metodi probabilistici o statistici (es. particle systems)

Livello sintattico: modello

• Fase di interpretazione di un messaggio I segni diventano simboli Simboli richiamano un significato

• Nella RV è determinato dalla percezione umana Per comunicare con o mediante un mondo virtuale, l’utente

deve apprendere un nuovo contesto percettivo dipende dal modo con cui i messaggi sono trasmessi dai diversi

sistemi sensoriali La nozione stessa di immersività dipende dai sistemi sensoriali

coinvolti

Livello semantico

• Visiva forma colore Profondità e spazio movimento

• Uditiva• Gestuale

tattile cinestesica

• Sinestesia Stimulazione simultanea e coordinata di diversi sistemi

sensoriali

Livello semantico: percezione

• Il rischio delle illusioni

Livello semantico: percezione

• Riguarda la relazione tra segni e loro significati così come decodificati dai partecipanti alla comunicazione sulla base delle rispettive conoscenze, credenze, cultura,

emozioni ed affetti particolare attenzione alle ambiguità

• Un atto comunicativo può essere: Imperativo (un comando) Assertivo (una affermazione di fatto) Ottativo (un desiderio)

• Nella comunicazione umana la qualificazione dell’atto si ottiene sia con il linguaggio verbale sia con quello non verbale

Livello pragmatico

• In RV se comunicazione è tra persone mediata dal sistema:

tecniche per comunicare forme non verbali (avatar con animazione facciale, ecc)

se la comunicazione è tra utente e sistema: necessaria attenta analisi in fase di design utilizzo mirato dei canali visuali e non visuali

Livello pragmatico

• Aspetto importante: stato emotivo dell'utente ha effetto sulla sua capacità di decodificare il messaggio In comunicazione uomo-uomo mediata da RV: possibilità di

introdurre feedback emotivo cambiando rendering dell'avatar In comunicazione tra uomo e sistema: stato della simulazione

adattato allo stato emotivo dell'utente

Livello pragmatico: emozioni

• Comprendere caratteristiche delle applicazioni di RV Non sulla base delle tecnologie adottate ma sulla base della qualità della comunicazione

Un framework per la classificazione della RV

• Gli assi principali sono: Struttura

Varia da simbolico a verisimile Dipende dal livello di iconicità e di verisimiglianza.

Interazione Varia da astratto a concreto Dipende dal modo di interazione scelto, possono

coesistere molteplici modi Si considerano anche i sistemi sensoriali stimolati

Modello Varia da impressionistico a fisico-matematico Dipende dalla accuratezza dell’eventuale modello fisico

matematico che descrive la dinamica del sistema Nella realtà accresciuta si considera anche la presenza di

phidgets che contribuiscono a distribuire intelligenza tra gli oggetti reali.

Uno spazio 3D di riferimento

Alcuni esempi

• Panorama QuickTime del Mars Rover. – QTVR usa molteplici foto e texture per navigare in una scena o

attorno ad un oggetto – struttura piuttosto simbolica– interazione per manipolazione diretta, bassa immersività– modello impressionistico

I ottante (-1, -1, -1)

II ottante (-1, 1, 1)

• Simulazione Industriale Struttura simbolica Interazione concreta (menu e widget- manipolazione diretta) Modello fisico, calcolo strutturale

III ottante (-1, 1, -1)

• Visualizzazione scientifica Struttura simbolica Interazione astratta Modello fisico

IV ottante (1, 1, 1)

• Simulatore di volo Struttura verisimile Interazione concreta Modello fisico

V ottante (-1, -1, 1)

• Videogioco platform Struttura simbolica Interazione concreta Modello impressionistico

VI ottante (1, -1, -1)

• Rendering fotorealistico di una macchina Struttura verisimile Interazione astratta Modello impressionistico

VII ottante (1, -1, 1)

• Realtà aumentata Struttura verisimile Interazione concreta Modello impressionistico

VIII ottante (1, 1, -1)

• Progettazione architettonica Struttura verisimile Interazione astratta Modello matematico