Museo virtuale dell'antica Via FlaminiaBehind Livia's Villa

un progetto di ricerca

sulla trasparenza del dato in ambiente 3d Web

S. Pescarin*, E. Demetrescu*, D. Ferdani*, G. Lucci Baldassari*T. Drevensek**

*CNR ITABC e **FRAUNHOFER

LOW COST 3D: SENSORI, ALGORITMI E APPLICATIONITrento, 8-9 Marzo 2012

Museo Virtuale della Via Flaminia Antica: 2008

Dal 2008 - Museo Nazionale Romano (Terme di Diocleziano)

Progetto di realtà virtuale multiutenza (4 utenti) Esplorazione interattiva di 2 siti (Villa di Livia e Malborghetto) e filmica di altri 2 (Grottarossa, Ponte Milvio) sulla Flaminia

www.vhlab.itabc.cnr.it/flaminia

video from min. 3:40

Museo Virtuale della Via Flaminia Antica: 2008

Dati acquisiti con tecniche range based e image based

Modellazione 3d software closed (3d Studio Max)● modelli ricostruttivi (creazione della villa di I sec d.C.)● modelli restitutivi (ottimizzazione meshes)● modellazione characters

-> filmati

software Virtools dev● licenze runtime (1 server e

4 clients)

Proiettore stereo attivo

Museo Virtuale della Via Flaminia Antica: 2011

> chiusura della sala: giugno 2011 - problemi di manutenzione (personale dei musei non è pronto a gestire giornalmente in piena autonomia un'installazione tecnologica) . spegnimento / accensione. mancanza di condizionamento > schede grafiche . licenze run time!! (> 1 mese di chiusura della sala ! Dassault Systemes)

Il ciclo di vita delle installazioni 3d

● La brevità del ciclo di vita è un problema diffuso● Crescita esponenziale tra il 1998 e il 2008● Di 40 casi realizzati solo il 50% è ancora accessibile, il 23%, se si

considerano i casi precedenti il 2009 (c.s. volumi EAC Occasional Papers Series in corso di stampa).

○ mancanza di accessibilità alla conoscenza○ mancanza di accessibilità ai dati di studio○ spreco di risorse quasi esclusivamente pubbliche

● progetti europei come V-MUST.NET (www.v-must.net). Tra le attività di V-MUST rientrano alcuni test di ri-utilizzo di asset digitali appartenenti a progetti non più accessibili e di porting all’interno di nuove piattaforme aperte.

Museo Virtuale della Via Flaminia Antica: 2012-2014

1.Flaminia Reloaded: 1. porting in Unity 3D 2. focus su creazione di un'esperienza per il visitatore del museo

basata su narrazione e interazione naturale2.Behind Livia's Villa:

1. Riutilizzo degli asset digitali SOLO DELLA VILLA DI LIVIA (il sito più importante)

2. Accesso on line dei Dati Multimediali3. Focus sull'accesso alle informazioni connesse ai dati (metadati)

comprese quelle relative al processo di interpretazione e ricostruzione (informazioni non accessibili nell'applicazione al museo)

4. Test di sistema non a plug-in: webGL / X3Dom

Gli assets della Villa di Livia

● Modelli 3d della villa allo stato attuale (.max)○meshes ottenute da scanner laser○meshes decimate per l'applicazione in realtime○ textures ottenute da battuta fotografica sul campo

● Modelli 3d della villa ricostruita (.max)○modellati direttamente nel software di modellazione a

partire dai dati disponibili e secondo un'ipotesi ricostruttiva

○ textures preparate a partire da uno studio filologico

Stato dell'arte: la comunicazione fra i softwares per la modellazione 3D

Problemi nella comunicazione tra i softwares:● mancanza di uno standard davvero condiviso● dinamiche commerciali di contenimento del workflow di lavoro

all'interno dei softwares facenti capo alla stessa società

Un virtuoso precedente: Open EXR (http://www.openexr.com)● E' un formato di immagine HDR per l'utilizzo in applicazioni di

computer imaging.● Creato da ILM (Industrial Light & Magic, una divisione di

Lucasfilm Ltd)● Formato Open rilasciato con licenza BSD● E' ormai uno standard nel settore ed è ampiamente usato.

Come passare da 3DStudio Max a Blender ?

● file originali in formato .max● esportazione da 3DStudioMax in diversi formati "intermedi"

per cercare la pipeline più agevole:

○ 3DS: Il formato viene letto correttamente da Blender ma non supporta nomi più lunghi di 8 caratteri

○ dae collada: Il formato non è correttamente interpretato da Blender (a causa dello scarso supporto fornito dalla comunità di OpenCollada) che potrebbe rinunciare completamente a questo formato.

○ Obj: il formato è correttamente interpretato per quanto concerne le geometrie e, con alcuni accorgimenti, permette di importare correttamente i modelli in Blender

○ Esiste un tool di passaggio da Max a Blender basato su obj: http://wiki.blender.org/index.php/Extensions:2.6/Py/Scripts/Import-Export/3DS_MAX_Scene_Interchange

La comunicazione fra software

ambito closed

● fbx (Autodesk)

ambito open

● obj (Wavefront Technologies)● collada dae (Khronos Group):

○ Apple MacOS Lion iBooks, Google Earth, Sketchup, Adobe.● Alembic (Sony Pictures Imageworks and ILM)

collada open letter https://collada.org/mediawiki/index.php/Open_Letter_March_2012

Da 3DStudio Max a Blender tramite Obj

1. Problemi riscontrati

● i nomi degli oggetti:

○ gli oggetti hanno assunto solo una numerazione incrementale.

○ i nomi delle meshes sono corretti.

○ attraverso uno script è possibile ripristinare i nomi: meshes->oggetti

Da 3DStudio Max a Blender tramite Obj

2.Problemi riscontrati

● trasparenze nei materiali tramite script è possibile modificare tutti i materiali insieme

for ma in bpy.data.materials: ma.alpha = 1.0 ma.use_transparency = False

Blender e Python:● E' possibile preparare uno script anche senza particolari competenze nel

linguaggio python:

Gestione dei files in Blender

● Divisione delle stanze (+30) in files diversi○ stanza = unità minima funzionale○ agevolare la produzione dei LOD○ gestione semplificata delle sovrapposizioni con i

corrispondenti modelli ricostruttivi

● Sistema a gruppi istanziati○ Ogni stanza = un gruppo○ files di raccordo in cui sono istanziati i modelli○ sistema semplificato per riproiettare le coordinate○ team-enabled (svn su hpc-forge sviluppato da

CINECA)

Da Blender a X3D

● Blender esporta nativamente nel formato x3d (http://www.x3dom.org/?page_id=1101)

L'export da Blender a X3D nel caso preso in esame non ha dato problemi né di geometrie nè di shaders dimostrando di essere una soluzione affidabile.

Alcune modifiche all'X3D sono state tuttavia necessarie per migliorare l'integrazione in X3Dom.

L'annosa questione...

● Come veicolare contenuti 3D complessi su WEB?> http://www.web3d.org/x3d/wiki/index.php/X3D_and_HTML5

● Plug-in o non plug-in?○ OpenSceneGraph e OSG4WEB (demo Aquae

Patavinae)○ WebGL

All'interno di questo progetto abbiamo deciso di testare le funzionalità del framework X3DOM sviluppato dal Fraunhofer IGD che è uno dei partner di V-Must, e di vedere quanto poteva avvicinarsi come flessibilità e prestazioni alla nostra esperienza sviluppata in-house.Quello che riportiamo è il risultato in progress di questo esperimento.

X3Dom

www.x3dom.org

X3dom è un framework javascript in grado di incapsulare dati espressi in formato x3d, all'interno di pagine HTML5 compliant.

● Framework di più alto livello rispetto a WebGL

● OpenSource/Free

● Basato su di una struttura della scena a grafo.

Da X3D a X3Dom

Lo scopo del progetto è portare gli ambienti della Villa di Livia in un'applicazione online, renderli esplorabili in maniera interattiva, e consentendo agli utenti di accedere ai metadati cliccando sugli oggetti, partendo dai 7 ambienti principali.

● Obbiettivo realizzabile con un server LAMP + X3Dom.

Un concept più adatto a X3Dom

L'applicazione attuale (dismessa) è un'installazione museale che offre:

● un ambiente di navigazione collaborativo 3D realtime● l'accesso a filmati e dati storici● una narrazione che coinvolge il visitatore

L'obiettivo è:

● creare un ambiente di navigazione non collaborativo 3d real time● accedere a informazioni di vario genere ● il focus sono le informazioni, non la narrazione

Abbiamo dovuto riconsiderare il lavoro in base alle potenzialità del framework X3Dom, trasformandolo in un sistema per la navigazione guidato, arricchito di metadati consultabili dal visitatore.

Un obbiettivo ambizioso?

Stato dell'arte - X3Dom● visualizzatore/manipolatore di oggetti semplici● alcuni esempi (i.e. animazioni fra cambi di viewpoint... )

Funzionalità richieste:● gestione di dati di dimensioni abbastanza importanti● interazione con oggetti● sistema di navigazione ad hoc● funzionalità di gestione di trasparenze in tempo reale, etc etc...

Problematiche

I problemi incontrati fin'ora riguardano:

● le funzionalità del framework● le caratteristiche degli assets originali (sistema di nomi,

dimensioni di modelli e textures pensate per funzionare in un contesto locale).

Soluzioni:

● collaborazione fra sviluppatori (Fraunhofer IGD) e utenti finali (noi) :)

● alcuni script python per automatizzare le conversioni di assets composti da numerosi elementi

A che punto siamo...

Si è deciso di affrontare per primo il problema più spinoso: quello della visualizzazione.

Reorganizzazione della scena, suddividendola in ambienti più piccoli, risolvendo problematiche di caricamento e gestione di differenti livelli di dettaglio, in modo da minimizzare quanto più possibile sia la complessità della scena per il client, quanto l'utilizzo di banda.

Creazione di alcuni parti di codice jscript ad-hoc che interagiscono col framework, per animazioni e debugging.

Conclusioni, questioni aperte

● La conversione (senza perdere informazioni) da formati chiusi a formati aperti è una questione aperta e necessita' di linee guide ed esempi disponibili per la comunità:

○ necessita comunque un'installazione del software proprietario di partenza

● L'ottimizzazione dei modelli 3d (già realizzati) fra applicazioni on-site e applicazioni on-line comporta delle scelte ed un aggravio di lavoro per la produzione dei livelli di dettaglio

● Lo storage dei modelli e dei metadati ed il loro riutilizzo finalizzato alla visualizzazione interattiva on line comporta delle scelte di infrastruttura del lavoro ancora in discussione

● questioni relative alla scelta del “Propriety Right” nel settore Beni Culturali nel caso di applicazioni 3d on line connesse a repository e sistemi di storage accessibili all’utente

AspettativeIl progetto della Villa di Livia è on going e sarà concluso presumibilmente ad Aprile/Maggio 2012.La parte di accesso ai metadati essendo connessa con lo sviluppo della piattaforma v-must sarà disponibile in versione beta solo alla fine dell'anno. Qual'è il risultato aspettato?A conclusione del lavoro dovrebbe essere possibile:- rendere nuovamente disponibili on line, per una fruzione anche domestica da parte del pubblico, gli assets 3d, connessi ai metadati, mantenendo qualità e contenuto informativo, senza introdurre particolari oneri economici, aprendo la strada ad ulteriori sperimentazioni future. - mettere a disposizione anche la documentazione relativa alle conversioni dei dati e alla costruzione dell'applicazione on line step-by-step (al momento stiamo utilizzando Trac (in HPC-FORGE))