Produrre programmi con studi Virtuali

Sebastian Sylwan

sebastian@videoprogetti.it

Che cosa è un Virtual Studio ?

Fondamentalmente un “accozzaglia” di apparecchiature ad altissimo livello tecnologico.

Scenografie virtuali con attori reali.

Nessuno deve accorgersi della finzione

A che cosa serve ?

Ambiente di produzione completamente digitale

Ottimizzare gli spazi e le risorse

Risparmiare sui costi

Riutilizzare le risorse

Ambiente di produzione digitale

Tutti gli elementi sono disponibili in formato digitale

La scenografia sta in un database

Diversi set-up dello studio possono essere progettati e richiamati

Le risorse di calcolo ad alte prestazioni possono essere centralizzate e condivise

Il design può essere fatto su computer a basso costo

Gli elementi possono essere archiviati e riutilizzati

Avere elementi digitali facilita la post-produzione e il riutilizzo

Ottimizzare spazi e risorse

Nello stesso studio giro innumerevoli programmi

Devo comprare meno camere, regie, monitor, etc.

Tempo per cambiare le scenografie irrilevante

Costruzione di scenografie 3D

molto più semplice ed economico rispetto a quelle reali

molto più veloce

facilità di correggere ed adattere alle esigenze

riusabilità

Che cosa implica ?

Nuove professionalità

Forte integrazione tra mondo video e informatico

Convergenza…

Diversi campi tecnologici

– Rendering fotorealistico in tempo realeRendering fotorealistico in tempo reale

– Sensori elettromeccaniciSensori elettromeccanici

– OtticaOttica

– Trattamento del segnale video digitaleTrattamento del segnale video digitale

Nuove Professionalità

Scenografi “Virtuali”

Modellatori 3D

Attori

Assistente alla regia

Direttore tecnico

Sceneggiatori

Registi

Autori

Cameraman

Tecnici di illuminazione

Miglioriamo i modelli di produzione

Espandiamo lo spazio di studio esistente

Ambiente di produzione completamente digitale

Strumenti per il desing vs strumenti per la produzione

Sessione tipica in un Virtual Studio

Espandere lo spazio di studio esistente

incrementare il rendimento

più programmi in un unico studio

cambiamenti veloci

maggiore produttività

le scene sono indipendenti dallo spazio di studio

le informazioni possono essere associate al programma/ripresa

i dati di design e di produzione passano alla post-produzione

Tools for design vs. production

Design: guidato dal costo

modellazionemodellazione

illuminazioneilluminazione

animazioneanimazione

Produzione: guidata dalle prestazioni

Composizione di sceneComposizione di scene

pre-produzionepre-produzione

display real-time dinamicodisplay real-time dinamico

Texture painting 3D modeling & animation

Typical Design Tools

Production Tools

Scene composition Pre-production

Production Tools

Production

Come è fatto uno studio virtuale ?

3D modeling - Studio Design

Rendering Real-Time

Camera Tracking

Blue Back / Chroma Keying

Matte Keying

Switching

Optical tracking / measuring

Come è fatto uno studio virtuale ?

Una tipica sessione in studio virtuale

Scegliere la scena

Scegliere lo studio

Caricare le impostazioni dello studio

Caricare la registrazione della scena

Tarare le camere

Registrare

Post-produrre

Integrazione

Mettere insieme apparecchiature di “mondi” diversi

Sincronizzare alla perfezione in tempi strettissimi

Mission-critical RT

Vediamo nel dettaglio…

Modellazione 3D

Blue Back / Keying

Calibrazione

Registrazione

Modellazione 3D

Interna o esterna al pacchetto software...

…ma pensata esplicitamente per uno Studio Virtuale

Ottimizzazione per il rendering Real-time

Vapour deve generare 50/60 immagini / secondo

Devo necessariamente ottimizzare

Dal progetto al modello

Ottimizzazione degli studi 3DUsare colori invece di materiali ove possibile

Limitare il numero delle luci / usare texture per ottenere effetti di luce

“Spegnere” i lati posteriori degli oggetti se non sono visibili

Ridurre il numero di vertici nelle geometrie

Minimizzare l’uso di oggetti importati (t-mesh) e delle trasparenze

Nascondere/rimpiazzare gli oggetti “video” e i “dummy” quando non vengono usati

Creare texture con degli oggetti di testo fissi

Diminuire la risoluzione del testo con corpo piccolo

”Spegnere” i lati posteriori del testo 3D

Disabilitare lo z-buffer / riorganizzare gli elementi secondo l’ordine di rendering

Pixel fill rate: 10 cubi vengono resi prima di un unico cubo che riempie lo schermo

Far ereditare le proprietà agli oggetti quando possibile

Ottimizzazione del modello

Illuminazione

È importantissimo mantenere una coerenza nell’illuminazione per evitare artifatti percepiti come “falsità” della scena.

Prestare attenzione alle dominanti cromatiche dello studio virtuale e ricrearle (color-correction) nei talent enegli elementi reali (blue-spill)

Le sorgenti di luce devono provenire dalle stesse direzioni sia nel modello virtuale che nello studio reale, per ottenere una coerenza nelle ombre e nell’illuminazione

Typical Design Tools

Simulazione dell’illuminazione

Calibrazione dello Studio Virtuale

Blue Back

Blue Back: fattori critici

Perché blu ?

Illuminazione uniforme

Distanza dalle pareti

Ombre

Coerenza cromatica

Indumenti

Riflessi

Limbo e illuminazione

Angoli del Limbo

Chroma Keying

Le componenti del Blu vengono eliminate e al loro posto vengiono inserite le immagini generate dalla WS.

A questo “mascheramento” sul colore si aggiunge una maschera proveniente dalla WS stessa che decide se un oggetto sta davanti o dietro il “talent” e lo maschera di conseguenza (talent-tracking)

“Mappare” il virtuale sul reale

Devo creare un modello virtuale del mio blue-back reale e posizionarlo (posizione, scala, orientamento) nel mio studio virtuale

Devo posizionare molto precisamente le telecamere reali all’interno del set virtuale

Movimento e posizione delle camere

La visione prospettica della scena virtuale cambia con i movimenti delle camere, quindi questi devono essere acquisiti con la massima precisione possibile

I dati di movimento, posizione, zoom, pan e tilt delle camere devono arrivare a tutte le WS che fanno il rendering nel minor tempo possibile per non introdurre delay

Devono essere sincronizzati

Vediamo i diversi tipi con Pro e Contro

Camera tracking: meccanico

– Altissima precisioneAltissima precisione

– Bassi delayBassi delay

– Calibrazione più criticaCalibrazione più critica

– Camera rigCamera rig

– CraneCrane

– DollyDolly

– Necessità di taratura ottica precisaNecessità di taratura ottica precisa

Camera tracking: Pattern recognition

– Libertà di movimento (relativa)Libertà di movimento (relativa)

– Basso costoBasso costo

– Shoulder cameraShoulder camera

– Poco preciso / Velocità limitataPoco preciso / Velocità limitata

– ScattiScatti

– Alti delayAlti delay

Camera tracking: Elements search

– Device ausiliari (tipicamente a IR)Device ausiliari (tipicamente a IR)

– Shoulder camera (totale libertà di movimento)Shoulder camera (totale libertà di movimento)

– Poco precisoPoco preciso

– Bassissimi delay (< 1 frame !)Bassissimi delay (< 1 frame !)

Mettiamo insieme le cose

Rendering in tempo reale

Dipendente dalla posizione e dai movimenti delle camere reali

Virtual Cameras solo per immagini di sintesi

Unire le immagini

Unire le immagini

Devo ora integrare le immagini di sintesi con quelle naturali

Le immagini naturali sono girate su sfondo blu

Interfaccia

Risultato

Schema Generale

Un idea delle dimensioni

Produzione vs. Post-produzione

I dati provenienti dalle telecamere possono essere utilizzati “on the fly” oppure registrati per utilizzarli in post-produzione

Tutta l’interazione con lo studio virtuale compreso lo switching tra le telecamere (Program e Preview) viene fatto attraverso un PC

Questo permette di integrare grafici e dati dal mondo esterno con estrema facilità

Ho anche un notevole controllo e possibilità di automazione (scripting)

External Control - Producer

External Control

On air graphics

On air graphics

Caratteristiche Principali

resolution-independent rendering up to HDTV 1920x1080p as shown on NAB

full external control, producer 1.5x is really nice as it's able to read in, display and use frost's scene tree

texture load in background w/o affecting fg performance

two separate renderers with switch/crossfade/fade to black

Caratteristiche Principali

overlays, ie you can have a background scene and an overlay eg for a lower 3rd, this will always stay in place regardless of what you do with the camera

support for new thoma walkfinder interface w/ autocalibration and shoulder camera, enhanced protocol for super-fast data transmission (delay < 1 frame NTSC)

motion path feature

fully integrated synchronous switching solution

soon to come: triple renderer w/overlays, fast high quality 2d text, enhanced virtual camera features, tight 3DS MAX integration,

Camera 1

Camera 2

Backstage

Installazione

Installazione

Riferimenti (3D):

http:// www.gdmag.com Game developer magazine, real-time tips and tricks

http:// www.gamasutra.com Game related Real-time tips and tricks, lots of info.

http:// www.kinetix.com 3D Studio Max

http:// www.charm.net/learning.html Links to Unix, internet….

http:// www.3dcafe.com An excellent starting location! Links, free textures and objects

http:// avalon.viewpoint.com Free model archive for all formats (hosted by Viewpoint)

http:// www.acuris.com Models

http:// www.meshmart.org VRML models

http:// www.3name3d.com Models

http:// www.3d-design.com Based on the magazine, a lot of tillable free textures!

Riferimenti:

http://www.ultimatte.com

http:/www.discreet.com

http://www.thoma.com

Designing 3D Graphics

How to Create Real-Time 3D Models for Games and Virtual Reality

Includes CD-ROM Josh White 383 Pages ISBN 0-471-149268 www.vectorg.com/book/index.html

Grazie dell’attenzione

Per qualsiasi domanda:

sebastian@videoprogetti.it

Tra qualche giorno troverete queste slide qui:

http://www.media.dsi.unimi.it/~seba/