Lezione 1: Introduzione

Informatica e Produzione Multimediale

Docente: Umberto Castellani

INFORMAZIONI GENERALI

E-mail: umberto.castellani@univr.it Pagina web:

http://www.sci.univr.it/~castella/teaching.html

Ricevimento:– Giovedì dopo lezione (luogo da definire)

Organizzazione del corso

Lezioni con proiezione di lucidi Esercitazioni in laboratorio

Materiale didattico:– “Comunicazione visiva digitale – fondamenti di eidomatica”,

D. Marini, M. Bertolo, A. Rizzo. Addison-Wesley– “Audio e multimedia” V. Lombardo, A. Valle. Apogeo– Dispense e siti web consigliati dal docente.– Materiale dello scorso anno:

http://profs.sci.univr.it/%7Ecastella/teaching.html

Scopo del corso

Approfondire i concetti fondamentali del multimedia

Approfondire i principi di elaborazione automatica di dati multimediali

Introduzione ai principali strumenti di elaborazione di dati multimediali

Programma del corso

Principi del multimedia Gestione ed elaborazione delle immagini Animazione 2D e 3D Principi di computer graphics Gestione ed elaborazione del video Gestione ed elaborazione dei suoni

Photoshop/Illustrator Art of Illusion Final Cut

Multimedia è bello?

Il multimedia è uno strumento fondamentale per la comunicazione:– nei sistemi distribuiti (i.e., reti di calcolatori)– nei sistemi interattivi

Il multimedia permette di ridurre la barriera che separa l’essere umano dal calcolatore

Comunicazione Multimediale

Con il multimedia è possibile organizzare forme di comunicazione che adottano i codici più vari: da quelli testuali a quelli simbolici.

Si parla di Comunicazione Multimediale (o Multi-modale) in cui i diversi media vengono aggregati per la creazione di messaggi ricchi e articolati.

Linguaggio Multimediale

Il multimedia costituisce una forma di linguaggio dotato di segni che assumono valore simbolico in relazione al significato che attribuiamo a ciò che osserviamo e al valore pragmatico degli scopi della comunicazione (es. interpretazione dei colori, segnali di pericolo, allarmi).

Il linguaggio multimediale è più indeterminato del linguaggio verbale e più variegato (es. opere d’arte).

Computabilità del multimedia

I dati multimediali sono diventati computabili: esistono dispositivi in grado di creare una rappresentazione numerica dei dati multimediali.

L’informatica è la disciplina di supporto alla elaborazione di dati multimediali (es. testi, immagini, suoni, video, etc.).

Sintesi e analisi multimediale

Con l’avvento dei calcolatori i dati multimediali assumono rappresentazioni digitaliSintesi: digitale ”analogico” Analisi: ”analogico” digitaleEs: immagini.

Esempio di sintesi

Title: Kong and the Bird

Author : Goro Fujita

http://www.pocketmovies.net/cat_8_0.html

Esempio di analisi

Autori: Roberto Marzotto e Michele Aprile

Umberto Castellani Interaction Design13

Image Based Modelling and Rendering

The Campanile Movie and The Matrixhttp://www.debevec.org/Campanile/

Algoritmi e sistemi per il multimedia

E’ possibile progettare e costruire algoritmi e sistemi di programmi che permettono di elaborare un insieme di dati multimediali.

Occorre cercare quali sono i dati primitivi e le funzioni che permettono di trasformarli.

Occorre controllare con precisione il comportamento e gli effetti di tali funzioni.

Rivoluzione digitale?

L’avvento del digitale ha completamente cambiato la ‘gestione’ dei dati multimediali

Ciclo di vita dei dati multimediali: prima molto frammentato.

Es. l’ immagine viene concepita, viene creata, viene mostrata, viene distribuita, viene archiviata, viene degradata.– Per ogni una di queste fasi si usavano strumenti

tecnici distinti.

Integrazione dei dati multimediali

Le varie fasi del ciclo di vita dei dati digitali vengono integrate mediante l’uso del calcolatore.

Unificazione tecnologica: i mezzi di produzione materiale sono compresenti sul calcolatore con software specialistico.

Le capacità che erano appannaggio di diversi specialisti sono incorporate nei software

Integrazione dei media

Il calcolatore non integra solo le diverse fasi del ciclo di vita di un singolo media.

Le diverse tipologie di dati multimediali convergono sul calcolatore sotto forma di dati digitali (es. testi, immagini, suoni, etc.).

Tecnici del software?

La difficoltà di usare il software per elaborare dati multimediali frena gli aspetti ‘creativi’ dell’esperto in comunicazione multimediale.

Attenzione all’usabilità del software. Lo scopo del corso è di apprendere i principi

e le basi del multimedia e approfondire le competenze tecniche per ridurre l’intermediazione di tecnici esperti di programmazione e di sistemi informatici.

Definizione di Multimedia

Multimedia: applicazioni che usano modalità multiple includendo testi, immagini, disegni (grafici), animazioni, video, audio (suoni e voce), e che prevedono la possibilità di una qualche interazione anche in ambienti distribuiti.

da “Fundamentals of Multimedia”, Z. Li and S. Drew - Prentice Hall.

Tecnologie Multimediali

PCs, DVDs, games, TV digitale, Web, wireless, mobile phones, palmari, GPS, etc.

La tendenza è di integrare questi dispositivi su singoli dispositivi multimediali (Es. smart phone), o interi ambienti (e.g, smart room, locative media) .

Cerca su Web

Augmented reality demo Image based retrieval demo Gesture recognition demo Xbox kinetic Smar room

Discipline multimediali

Elaborazione delle immagini Computer Graphics Human Computer Interaction (HCI) Computer Vision Data compression Reti di calcolatori Basi di dati

Applicazioni multimediali

Video teleconferenze E-learning Telemedicina Ambienti cooperativi Data retrival e Data mining Realtà Virtuale e Realtà Aumentata Applicazioni audio, riconoscimento del parlato Effetti speciali

Smart desk

http://vismod.media.mit.edu/vismod/demos/smartroom/

• 3D person tracking

• Face recognition

• Facial expression analysis

• Gesture, action and events analysis

• American Sigh Language

• Vision-steered audio input

• Transaural audio rendering

Espressioni facciali

http://xenia.media.mit.edu/~irfan/research/mimic.html

Le espressioni facciali sono “inseguite” e riprodotte da modelli (avatar) sintetici

Demo 1

Demo 2

Effetti speciali

The matrix (vedi anche “Campanile” e “VIPS demo”)