Sistemi Multimediali II Marco Tarini Università dellInsubria Facoltà di Scienze MFN di Varese Corso di Laurea in Informatica Anno Accademico 2004/05 Lezione I: CG: intro e applicazioni

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Sistemi Multimediali II docente: Marco Tarini ricevimento: Martedì 14: :30 o anche su appuntamento pagina del corso:

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Sistemi Multimediali II = 3D Computer Graphics

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Strumenti che useremo Linguaggio: C++ (al limite anche C potrebbe andare) IDE: DevC++ (ma e' solo un consiglio) 3D API: OpenGL Libs, Toolkits, ecc: –Qt per le interfacce (forse) –SDL per i primi esperimenti in opengl –STL per non riscrivere I soliti contenitori –...tutto quel che ci può servire per caricare unimmagine, un oggetto 3d ecc.

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Prerequsiti Programmazione Interesse Assenza di allergia totale alla matematica

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: 3D In termini generali: –Modellazione di entità tridimensionali (almeno nel nostro caso) –Sintesi di immagini a partire da queste Campo molto vasto –Noi ci occuperemmo di una piccola parte Campo in rapidissima espansione –Esiste in forze da una trentina d'anni –Noi ci occuperemo di sviluppi recenti

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Scientific Visualization Manufacturing industry –Computer Aided Design –Simulations Telecommunications –Personalized Avatars –E – Commerce Entertainment industry –Games –Cinematography Cultural heritage related –virtual museums –restoration support –monitoring Medicine –Diagnosis support –Tele surgery –Simulations Virtual Reality

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: vicini di casa Algoritmi (chiaramente) Computer Vision in un certo senso, il problema duale Geometria Computazionale Image Processing piu' sulla sponda 2D Parenti stretti: –Computer Animation cinematica inversa/directta, motion capture... –Acquisizione 3D Automatica –Display Devices incluso strumenti di visualizzazione immersiva –Haptic Devices

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Visualizzazione Scientifica –aka: SciVis, visual data analysis... (TACC Scientific Visualization group) (Pittsburg Supercomputing center) (NASA)

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Visualizzazione Scientifica –aka: SciVis, visual data analysis... (Pittsburg Supercomputing center) (NASA)

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni E-commerce 3D personalized avatars –e.g. teleconferencing...

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni applicazioni medicali –supporto alla diagnosi e.g. visualizz. CAT scans –chirurgia virtuale –tele-chirurgia

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Industria –CAD –Rapid Prototyping –Vis. of simulations results –Light Simulation...

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: giochi –forza trainante del settore (crederci o no)... Battlezone – Atari 1980Tailgunner - Cinematronics 1979

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: giochi –forza trainante del settore (crederci o no)... Doom – IDsoft 1993 Virtua Fighter - Sega 1993

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: giochi –forza trainante del settore (crederci o no)... Doom 3- ID soft 2004 World of Warcraft, Blizzard Entertainment 2004

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: movie industry –CG animations Luxo Jr - Pixar 1986 Geri's Game - Pixar 1997

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: movie industry –CG animations –Feature movies Toy Story - Pixar 1995 Geri's Game - Pixar 1997

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: movie industry –visual effects (non special fx) Jurassic Park - Universal Studios 1993 Star Wars: The Phantom Manace - Lucasart 1999

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Entertainment: movie industry –Feature movies fotorealistici Final Fintasy – Squaresoft 2001 Final Flight Of the Osiris – Squaresoft 2003

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali –Presentazione musei virtuali cataloghi di musei reali supporto alla didattica documentaristica... –Supporto al restauro Modello 3D come GIS Simulazioni... –Studio Analisi dei dati vedi SciVis

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali: –tutto parte dall'acquisizione... Visual Computing Lab – Stanford Uni 2000

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali DigMich Project – Stanford Uni 2000

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali –supporto al restauro

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali –supporto al restauro

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali –modello 3D come "GIS"

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali –musei virtuali –supporto multimediale musei tradizionali

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Beni Culturali –presentazione in rete

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni es: simulaizone caduta contaminanti 5 degrees 15 degrees Beni Culturali: simulaizoni

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: applicazioni Scientific Visualization Manufacturing industry –Computer Aided Design –Simulations Telecommunications –Personalized Avatars –E – Commerce Entertainment industry –Games –Cinematography Cultural heritage related –virtual museums –restoration support –monitoring Medicine –Diagnosis support –Tele surgery –Simulations Virtual Reality

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Computer Graphics: schema ricorrente Problema Modello del problema modellazione / formalizzazione / astrazione Geometria produzione Immagine/i rendering insight (si spera) e.g. Sci-Vis

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a applicazione interattiva Computer Graphics: altro schema ricorrente mondo reale acquisizione automatica / misurazione Geometria Immagine/i rendering preprocessing modelling e.g. applicazione beni culturali

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a applicazione interattiva Computer Graphics: altro schema ricorrente 2 modellazione artistica acquisizione automatica / misurazione Geometria Immagine/i preprocessing modelling e.g. games rendering

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Rendering Parola molto generale: ModelloImmagine rendering composto da varie primitive

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a immagine rappresnetante la pagina Rendering Esempio: nei web browser rendering... testo in HTML (+ immgini, etc)

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Rendering Rendering 3D Scena 3D rendering Immagine

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Immagine Rendering Rendering 3D Scena 3D rendering... modello 3D punti 3D patches...

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Algoritmi di Rendering Due tipi: –On-Line Rendering Interattivo: circa 1 – 10 frames per sec ("fps") Real-Time: circa fps –Off-line Rendering Diversissimi: –applicazioni –vincoli –qualita' (e.g. fotorealismo) –algoritmi –insomma: approcci diversi, mondi diversi.

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a On Line Rendering

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Real Time VS Offline rendering Distanza si accorcia Jurassic Park - Universal Studios Virtua Fighter - Sega 1993 Jurassic Park - Universal Studios 1993

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Real Time VS Offline rendering Distanza si accorcia Jurassic Park - Universal Studios 1993 Final Flight Of the Osiris – Squaresoft Final Fintasy – Squaresoft 2001 nVIDIA tech demo at SIGGRAPH 2001 nVIDIA quadro 2001

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Rendering Rendering 3D Scena 3D rendering Immagine

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Immagine: su che display hardware? Su un monitor, naturalmente! Il tubo catodico: un fascio di elettroni viene diretto su una superficie coperta di materiale fosforescente –Display vettoriali: il fascio veniva pilotato direttamente in maniera totalmente libera –Display CRT moderni: raster linea per linea, si spazza tutto lo schermo un certo numero di volte al secondo (refresh rate) Asteroids – Atari 1980 Bomb jack - Tehkan 1984

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Frame buffer Una porzione di memoria dedicata alla memorizzazione dellimmagine –come array 2D di pixel da mostrare a video. Caratteristiche: –Risoluzione (numero di pixel) Range tipici 320x x1200 –Profondità (bit per pixel) Range tipici 1 32 (128) Divisi in tipicamente 3 canali

M a r c o T a r i n i S i s t e m i M u l t i m e d i a l i I I / 0 5 U n i v e r s i t à d e l l I n s u b r i a Rendering Rendering 3D Scena 3D rendering Immagine riempire il frame buffer