Image Based Rendering Daniele Marini

Image based rendering ricavare informazioni per il rendering dalle immagini acquisite profondita’ colore BRDF luminanza

Ricavare la geometria Ricostruzione della profondità da immagini multiple problema della inversione della proiezione prospettica

la “costruzione legittima” L.B. Alberti

Come ricavare la forma? Shape from shading Shape from motion

Shape from stereo

b= 65 mm distanza interpupillare

Ricerca dei punti corrispondenti

Metodi basati su immagini Ricostruzione “a quinte” Mapping di panoramiche su forme regolari (cilindri, calotte sferiche)

Ricostruzione a “quinte” Ricavando z per diversi piani di profondità permette di organizzare la scena come “quinte” teatrali Ogni immagine viene mappata come texture su una superficie a profondità z Si può esplorare la scena con sistemi di visualizzazione 3D

Panoramiche: QuickTimeVR Costruzione dello “stitch” Stima dell’obiettivo Correzione prospettica Collimazione fotogrammi Mapping dello stitch Costruzione sequenza video Dislay con interpolazione

Un esempio

Stima obiettivo

Collimazione immagini

Mapping dello stitch

Tiling: fotogrammi chiave e traiettorie di navigazione

Tiling e compressione

Il risultato

Struttura ipertestuale Si possono inserire “hot spots” per collegare scenari diversi La struttura del meta-filmato:

Oggetti Si possono creare modelli virtuali di oggetti Riprese multiple di un oggetto, organizzate in un array 2D Il mapping idealmente è su una struttura sferica

Scene e link Panorami e oggetti si possono organizzare in scene Il passaggio a scene, panorami e oggetti diversi avviene con hot spots Sono disponibili links URL

Costruzione dello “stitch” Determinare lo scarto tra due immagini: Basato su caratteristiche delle immagini Correlazione di fase

Correlazione di fase La correlazione di fase è basata sulla valutazione della fase del Cross Power Spectrum (CPS) delle due immagini. Se una delle due immagini è una replica sfasata dell’altra, cioè se: f2(x,y) = f1(x+x0,y+y0) la fase del Cross Power Spectrum delle due immagini f1 e f2 è data dall’equazione:

Correlazione di fase (cont.) F è la trasformata di Fourier dell’immagine f e F* è la sua coniugata complessa. La trasformata di Fourier inversa dell’equazione è solitamente un impulso di coordinate (x0,y0) la cui posizione indica lo scostamento cercato.

Correlazione di fase (cont.)

Ricostruzione con luce coerente Esame del profilo della forma delineato con un fascio laser

La faccia nascosta della luna Ricostruzione da proiezioni multiple (TAC, NMR)

Proiezioni multiple

Trasformata di Radon x’,y’ coordinate del punto trasformato per rotazione R viene rilevato più volte al variare dell’angolo l’inversione dell’equazione produce f(x,y)

HDRI e Image-Based lighting Uso di immagini ad alta dinamica di un ambiente per illuminare oggetti virtuali.

HDRI Bisogna acquisire un’immagine ad alta dinamica di un ambiente. Varie soluzioni: Mirrored Ball Fisheye lens Panoramic camera Stitching

Mirrored ball

Fisheye lens

Image-Based Lighting (1\4) L’immagine ad alta dinamica fornisce i valori di luminanza reali di tutti i 360° della scena. Utilizzandola come environment riesco a renderizzare oggetti virtuali che sembrano inseriti nella scena reale

Image-Based Lighting (2\4)

Image-Based Lighting (3\4)

Image-Based Lighting (4\4)