7 Luglio, 2005Verona, 4° incontro LIMA 3D1 Laboratory of Image Analysis and Vision Università degli Studi di Milano Dipartimento di Scienze dellInformazione Quarto incontro LIMA 3D

7 Luglio, 2005Verona, 4° incontro LIMA 3D2 Due Approcci per la ricostruzione 3D di volti Modello semantico del volto Mesh sparsa i cui vertici hanno una semantica nota Permette di calcolare misure biometriche significative maggiore semplicità Stereo matching denso Mesh densa del volto, ricostruito con maggiore dettaglio e precisione

7 Luglio, 2005Verona, 4° incontro LIMA 3D3 Modello semantico del volto Modello 3D di un volto generico Deformato per adattarlo al volto di uno specifico individuo Modello di CANDIDE: mesh avente 114 triangoli e 64 vertici

7 Luglio, 2005Verona, 4° incontro LIMA 3D4 Primo passo: ricostruzione 3D di 15 punti caratteristici del volto, determinati su tre immagini stereo dello stesso individuo i vertici del modello 3D corrispondenti ai punti caratteristici sono i punti di controllo usati per deformare la mesh Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D5 I due passi di deformazione del modello Allineamento globale: Trasformazione affine per ottenere un sistema di riferimento unico Adattamento locale: Spostamento dei punti di controllo In modo che coincidano coi 15 punti caratteristici ricostruiti Spostamento degli altri vertici del modello in funzione dello spostamento dei punti di controllo ogni punto di controllo ha una regione di influenza sulla mesh di Candide Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D6 Il modello di Candide è formato da un basso numero di triangoli ed è quindi: Facilmente implementabile Velocemente deformabile MA La semplicità del modello non permette di ottenere significative deformazioni Le ricostruzioni di volti diversi appaiono simili Necessità di un modello più preciso Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D7 Modello 3D creato per ogni individuo sulla base di: 15 punti caratteristici localizzati nelle immagini stereo del volto 72 vertici aggiuntivi: 22 vertici inferiti sulla immagine frontale 25 vertici inferiti per ognuna delle immagini laterali Per ciascuno di questi vertici si cerca la corrispondenza Modello finale con 156 triangoli Problema: determinare corrispondenze precise dei 72 punti Il nuovo modello Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D8 Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D9 Per ogni cammino viene cercato il cammino corrispondente nellimmagine di ricercacammino corrispondente Modello semantico del volto Ricerca delle corrispondenze Si definiscono tre cammini che partono da un punto caratteristico (. ) e terminano nel punto ( X ) di cui si cerca il corrispondente Il mediano tra i tre corrispondenti trovati per il punto X è il corrispondente del punto X stesso.

7 Luglio, 2005Verona, 4° incontro LIMA 3D10 Risultati Corrispondenze trovate Modello ricostruito Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D11 Integrazione dei due modelli Modello semantico del volto

7 Luglio, 2005Verona, 4° incontro LIMA 3D12 Stereo Matching Denso Ricerca di corrispondenze dense su immagini stereo, mediante lutilizzo di misure di similarità, al fine di definire una mesh densa Vincoli Esistenza ed Unicità delle corrispondenze Continuità e Smoothness della superficie 3D Vincolo di Ordinamento Vincolo Epipolare

7 Luglio, 2005Verona, 4° incontro LIMA 3D13 Metodi Locali vs. Globali Metodi locali : corrispondenze non accurate in regioni a basso gradiente Metodi globali : spesso con programmazione dinamica che non permette controllo dellalgoritmo Risoluzione delle immagini Bassa risoluzione : consente solo una ricostruzione grossolana Alta risoluzione : caratterizzata da un basso rapporto segnale-rumore Disparità delle immagini Bassa disparità : il problema di ricostruzione è più sensibile agli errori Alta disparità : distorsione prospettica maggiore

7 Luglio, 2005Verona, 4° incontro LIMA 3D14 Algoritmi sperimentati 1.A.Fusiello, V.Roberto, E.Trucco Efficient Stereo with Multiple Windowing CVPR 97 2.C.L. Zitnick, T. Kanade A Cooperative Algorithm for Stereo Matching and Occlusion Detection PAMI K. Jonsson Shader-based stereo matching with local algorithms Master thesis in Lund University C. Sun Fast Stereo Matching using Rectangular Subregioning and 3D Maximum-Surface Techniques Int. Journal of Comp. Vision S. Huq, B. Abidi, A. Goshtasby, M. Abidi Stereo Matching with Energy Minimizing Snake Grid for 3D face modeling SPIE 2004 Stereo matching denso

7 Luglio, 2005Verona, 4° incontro LIMA 3D15 Stereo Matching with Energy Minimizing Snake Grid for 3D face modeling Snake grid Ricerca della corrispondenza dei vertici di una coppia di griglie Deformazione locale e iterativa di una griglia in modo da minimizzare globalmente: E int tende a mantenere la forma regolare E ext corrisponde alla funzione di correlazione Inizializzazione della griglia con scanner laser Raffinamento coarse to fine Stereo matching denso Huq, Abidi, Goshtasby, Abidi

7 Luglio, 2005Verona, 4° incontro LIMA 3D16 Metodo da noi proposto Tecnica basata sugli snake grid: Stereo matching denso Multi-risoluzione Coarse-to-fine Multi-window

7 Luglio, 2005Verona, 4° incontro LIMA 3D17 Lalgoritmo di stereo matching denso Spostamento dei vertici di una griglia per minimizzare la funzione energia: E int non tiene conto solo dello spostamento laterale ma anche di quello verticale E ext viene calcolato con un metodo multi-window Stereo matching denso 01 E int 01 E ext

7 Luglio, 2005Verona, 4° incontro LIMA 3D18 Spostamento di un nodo della griglia 01 10% E Spostamento simultaneo dei nodi della griglia Simulazione di tale spostamento simultaneo tramite unevoluzione iterativa Minimizzazione dellenergia totale E tot della griglia

7 Luglio, 2005Verona, 4° incontro LIMA 3D19 Levoluzione degli snake grids

7 Luglio, 2005Verona, 4° incontro LIMA 3D20 Levoluzione degli snake grids

7 Luglio, 2005Verona, 4° incontro LIMA 3D21 Sviluppi futuri Miglioramenti di entrambi gli approcci Definizione di una mesh sparsa più dettagliata Ottimizzazione del metodo di stereo matching denso Integrazione dei modelli Unione dei due modelli al fine di avere un modello ben dettagliato con semantica

7 Luglio, 2005Verona, 4° incontro LIMA 3D22 Efficient Stereo with Multiple Windowing Area-based algorithm: adotta la SSD come misura di similarità Multiple Windows: IDEA: mantenere quella a massima similarità Utilizza 9 diverse finestre Left-Right Consistency constraint: Riconosce e gestisce le occlusioni Uncertainty Estimate: Stima laffidabilità delle disparità calcolate Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura Stereo matching denso Fusiello, Roberto, Trucco

7 Luglio, 2005Verona, 4° incontro LIMA 3D23 A Cooperative Algorithm for Stereo Matching and Occlusion Detection Vincoli di unicità e continuità Si basa su: Template adattativo Volume 3D di correlazione Aggiornamento iterativo delle corrispondenze Occlusioni: Rilevate tramite sogliatura dei valori di corrispondenza Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura Stereo matching denso Zitnick, Kanade

7 Luglio, 2005Verona, 4° incontro LIMA 3D24 Shader-based stereo matching with local algorithms Input: immagini rettificate Costruzione delle piramidi multi-risoluzione Ricerca delle corrispondenze al livello più alto (Inizializzazione della disparity map) Per ogni livello Inizializza la disparity map interpolando quella del livello superiore Raffinamento delle corrispondenze usando la SSD Problemi: È molto sensibile allinizializzazione Non sfrutta i vincoli di ordinamento e di smoothness Stereo matching denso Jonsson

7 Luglio, 2005Verona, 4° incontro LIMA 3D25 Fast Stereo Matching using Rectangular Sub- regioning and 3D Maximum-Surface Techniques Vincoli: di continuità ed epipolare Algoritmo: Suddivisione delle immagini in sotto regioni per il calcolo veloce della similarità (RSR) Costruzione di un volume 3D di correlazione Utilizzo di una tecnica di programmazione dinamica per la ricerca nel volume 3D della superficie di somma massima (TSDP) Problemi: la convergenza non è uniforme Non cè controllo sullalgoritmo Stereo matching denso Sun

7 Luglio, 2005Verona, 4° incontro LIMA 3D26 Corrispondenze tra cammini La ricerca del cammino corrispondente parte dal punto caratteristico Per ogni punto del cammino si estrae un template centrato nel punto stesso; si cerca il corrispondente nellintorno rettangolare centrato nel punto precedentemente trovato; la misura di similarità usata è la Zero Normalized Cross Correlation (ZNCC) Trovare le corrispondenze Punti caratteristici corrispondenti Torna