Papagna Sabino Flavia Camoes Structure from Motion Papagna Sabino Flavia Camoes

Obiettivo Ricostruire un oggetto in 3D a partire da immagini dell’oggeto da più viste Vincoli: Uso di una sola telecamera Calibrazione necessaria

Strumenti Utilizzati Macchina fotografica digitale A Multiple View Geometry in computer vision [Hartley & Zisserman] Matlab

Procedura Calibrazione Telecamera Acquisizione Immagini Estrazione Features Matching Features Calcolo matrice F Ricostruzione Proiettiva Ricostruzione Affine Ricostruzione Metrica

Fase 1: Calibrazione Effettuata tramite il Calibration ToolBox Calcolo parametri intrinseci fotocamera

Fase 2: Acquisizione Immagini

Fase 3: Estrazione Features Estrazione Features mediante Harris Corner Detector In questa fase si è preferito ricavare un gran numero di punti

Fase 4: Matching Features Matching effettuato mediante correlazione SSD (Sum of Square Difference) Durante questa fase la soglia è stata alzata in modo da avere un matching più robusto

Fase 5: Calcolo Matrice F Definita in modo tale che: x’Fx=0 Si fa uso del metodo RANSAC per la linearizzazione Si eliminano gli outliers

Fase 6: Ricostruzione Proiettiva (1/2) P ha forma canonica P=[ I |0] P’ viene estratta da F Conoscendo P, P’ e le coordinate degli inliers è possibile triangolare il punto nello spazio X

Fase 6: Ricostruzione Proiettiva (2/2) Ciò che si osserva non è molto chiaro in quanto il numero degli inliers ottenuti è basso e la matrice F è affetta da errore

Fase 7: Ricostruzione Affine (1/3) Nella ricostruzione affine le linee che nella realtà sono parallele convergono in un punto detto Vanish Point La ricostruzione affine permette di riavere linee parallele anche nella ricostruzione Omografia Affine: Ha = [ I |0; ] Necessario piano all’infinito:  Necessari 3 vanish point (calcolo manuale)

Fase 7: Ricostruzione Affine (2/3) Calcolo Vanish Points non automatico Vanno trovate le rette parallele Problema: la scena deve avere diverse linee parallele in direzioni diverse altrimenti si ricade sullo stesso punto

Fase 7: Ricostruzione Affine (3/3) Il risultato ottenuto è conseguenza del precedente

Fase 8: Ricostruzione Metrica (1/2) Necessita dei parametri intrinseci della telecamera: P = [M | m] =(KK’)-1 A*A’=(M’M)-1 Hm = [A-1 0; 0 1]

Fase 8: Ricostruzione Metrica (2/2) Anche in questo caso vale la considerazione fatta nella ricostruzione Affine

Morpheus

Morpheus

Morpheus Lati positivi: Molte features Lati Negativi: Matching delle features errato Difficoltà nel trovare linee parallele da utilizzare per il calcolo dei Vanish Points

Viste Multiple Problema: L’oggetto è visto a 360°, impossibilità di avere gli stessi punti in tutte le immagini Soluzione suggerita: Le immagini vengono elaborate a coppie di 2 (img1 con img2, img2 con img3, ecc…)

Conclusione L’algoritmo realizzato presenta i seguenti PRO Computazionalmente leggero Due viste permettono di avere un risultato CONTRO: Necessario calcolo manuale vanish points Pochi inliers portano a risultati di difficile comprensione

Fine