Visione Stereo & Geometria Epipolare Gian Luca Mariottini WEB: http://www.dii.unisi.it/~gmariottini E-mail: gmariottini@dii.unisi.it

Stereo Vision (I) Stereo Vision E’ impossibile vedere come è impossibile estrapolare la struttura 3D della scena a partire da un’unica immagine. Anche se la telecamera fosse calibrata, si può dedurre solamente il raggio sul quale giacciono le features nell’immagine (fig.basso a sx) Stessa feature in 2 viste Posizione 3D della feature Stereo Vision “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Stereo Vision (II) Diversi aspetti importanti da curare: Calibrazione della telecamera! Come stabilire le corrispondenze tra le features nei piani immagine? “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Geometria Epipolare:introduzione Due immagini prospettiche derivanti dall’osservazione di una stessa scena tridimensionale sono relazionate dalla cosiddetta geometria epipolare. La geometria epipolare: è indipendente dalla struttura della scena; dipende dalle matrici K delle due telecamere e dalla loro posizione relativa. La Matrice Fondamentale F descrive algebricamente tale geometria! “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Geometria Epipolare:definizioni (I) BASELINE=linea congiungente i centri ottici delle due telecamere; La geometria epipolare riguarda l’intersezione dei piani immagine con la famiglia dei piani aventi la baseline come asse. “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Geometria Epipolare:definizioni (II) EPIPOLO=punto di intersezione della baseline con il piano immagine; L’epipolo è anche la proiezione su una vista del centro della camera nell’altra vista. EPIPOLO-> PIANO EPIPOLARE=E’ il piano contenente la baseline. Esiste una famiglia di piani epipolari (ad 1 d.o.f.) “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Geometria Epipolare:definizioni (II) LINEA EPIPOLARE=E’ l’intersezione di un piano epipolare con il piano immagine. Tutte le linee epipolari si intersecano nell’ epipolo. Un piano epipolare interseca il piano immagine sinistro e destro nelle linee epipolari, definendo la corrisipondenza tra linee. “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Geometria Epipolare:definizioni (III) PUNTI CORRISPONDENTI=Due punti u e u’ ottenuti come proiezione di un medesimo punto 3D X. “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

La Matrice Fondamentale (I) La matrice fondamentale F è la rappresentazione algebrica della geometria epipolare Ad un punto x in un’immagine (proiezione del punto X ) esiste una linea corrispondente l’ nell’altra immagine. Ciascun punto x’ nella seconda immagine corrispondente a x,deve giacere sulla linea l’. E’ possibile quindi trovare una mappatura…. “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

La Matrice Essenziale (I) La matrice fondamentale F esprime tale mappatura! La linea epipolare vincola la ricerca del punto corrispondente da una regione ad una linea. Se si sta osservando un punto x in una vista, allora x’ dovrà gia_ cere sulla linea epipolare Espressione Matem.x Linea Epip. …continua... “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

La Matrice Essenziale (II) E è una matrice 3x3 nota come matrice essenziale È ancora valida per i raggi p: VINCOLO EPIPOLARE : “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Vincolo di coplanarità:matrice E Si ottiene la stessa matrice essenziale!! “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Matrice Essenziale ed epipoli Tale relazione rappresenta il vincolo che la distanza tra il punto X’c e la linea epipolare Exc è nulla. …e facendo il prodotto vettoriale con t si ottiene: “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Matrice Fondamentale:rays 2 pixels(I) Fino ad ora è stato assunto che le telecamere fossero CALIBRATE! Cosa accade se non si conosce la calibrazione? Relazione tra pixels e raggi: Si definisce la matrice C come segue: Così da scrivere: “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Matrice Fondamentale:rays 2 pixels(II) Il vincolo epipolare diventa: F è una matrice 3x3 detta Matrice Fondamentale F ha solo 7 gradi di libertà!! “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Esempi di Geometria Epipolare Punti nella prima immagine Linee nella seconda immagine “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Esempi di Geometria Epipolare “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Esempi di Geometria Epipolare “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Stima della F dalle corrispondenze(I) Ogni corrsipondenza genera un vincolo su F “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03

Stima della F dalle corrispondenze(II) A meno di un fattore di scala, date 8 corrispondenze F può essere stimata (METODI LINEARI E NoN LINEARI) Non si è usato il vincolo che det(F)=0 ! Se le corrisipondenze “rumorose” detF 0 -> le linee epipolari non si incontrano nel medesimo punto “Visione Stereo & Geometria Epipolare” DII- A.A.02 -03