La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Università degli studi La Sapienza Tesina di Visione e Percezione anno accademico 2005/2006 Nobili Diana Santoro Simona.

Presentazioni simili


Presentazione sul tema: "Università degli studi La Sapienza Tesina di Visione e Percezione anno accademico 2005/2006 Nobili Diana Santoro Simona."— Transcript della presentazione:

1 Università degli studi La Sapienza Tesina di Visione e Percezione anno accademico 2005/2006 Nobili Diana Santoro Simona

2 Componenti del sistema computer telecamera non calibrata insieme di immagini di riferimento: disordinate acquisite a mano con la telecamera punti di vista non conosciuti a priori almeno 2 immagini

3 Cosa fa il sistema Estrazione features Feature matching Validazione match Inserimento oggetto virtuale Riconoscimento modello Posa della camera

4 Natural features Scale Invariant Feature Transform (SIFT) Caratteristiche Invarianti a cambiamento di scala, rotazione e traslazione. Parzialmente invarianti a trasformazioni affini, cambiamenti di illuminazione, cambiamenti di punto di vista nella scena, aggiunta di rumore e occlusioni.

5 SIFT: algoritmo di David Lowe Lalgoritmo calcola un set di keypoints insieme ai corrispondenti descrittori di features. 1. Costruzione dello spazio scala definito come: 2.Differenza di gaussiane e individuazione di massimi e minimi della piramide. 3.Localizzazione dei keypoints individuati. 4.Attribuzione di una direzione a ciascun keypoint. 5.Definizione dei descrittori di keypoints: dove

6 Feature matching Miglior match – minima distanza Euclidea tra vettori di descrittori Matches tra 2 viste calcolate con ricerca Best-Bin-First (BBF) su un albero k-d Miglioramento matches attraverso RANSAC su coppie di immagini selezionate costruendo uno spanning tree sul set delle immagini:

7 Struttura 3D euclidea ottenuta da corrispondenze tra diverse viste utilizzando il direct bundle adjustment che minimizza lerrore di riproiezione: Struttura della scena dove: X j = coordinate 3D del punto del mondo Y j =posizione della camera per limmagine j Z j =parametri di calibrazione Ottimizzazione della formula per riduzione jitter: α 2 iterativamente corretto per ogni frame nel modo: dove W è una matrice diagonale 6x6 di pesi sui parametri di posizionamento della telecamera e α è uno scalare che controlla la differenza tra misure correnti e stima desiderata. Pij= proiezione 2D di un punto 3D

8 Costruzione del modello: un esempio Il modello ricostruito cattura correttamente la planarità della superficie del libro e la rotondità della tazza.

9 Inserimento oggetto virtuale Determinazione della profondità relativa Correzione dimensione e posizionamento Inserimento iniziale in 2D Inserimento delloggetto

10 Un esempio

11 SIFT Tutorial by Thomas El Maraghi Il tutorial fornisce diversi esempi di applicazione dellalgoritmo delle SIFT sviluppato da David G. Lowe ed è basato sugli articoli seguenti: [1] David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints [2] David G. Lowe, Object Recognition from Local Scale-Invariant Features [3] David G. Lowe, Local feature view clustering for 3D object recognition

12 Esempio 1: the Einstein image Vengono calcolati i keypoints per limmagine di Einstein e per la sua versione ruotata applicando lalgoritmo delle SIFT. 1. Piramidi

13 2. Localizzazione keypoints. Massimi locali nella piramide laplaciana. 3. Localizzazione keypoints dopo eliminazione punti a basso contrasto. 4. Localizzazione keypoints dopo filtraggio per eliminazione edges. 5a. Keypoints finali con attribuzione direzione. 5b. Keypoints finali per limmagine ruotata

14 Esempio 2: architectural images Passo1 : SIFT su insieme di immagini I; Passo2 : scelta immagine di riferimento r; Passo4 : calcolata la matrice affine tra immagine r e originale per ottenere limmagine allineata; Passo5 : differenza tra r e immagine allineata. Legenda: O inliers O outliers + + features Passo3 : calcolate le corrispondenze con r; per ogni coppia di immagini con p in I <> da r :

15 Esempio 3: object recognition Sfruttando le stesse tecniche dellesempio precedente si individua un oggetto in un immagine anche se parzialmente nascosto.

16 Conclusioni CONTRO non su tutte le immagini(es. basso contrasto) buoni risultati; su Web disponibili alternative alle SIFT come Multi-Scale Oriented Patches che restitituiscono una migliore distribuzione spaziale delle features. PRO non necessita di: calibrazione camera, markers, conoscenza della geometria della scena, ecc. tracciamento robusto anche in presenza di occlusioni o cambiamenti di scena. Altre applicazioni delle SIFT generazione panorama a partire da un gruppo dimmagini (nellesempio 57) sony aibo per la localizzazione


Scaricare ppt "Università degli studi La Sapienza Tesina di Visione e Percezione anno accademico 2005/2006 Nobili Diana Santoro Simona."

Presentazioni simili


Annunci Google