La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

3D Motion Estimation Materiale di supporto allinsegnamento di ELABORAZIONI IMMAGINI 1 Prof. Carlo Regazzoni.

Presentazioni simili


Presentazione sul tema: "3D Motion Estimation Materiale di supporto allinsegnamento di ELABORAZIONI IMMAGINI 1 Prof. Carlo Regazzoni."— Transcript della presentazione:

1 3D Motion Estimation Materiale di supporto allinsegnamento di ELABORAZIONI IMMAGINI 1 Prof. Carlo Regazzoni

2 2 Indice Stima del moto 3D Stima basata su feature –Oggetti di forma nota in proiezione ortografica –Oggetti di forma nota in proiezione prospettica –Oggetti planari –Oggetti di forma ignota – uso della linea epipolare Stima diretta –Modelli di segnale immagine e di moto –Oggetti di forma nota –Oggetti planari Bibliografia

3 3 Stima del moto 3D Permette di descrivere il moto di un oggetto nello spazio tridimensionale Come per il moto 2D, anche in questo caso si tratta di un problema mal posto: sono necessarie ipotesi semplificative (oggetti rigidi, forme note…) La proiezione ortografica o la proiezione prospettica possono essere utilizzate come modelli Campi di applicazione: guida automatica, robotica, codifica video orientata agli oggetti, ecc.

4 4 Stima del moto 3D La principale classificazione (presa come riferimento nel seguito) per distinguere i metodi di stima del moto 3D mette in evidenza Metodi indiretti: si affidano alla ricerca di corrispondenze tra feature caratterizzanti gli oggetti (livello di feature); possono facilmente stimare ampi spostamenti se le feature sono affidabili Metodi diretti: operano prendendo come input limmagine completa (livello di segnale); non necessitano di corrispondenze di feature ma possono stimare sono piccoli spostamenti Metodi iterativi: si basano sulla ripetizione di algoritmi diretti per arrivare alla stima di spostamenti più ampi

5 5 Stima del moto basata su feature Ipotesi: in questo approccio si assume che feature identiche di uno stesso oggetto possano essere identificate in immagini successive Le feature sono generalmente punti di riferimento fisici degli oggetti di cui si vuole stimare il moto

6 6 Stima del moto basata su feature Nel seguito vengono introdotti 4 algoritmi per la stima del moto basata su feature; tutti e 4 assumono oggetti 3D rigidi e le seguenti ipotesi: 1.Proiezione ortografica; forma delloggetto nota 2.Proiezione prospettica; forma nota 3.Ipotesi di oggetti approssimabili da superfici piane 4.Proiezione prospettica; nessuna conoscenza sulla forma

7 7 Oggetti di forma nota in proiezione ortografica Ipotesi di forma nota: per ogni punto conosciamo le coordinate 3D del punto associato ad x sulla superficie delloggetto. Stima basata su feature Si considera la proiezione ortografica come rappresentata in figura: Mentre lequazione del moto è rappresentata da:

8 8 Oggetti di forma nota in proiezione ortografica Sotto le precedenti ipotesi la posizione di un punto nel piano immagine prima e dopo lo spostamento e definita da: Stima basata su feature con la matrice di rotazione associata:

9 9 Oggetti di forma nota in proiezione ortografica Secondo il vettore di traslazione e lequazione Stima basata su feature le precedenti rappresentano il mappaggio affine del punto x dellimmagine k nel punto x dellimmagine k+1 Ora, linearizzando secondo Otteniamo la relazione affine

10 10 Oggetti di forma nota in proiezione ortografica Date almeno 3 corrispondenze tra punti, lequazione ottenuta permette la soluzione delle 5 variabili incognite del moto Stima basata su feature Per aumentare laffidabilità della stima, comunque, si raccomanda luso di almeno 6 corrispondenze note

11 11 Oggetti di forma nota in proiezione prospettica Per stimare il moto arbitrario di oggetti 3D arbitrari (ma di forma nota) assumiamo che un punto noto X si muova fino alla posizione ignota X. Se proiettiamo X sul piano immagine secondo la proiezione prospettica così definita: Stima basata su feature otteniamo:

12 12 Oggetti di forma nota in proiezione prospettica Stima basata su feature Se ora sostituiamo X con X usando lequazione del moto arriviamo a: da risolvere rispetto ai parametri del moto: assumendo noti x, x e X Per risolvere usando n sistema di equazioni lineari, assumiamo rotazioni di piccoli angoli e usiamo la matrice di rotazione linearizzata, ottenendo

13 13 Oggetti di forma nota in proiezione prospettica Stima basata su feature Dopo ulteriori passaggi arriviamo a Dove sono noti x, x e X e ignoti i 6 parametri del moto. Ogni corrispondenza fra punti fornisce 2 equazioni, ma per evitare inaccuratezze dovute alla stima delle feature dei punti, dovremmo risolvere questa equazione per più di tre punti utilizzando un algoritmo ai minimi quadrati.

14 14 Oggetti planari Stima basata su feature La stima del moto arbitrario di un piano nello spazio è un problema particolarmente interessanteperchè spesso saremo in grado di approssimare la forma di un oggetto tridimensionale con uno o più piani. In questo caso lalgoritmo non ipotizza la xonoscenza dellorientazione del piano nello spazio; quindi stimiamo 8 parametri per determinare la posizione del piano ed il suo moto. Riprendendo il modello di telecamera con proiezione prospettica, abbiamo Oggetti rigidi in moto in base a e lequazione del piano

15 15 Oggetti planari Stima basata su feature Allora possiamo descrivere il mappaggio del punto x dallimmagine k a k+1 come la proiezione: con 8 incognite di moto e di struttura ( ), talvolta chiamati parametri puri Possiamo quindi risolvere rispetto ai parametri puri avendo almeno 4 corrispondenze tra punti non collineari a tre a tre. E comunque consigliabile utilizzare più di 8 corrispondenze e risolvere ai minimi quadrati.

16 16 Oggetti di forma ignota – uso della linea epipolare Nei seguenti lucidi descriviamo una tecnica che permette di stimare forma e moto 3D, senza alcuna conoscenza a priori della forma delloggetto. Senza perdita di generalità si considera F=1 e si assume oggetto rigido e proiezione prospettica. A partire da Stima basata su feature sostituiamo X con la sua proiezione nel piano immagine: Questa non cambia se moltiplichiamo T e Z per una costante; questo significa che possiamo trovare solo la direzione di T ma non la sua lunghezza assoluta, che dipende dalla dimensione delloggetto e dalla sua distanza dalla telecamera

17 17 Oggetti di forma ignota – uso della linea epipolare In questo caso non conosciamo la forma delloggetto e quindi dobbiamo utilizzare una matrice intermedia nota come E-matrix (matrice essenziale) con i suoi 9 parametri essenziali. Eliminando Z possiamo determinare la relazione tra x e x come Stima basata su feature con Dove:

18 18 Oggetti di forma ignota – uso della linea epipolare Moltiplicando per Z *Z, otteniamo: Stima basata su feature Che può essere usata per la stima del moto nellipotesi che T0, cioè che ci sia anche moto traslazionale e non solo di rotazione

19 19 Oggetti di forma ignota – uso della linea epipolare Lequazione definisce una dipendenza lineare tra punti immagine corrispondenti x e x Stima basata su feature Di conseguenza le possibili posizioni finali x di un punto x giacciono su di una linea retta. Questa linea è chiamata linea epipolare ed è definita dai parametri del moto secondo: LINEA EPIPOLARE (1/2) con

20 20 Oggetti di forma ignota – uso della linea epipolare La figura sotto mostra la linea epipolare nelleimmagine 2 per un punto x nellimmagine 1 Stima basata su feature LINEA EPIPOLARE (2/2) Quindi la stima del moto è ottenuta in 2 passi: prima si stima la E-matrix poi si decompone questultima in matrice di rotazione e vettore di traslazione

21 21 Oggetti di forma ignota – uso della linea epipolare Attraverso definiamo una equazione per ogni corrispondenza tra punti. Poiché questa equazione è omogenea possiamo porre ad 1 uno dei parametri della e-matrix, ad es. Con questa condizione servono un minimo di 8 equazioni. Quindi per ogni corrispondenza tra x (j) e x (j) possiamo scrivere Stima basata su feature STIMA E-MATRIX con Tutte le corrispondenze tra punti porteranno ad un sistema del tipo con A questo punto si può risolvere il sistema sovradeterminato con una stima ai minimi quadrati, minimizzando

22 22 Oggetti di forma ignota – uso della linea epipolare Visto che la e-matrix è definita per descrivere il moto 3D di un oggetto rigido, ha 5 gradi di libertà, considerando che possiamo ottenere solo lorientazione del vettore si traslazione. Però, durante la stima della e- matrix, permettiamo 8 gradi di libertà; quindi per rotazione e traslazione dobbiamo risolvere un problema di ottimizzazione Stima basata su feature STIMA DI ROTAZIONE E TRASLAZIONE (1/3) Con T definita così: abbiamo Quindi moltiplicando per T la seguente: Possiamo scrivere

23 23 Oggetti di forma ignota – uso della linea epipolare Quindi stimiamo il vettore di traslazione con Stima basata su feature STIMA DI ROTAZIONE E TRASLAZIONE (2/3) Ora è chiaro che il segno di T non può essere determinato. Analogamente la soluzione di [E] non è unica; quindi se abbiamo una stima sappiamo che anche è soluzione Il segno di T può essere determinato rispettando la seguente condizione per ogni x:

24 24 Oggetti di forma ignota – uso della linea epipolare Per la stima di [R], partiamo scrivendo Da cui [R] può essere ottenuta grazie al seguente problema di ottimizzazione Stima basata su feature STIMA DI ROTAZIONE E TRASLAZIONE (3/3)

25 25 Stima del moto diretta Nella sezione precedente abbiamo sempre ipotizzato di avere un esiguo numero di accurate corrispondenze tra punti per feature visibili in frame successivi Visto che queste accurate relazioni tra feature non sono sempre disponibili, affrontiamo ora il problema di stimare il moto attraverso algoritmi che utilizzino lo stesso segnale immagine ed il suo gradiente

26 26 Modelli di immagini e moto Per operare una stima del moto diretta si assume che la differenza di luminanza tra due immagini consecutive e sia dovuta al solo moto delloggetto. Abbiamo bisogno di una descrizione analitica del segnale immagine. Per questo usiamo lespansione di Taylor di primo ordine (valida solo per piccoli con gradiente Stima del moto diretta

27 27 Modelli di immagini e moto Considerando X punto allistante k, X a k+1, proiettati rispettivamente in x e x nelle immagini e, abbiamo, assumendo intensità costante Ora, con possiamo scrivere: che diventa: con la condizione di modello di segnale lineare Stima del moto diretta

28 28 Modelli di immagini e moto Approssimiamo cioè il gradiente di secondordine dellimmagine con la media dei gradienti lineari per x nelle immagini e otteniamo Visto che lultima equazione è comunque basata su di una approssimazione lineare del segnale immagine, lalgoritmo di stima sarà utilizzato in uno schema iterativo. Per accelerare la convergenza della stima è desiderabile una approssimazione di ordine maggiore del segnale. E possibile approssimare il segnale immagine con una segnale immagine quadratico grazie allespansione di Taylor senza calcolare esplicitamente le derivate di secondordine. Stima del moto diretta

29 29 Oggetti di forma nota Per operare una stima del moto diretta estendiamo lalgoritmo di stima visto nel caso di stima basata su features ed oggetti di forma nota, al caso in cui non si disponga di feature di riferimento, ma di un gran numero di punti osservati per rappresentare loggetto 3D Stima del moto diretta Sostituendo le coordinate immagine x con coordinate mondo X ed utilizzando il modello di telecamera pinhole, nellequazione Otteniamo

30 30 Oggetti di forma nota Assumendo ora piccoli angoli di rotazione e rotazione delloggetto intorno al suo centro abbiamo Stima del moto diretta Da cui: Dove e 6 parametri incogniti, punto sulloggetto, x punto nel piano immagine in k, F distanza focale

31 31 Oggetti di forma nota Per ottenere stime affidabili dei 6 parametri, la precedente equazione va condizionata con un elevato numero di punti sulla superficie delloggetto in movimento, risultando inun sistema sovracondizionato di equazioni lineari: Stima del moto diretta con residuo,, Il sistema si risolve attraverso il seguente problema di ottimizzazione in cui i parametri del moto sono dati da

32 32 Oggetti di forma nota A causa delle linearizzazioni dei sistemi, i parametri del moto devono essere stimati con una procedura iterativa: dopo ogni iterazione il modello delloggetto ed i suoi punti osservati vengono spostati in base allequazione non-lineare del moto 3D, usando i parametri di moto Stima del moto diretta Dopo di ciò si ottiene un nuovo sistema di equazioni del moto e fornisce nuovi aggiornamenti ai parametri del moto Durante le iterazioni le correzioni sui parametri del moto si riducono, idealmente convergendo a 0 e facendo quindi convergere a 0 anche lerrore dovuto alle linearizzazioni Il processo iterativo termina quando la riduzione del residuo ad ogni passo diventa trascurabile

33 33 Oggetti planari Oggetti planari sono spesso utilizzati per approssimare oggetti reali di forma complessa (come già visto per la stima attraverso feature) Estendiamo qui il discorso fatto per le feature ad un sistema di stima diretto. A partire quindi da definendo il mappaggio A(x,y) del punto x con Stima del moto diretta

34 34 Oggetti planari Otteniamo allora Stima del moto diretta Grazie allespansione di Taylor, esprimiamo la funzione luminanza in un punto x rispetto ai parametri del moto a i

35 35 Oggetti planari E lultima ci porta a: Stima del moto diretta con e Questa definisce una equazione per ognuno dei punti di osservazione delloggetto con i suoi 8 parametri di moto ignoti. Per stimare il moto, quindi, riscriviamo lequazione per J punti di osservazione x, e risolviamo il sistema di J equazioni lineari

36 36 Oggetti planari Risolvendo il sistema ai minimi quadrati, abbiamo Stima del moto diretta A causa delle approssimazioni sul modello del segnale dellimmagine, il processo di stima deve essere portato avanti iterativamente Dopo ogni iterazione usiamo i parametri del moto stimati per compensare il moto al frame k+1 utilizzando E la differenza tra i frame (Displaced Frame Difference DFD) diventa con

37 37 Bibliografia

38 38 Bibliografia

39 39 Bibliografia

40 40 Bibliografia


Scaricare ppt "3D Motion Estimation Materiale di supporto allinsegnamento di ELABORAZIONI IMMAGINI 1 Prof. Carlo Regazzoni."

Presentazioni simili


Annunci Google