Analisi di sequenze di immagini 30/11/2018 Analisi di sequenze di immagini Virginio Cantoni Laboratorio di Visione Artificiale http://vision.unipv.it/ Università di Pavia Via A. Ferrata 1, 27100 Pavia virginio.cantoni@unipv.it 11/30/2018

Stima del Movimento La stima del movimento introduce il tempo L'evoluzione temporale comporta un enorme incremento dei dati necessari per elaborare gli eventi che hanno luogo y t x

Onere computazionale Filmato a colori Risoluzione VGA: immagini 640x480 25 fotogrammi al secondo pixel da elaborare (e/o memorizzare)al secondo: 640x480x3x25=2304000023M La memorizzazione di 30 secondi richiede circa un CD-ROM

Stima del Movimento L'evoluzione temporale sulla scena non dipende semplicemente dal moto degli oggetti Si hanno dei cambiamenti causati dal moto relativo dell'osservatore (egomotion)

Stima del Movimento Molto spesso i due effetti sono combinati

Motion tracking Velocità media Velocità effettiva Velocità rilevate

Stima del Movimento Il problema è risalire alla velocità effettiva v0 dell’oggetto in movimento a partire dalla velocità vi rilevata per ogni punto della immagine O’ O Pi P0 vi v0

Stima del movimento Proprio il moto relativo può essere sfruttato per ricostruire la natura tridimensionale della scena osservata Occorre notare che questo problema, schematizzabile come il tentativo di ottenere informazione 3D da proiezioni 2D, appartiene alla categoria dei problemi inversi o mal condizionati, per i quali cioè non è garantita l'esistenza e l'unicità della soluzione

Illusione ottica La rotazione viene interpretata come una traslazione

Caso monodimensionale y = fY/Z derivando rispetto a Z Misurando l’entità della variazione apparente della dimensione di un oggetto, si può determinare la sua distanza Y Z f y

Limiti Il movimento lungo il raggio di vista non può essere rilevato

Il flusso ottico Il flusso ottico è definito come il campo vettoriale della variazione di luminosità La variazione puntuale del livello di grigio è legata sia alla velocità del moto che al gradiente

Il flusso ottico Esempio ideale di flusso ottico: campo vettoriale prodotto da un oggetto che si avvicina con velocità uniforme all’osservatore

Focus of expansion

Focus of contraction

Ipotesi fondamentali Per l’applicazione del flusso ottico devono essere verificate due ipotesi fondamentali la luminosità della scena deve rimanere costante (variazioni di luminosità potrebbero essere interpretate come uno spostamento) il punto in esame resta in vista L’immagine viene quindi trattata come una funzione della spazio e del tempo ƒ(x,y,t)

Calcolo del flusso ottico Se l’intensità luminosa dipende solo dal moto deve valere la relazione: ƒ(x+dx, y+dy, t+dt) = ƒ(x,y,t) da cui sviluppando in serie, si ottiene: f(x,y,t) + fxdx + fydy + ftdt + e = f(x,y,t)

Calcolo del flusso ottico Indicate con u (dx/dt) e v (dy/dt) le componenti del flusso ottico nelle direzioni x e y si ottiene l’equazione fondamentale fxu + fyv + ft = 0 ovvero in forma vettoriale v *  f = - ft

Calcolo del flusso ottico v *  f = - ft se il gradiente è perpendicolare al flusso la variazione non è percepibile e risulta nulla solo la componente parallela al gradiente è valutabile attraverso la formula v = ft/(fx2 + fy2)½

Limiti del flusso ottico Non rilevabile rilevabile Il limite di questo metodo é costituito dal fatto che risulta possibile calcolare il flusso solamente nella direzione del gradiente (se l’intensità luminosa rimane costante nella direzione dello spostamento non si notano differenze)

Limiti Una sfera in rotazione non produce effetti visibili (ft=0) La sfera che trasla viene rilevata

Limiti Si noti che anche una sfera ferma con illuminazione in movimento produce una variazione

Calcolo del flusso ottico Per ricavare in modo completo il flusso ottico occorre integrare il modello con ipotesi aggiuntive (in generale si minimizza un funzionale) {(fxu+ fyv + ft)2+l [(u2x+u2y)+(v2x+ v2y)]} dx dy

Esempio sperimentale

Stime basate su corrispondenze discrete Pi e Pi' rappresentano le posizioni, in istanti successivi, delle proiezioni sul piano immagine (X,Y) del generico punto pi dell'oggetto p1 P1 p1 O’ O Pi P’1 P’i p’1 p’1

Corrispondenze discrete Il numero di punti analizzati è molto più piccolo che con il flusso ottico Il problema è trovare i punti corrispondenti Una serie di criteri pratici guidano la ricerca

Massima velocità Fissata la massima velocità l’area in cui si può trovare il punto omologo è limitata

Massima accelerazione Se il moto è regolare si possono supporre limitate variazioni di velocità La traiettoria risulta quindi smussata

Moto comune In presenza di corpi rigidi, punti vicini si spostano alla medesima velocità Corpi vicini, benché distinti si muovono in maniera simile

Moto comune

Esempio

Focus of Expansion (X, Y, Z) coordinate reali (x, y) coordinate immagine Equazione del moto del corpo in movimento: Il risultante F.O.E. è per (t  ): (fu/w, fv/w) cioè dipende solo dalla direzione Quindi conoscendo il F.O.E. si può ricavare la direzione dello spostamento Y y x X Z

Determinazione del FOE Se è noto il flusso ottico nell’immagine si può ricavare il FOE

Determinazione del FOE Il centro (x, y) di un fascio di rette è mappato nello spazio dei parametri in una sinusoide r = x cos q + y sin q y q x r

Tempo di impatto Consideriamo un oggetto in avvicinamento con velocità costante (una sfera per esempio) L’oggetto è quindi a una distanza vt0 (t0 è il tempo di impatto) r0=fR/(vt0) (è la dimensione apparente sull’immagine) dopo un tempo Dt si ha r1=fR/(v(t0-Dt)) da cui r0 / r1=(t0- Dt)/t0 t0 = Dt/(1-r0 / r1) Si noti che dimensione e velocità rimangono comunque ignote

Esempio sperimentale B C A Frames A-B B-C A-C Camera offset 3.5 m Real distance 13.5 m 9.5 m Evaluated distance 12.9 m 8.9 m

Esempio

Esempio risultati

Esempio

Esempio Risultati