Analisi di sequenze di immagini

Presentazione sul tema: "Analisi di sequenze di immagini"— Transcript della presentazione:

1 Analisi di sequenze di immagini
30/11/2018 Analisi di sequenze di immagini Virginio Cantoni Laboratorio di Visione Artificiale Università di Pavia Via A. Ferrata 1, Pavia 11/30/2018

2 Stima del Movimento La stima del movimento introduce il tempo
L'evoluzione temporale comporta un enorme incremento dei dati necessari per elaborare gli eventi che hanno luogo y t x

3 Onere computazionale Filmato a colori
Risoluzione VGA: immagini 640x480 25 fotogrammi al secondo pixel da elaborare (e/o memorizzare)al secondo: 640x480x3x25= 23M La memorizzazione di 30 secondi richiede circa un CD-ROM

4 Stima del Movimento L'evoluzione temporale sulla scena non dipende semplicemente dal moto degli oggetti Si hanno dei cambiamenti causati dal moto relativo dell'osservatore (egomotion)

5 Stima del Movimento Molto spesso i due effetti sono combinati

6 Motion tracking Velocità media Velocità effettiva Velocità rilevate

7 Stima del Movimento Il problema è risalire alla velocità effettiva v0 dell’oggetto in movimento a partire dalla velocità vi rilevata per ogni punto della immagine O’ O Pi P0 vi v0

8 Stima del movimento Proprio il moto relativo può essere sfruttato per ricostruire la natura tridimensionale della scena osservata Occorre notare che questo problema, schematizzabile come il tentativo di ottenere informazione 3D da proiezioni 2D, appartiene alla categoria dei problemi inversi o mal condizionati, per i quali cioè non è garantita l'esistenza e l'unicità della soluzione

9 Illusione ottica La rotazione viene interpretata come una traslazione

10 Caso monodimensionale
y = fY/Z derivando rispetto a Z Misurando l’entità della variazione apparente della dimensione di un oggetto, si può determinare la sua distanza Y Z f y

11 Limiti Il movimento lungo il raggio di vista non può essere rilevato

12 Il flusso ottico Il flusso ottico è definito come il campo vettoriale della variazione di luminosità La variazione puntuale del livello di grigio è legata sia alla velocità del moto che al gradiente

13 Il flusso ottico Esempio ideale di flusso ottico: campo vettoriale prodotto da un oggetto che si avvicina con velocità uniforme all’osservatore

14 Focus of expansion

15 Focus of contraction

16 Ipotesi fondamentali Per l’applicazione del flusso ottico devono essere verificate due ipotesi fondamentali la luminosità della scena deve rimanere costante (variazioni di luminosità potrebbero essere interpretate come uno spostamento) il punto in esame resta in vista L’immagine viene quindi trattata come una funzione della spazio e del tempo ƒ(x,y,t)

17 Calcolo del flusso ottico
Se l’intensità luminosa dipende solo dal moto deve valere la relazione: ƒ(x+dx, y+dy, t+dt) = ƒ(x,y,t) da cui sviluppando in serie, si ottiene: f(x,y,t) + fxdx + fydy + ftdt + e = f(x,y,t)

18 Calcolo del flusso ottico
Indicate con u (dx/dt) e v (dy/dt) le componenti del flusso ottico nelle direzioni x e y si ottiene l’equazione fondamentale fxu + fyv + ft = 0 ovvero in forma vettoriale v *  f = - ft

19 Calcolo del flusso ottico
v *  f = - ft se il gradiente è perpendicolare al flusso la variazione non è percepibile e risulta nulla solo la componente parallela al gradiente è valutabile attraverso la formula v = ft/(fx2 + fy2)½

20 Limiti del flusso ottico
Non rilevabile rilevabile Il limite di questo metodo é costituito dal fatto che risulta possibile calcolare il flusso solamente nella direzione del gradiente (se l’intensità luminosa rimane costante nella direzione dello spostamento non si notano differenze)

21 Limiti Una sfera in rotazione non produce effetti visibili (ft=0)
La sfera che trasla viene rilevata

22 Limiti Si noti che anche una sfera ferma con illuminazione in movimento produce una variazione

23 Calcolo del flusso ottico
Per ricavare in modo completo il flusso ottico occorre integrare il modello con ipotesi aggiuntive (in generale si minimizza un funzionale) {(fxu+ fyv + ft)2+l [(u2x+u2y)+(v2x+ v2y)]} dx dy

24 Esempio sperimentale

25 Stime basate su corrispondenze discrete
Pi e Pi' rappresentano le posizioni, in istanti successivi, delle proiezioni sul piano immagine (X,Y) del generico punto pi dell'oggetto p1 P1 p1 O’ O Pi P’1 P’i p’1 p’1

26 Corrispondenze discrete
Il numero di punti analizzati è molto più piccolo che con il flusso ottico Il problema è trovare i punti corrispondenti Una serie di criteri pratici guidano la ricerca

27 Massima velocità Fissata la massima velocità l’area in cui si può trovare il punto omologo è limitata

28 Massima accelerazione
Se il moto è regolare si possono supporre limitate variazioni di velocità La traiettoria risulta quindi smussata

29 Moto comune In presenza di corpi rigidi, punti vicini si spostano alla medesima velocità Corpi vicini, benché distinti si muovono in maniera simile

30 Moto comune

31 Esempio

32 Focus of Expansion (X, Y, Z) coordinate reali (x, y) coordinate immagine Equazione del moto del corpo in movimento: Il risultante F.O.E. è per (t  ): (fu/w, fv/w) cioè dipende solo dalla direzione Quindi conoscendo il F.O.E. si può ricavare la direzione dello spostamento Y y x X Z

33 Determinazione del FOE
Se è noto il flusso ottico nell’immagine si può ricavare il FOE

34 Determinazione del FOE
Il centro (x, y) di un fascio di rette è mappato nello spazio dei parametri in una sinusoide r = x cos q + y sin q y q x r

35 Tempo di impatto Consideriamo un oggetto in avvicinamento con velocità costante (una sfera per esempio) L’oggetto è quindi a una distanza vt0 (t0 è il tempo di impatto) r0=fR/(vt0) (è la dimensione apparente sull’immagine) dopo un tempo Dt si ha r1=fR/(v(t0-Dt)) da cui r0 / r1=(t0- Dt)/t0 t0 = Dt/(1-r0 / r1) Si noti che dimensione e velocità rimangono comunque ignote

36 Esempio sperimentale B C A Frames A-B B-C A-C Camera offset 3.5 m
Real distance 13.5 m 9.5 m Evaluated distance 12.9 m 8.9 m

37 Esempio

38 Esempio risultati

39 Esempio

40 Esempio Risultati