Materiale di supporto all’insegnamento di ELABORAZIONI IMMAGINI 1

Presentazione sul tema: "Materiale di supporto all’insegnamento di ELABORAZIONI IMMAGINI 1"— Transcript della presentazione:

1 Materiale di supporto all’insegnamento di ELABORAZIONI IMMAGINI 1
2D Motion Estimation Prof. Carlo Regazzoni

2 2D Motion e Optical Flow L’occhio umano percepisce il movimento identificando i punti corrispondenti a diversi intervalli di tempo. Tali corrispondenze sono determinate assumendo che il colore o la luminosità di due punti non cambia durante il movimento. È interessante notare che il movimento 2D osservato può essere diverso dal reale movimento 2D. 1) la sfera ruota, ma i punti della sua superficie, non cambiando colore/luminosità ed appaiono stazionari; 2) la sfera è ferma e la fonte luminosa ruota attorno alla sfera, che darà all’osservatore una sensazione di rotazione. Il moto osservato o apparente è noto come Optical Flow

3 Equazione Optical Flow
Consideriamo una sequenza video la cui variazione di illuminazione è rappresentata da Ψ(x,y,t). Supponendo un punto dell’immagine (x,y) al tempo t questo si è mosso da (x+dx,y+dy) al tempo t+dt. Sotto la constant intensity assumption un’immagine dello stesso oggetto in due istanti di tempo ha lo stesso valore di luminanza. Allora: Usando l’espansione di Taylor, con dx,dy,dt abbiamo: .

4 Equazione Optical Flow
Combinando le equazioni precedenti e dividendo per dt si ottiene la Optical Flow Equation: Con V=(vx,vy) Assumendo che l’intervallo temporale sia breve: Gradiente spaziale del vettore luminosità

5 Equazione Optical Flow
Il flow vector v può essere decomposto come in figura: Scomponendo il vettore V come: V=etvt+envn La Optical flow equation può essere riscritta come segue 90°

6 Equazione Optical Flow
Le conseguenze delle equazioni scritte sono tre: Per ogni pixel, non è possibile determinare il motion vector v basandoci su e separatamente. È necessario un vincolo che generalmente è espresso come il fatto che il flow vector deve variare in maniera “dolce”

7 Equazione Optical Flow
Dati la proiezione del motion vector lungo la normale è fissata, mentre lungo la direzione tangente è indeterminata. Ogni valore di tale proiezione soddisfa l’ optical flow equation. Questa ambiguità è nota come Aperture Problem. Il termine Aperture si riferisce all’intervallo temporale entro il quale si può applicare la constant intensity assumption. Il movimento si può stimare unicamente se l’apertura contiene almeno due differenti direzione di gradiente come mostrato in figura .

8 Equazione Optical Flow
In regioni con luminosità costante il vector flow è indeterminato. La stima del moto è realizzabile solo in regioni dove sono presenti variazioni di luminosità, ovvero regioni con contorni o dove è presente una tessitura non uniforme.

9 Metodologie generali Consideriamo la stima del moto tra due frame Ψ(x,y, t1) e Ψ(x,y, t2). Chiamiamo il frame al tempo t1 Anchor Frame ed il frame al tempo t2 Tracked Frame. .

10 Metodologie generali In generale possiamo rappresentare un vettore di moto come d(x,a), dove: a=[a1, a2, a3, a4,…., aL] è un vettore contenente i parametri caratterizzanti il moto. Il problema di stima del moto si riduce a stimare i parametri caratterizzanti il moto. I metodi sviluppati si dividono in due grosse categorie: Feature based: si utilizzano delle caratteristiche prestabilite al fine di stimare il moto fra due frame distinti Intensity based: applica la optical flow equation ad ogni pixel

11 Rappresentazione del Moto
Tecnica Problemi ..graficamente.. Pixel Based Stima del moto eseguita sui singoli pixel generalmente sempre applicabile ma richiede la stima di molti parametri non noti Region Based in scene con molti oggetti presenti è più appropriato dividere l’immagine in più regioni in modo da caratterizzare meglio il vettore di moto. Il problema è che non si conosce a priori quali blocchi hanno vettore di moto simile e dunque il processo di segmentazione e stima deve essere iterativo; Block Based un metodo per ridurre la complessità del Region-based è quella di dividere l’immagine in un numero fissato di piccoli blocchi. Questo metodo fornisce un buon compromesso in termini di complssità ed accuratezza, ma non impone alcun vincolo di transizione tra blocchi adiacenti causando una certa discontinuità; Mesh Based il miglioramento al metodo precedente consiste nel partizionare l’immagine in elementi poligonali non sovrapposti, che porta ad avere un vettore di moto continuo.

12 Criteri di stima del moto: Displaced Frame Difference
Il criterio più popolare per la stima del moto è basato sulla minimizzazione della somma degli errori tra le luminanze dei due frame Ψ1 e Ψ2. La funzione obiettivo sarà: Λ= dominio dei pixel, w(x,a)=x+dx La condizione per minimizzare la funzione è porre il gradiente a zero al fine di ricavare i parametri caratterizzanti il moto. Il gradiente per p=2: .

13 Criterio basato sulla Optical Flow Equation
Un altro approccio è risolvere il sistema di equazioni basato sul voncolo di Optical Flow. Se la la variazione temporale dt tra due frame e piccola possiamo scrivere: Risolvendo per x ci riduciamo ad un problema di minimizzazione con la seguente funzione obiettivo: .

14 Criterio Bayesiano Lo stimatore Bayesiano è basato sulla formulazione probabilistica del problema di stima del moto fatta da Konrad e Dubois [1][2]. Sotto questa formulazione dato l’Anchor Frame Ψ1, il Tracked frame Ψ2 è considerato come una realizzazione del campo casuale Ψ, mentre il campo di moto d è una realizzazione del campo probabilistico D. La probabilità a posteriori di D data Ψ può essere scritta come: .

15 Criterio Bayesiano Una stima basata sul criterio Bayesiano vuole massimizzare la probabilità a posteriori. Ma dati Ψ1, Ψ2 è cosa equivalente massimizzare solo il numeratore. Dunque la massima stima a posteriori (MAP) di d è: Rappresentando ε lo spazio di probabilità di una immagine DFD allora per e(x)= Ψ2(x+d), Ψ1(x) dati x e Ψ1 : E dunque: .

16 Criterio Bayesiano Dalla teoria di codifica della sorgente la lunghezza minima di codice per una sorgente è la sua entropia. La stima MAP è equivalente a minimizzare la somma della lunghezza del codice e il motion field d. Dunque la MAP stimata per d è equivalente ad una stima di tipo a minimun description lenght (MDL) Essendo lo scopo degli stimatori di moto nella codifica video il minimizzare la bit rate, il criterio MAP è la migliore scelta che minimizza l’errore di predizione.

17 Pixel Based Motion Estimation
Nei metodi di stima di moto pixel-based si prova a stimare il vettore di moto per ogni pixel. Il problema in oggetto è mal posto. Sotto l’ipotesi di constant intensity assumption ci saranno pixel che non potranno essere ”inseguiti” nel Tracked Frame poiché la loro luminosità rimane invariata nel tempo. Sotto l’ipotesi optical flow il problema sarà ancora indeterminato.(1 equazioni, 2 incognite)

18 Pixel Based Motion Estimation
Per ovviare a questi problemi sono usati quattro approcci: Tecniche di regolarizzazione; Ipotesi di constant intensity o optical flow solo in una regione limitata; Invariants constraints; Fare uso delle relazioni fra funzioni di fase e frame prima e dopo il movimento.

19 Pixel Based Regolarizzazione basata su Motion Smoothness Constraint
Metodo che combina i criteri basati su: Optical Flow Motion Smooth Horn e Schunck propongono di stimare il vettore movimento minimizzando la seguente funzione obiettivo: La minimizzazione di tale funzione è realizzata tramite un metodo Gradient Based conosciuto come Gauss-Siedel.

20 Pixel Based Multipont Neighborhood
In questo approccio stimiamo il vettore di moto al pixel xn e assumiamo che il vettore di moto di tutti i pixel in una regione B(xn) siano gli stessi dn. Minimizzando l’ errore DFD su B(xn): Con w(x) sono i pesi assegnati a ogni pixel che decrescono allontanandosi da xn

21 Pixel Based Multipont Neighborhood
Il gradiente rispetto a dn è: L’algoritmo di update determinato, essendo dnl la stima all’iterazione l-esima: L’ aggiornamento dipende dalla somma dell’immagine gradiente scalata dai valori di DFD pesati ad ogni pixel. In generale questo algoritmo richiede molta computazione per ogni pixel

22 Block Matching Algorithms
Un problema con i metodi pixel-based è che bisogna rilassare alcuni vincoli al fine di regolarizzare il problema. Un metodo per rilassare tali vincoli è dividere il dominio in regioni di immagini non sovrapposte, chiamate blocchi, ed assumere che il movimento in tali blocchi sia parametrizzabile semplicemente. Nel caso più semplice il movimento in ogni blocco è assunto come costante e ogni blocco è soggetto a traslazione (block-wise translational model)

23 Block Matching Exhaustive Search Block Matching Algorithm (EBMA)
Dato un blocco dell’immagine nel anchor frame Bm il problema della stima del motoè determinare il blocco più appropriato B’m nel tracked frame in modo tale che l’errore tra i due blocchi sia minimizzato. Lo scostamento dm tra la posizione spaziale dei due blocchi è il vettore di moto (MV).

24 Block Matching Exhaustive Search Block Matching Algorithm (EBMA)
Sotto le assunzioni fatte l’errore può essere scritto come: Essendo la stima di MV di un singolo blocco affetta solo dall’errore di predizione del singolo blocco si può stimare ogni blocco individualmente, minimizzando l’errore di predizione accumulato sul blocco: .

25 Block Matching Exhaustive Search Block Matching Algorithm (EBMA)
Un metodo per determinare dm che minimizza l’errore suddetto è usare la exhaustive search. Si determina l’ottimo dm per un dato blocco Bm nell’ anchor frame comparandolo con i blocchi candidati B’m nel tracked frame in una regione predefinita e trovando quello ad errore minimo. (Fig.1 slide successiva)

26 Block Matching Exhaustive Search Block Matching Algorithm (EBMA)
Fig.1

27 Block Matching Fractional Accuracy Search
Il passo con cui si cerca la corrispondenza dei blocchi non dovrebbe essere “intero”. Per una più accurata rappresentazione del moto le frazioni di pixel sono necessarie. Un problema usando le frazioni di pixel è che potrebbero non esserci punti di corrispondenza tra anchor e tracked frame. È quindi necessaria una interpolazione che ad esempio può essere di tipo bi-lineare. La scelta del passo è generalmente application-dependent. Questo tipo di algoritmo porta ad una crescita notevole del carico computazionale.

28 …qualche esempio… (a) tracked frame (b) anchor frame
(c-d) MV e immagine predetta con EBMA accuratezza a meta pixel (e-f) MV deformato e stima basata su un algoritmo mesh-oriented

29 Rappresentazione del moto Node Based
Introduciamo un modello di movimento basato sul movimento di alcuni punti di un determinato blocco, chiamati nodi. In questo modello assumiamo che un insieme selezionato di nodi di controllo in un blocco può muoversi liberamente e che lo spostamento di ogni punto interno può essere interpolato dallo spostamento dei nodi scelti.

30 Rappresentazione del moto Node Based
Siano: K= numero dei nodi di controllo Bm= blocco dm= vettore del moto La funzione del moto sarà: Tale funzione esprime lo spostamento di ogni punto nel blocco come interpolazione dei nodi come mostrato in figura1. Il Kernel interpolatore Φ dipende da quale peso si assegna al k-esimo punto di controllo.

31 Stima del moto usando il modello Node Based
La stima del moviemnto è indipendente blocco per blocco, dunque non considereremo tutti gli m blocchi di un’immagine. Siano: a= [dk,kЄK] , K={1,2,3,…..,K} I parametri del moto possono essere stimati minimizzando l’errore di predizione: .

32 Stima del moto usando il modello Node Based
Ci sono molti modi per minimizzare tale errore inclusi l’ exhaustive search e metodi basati sul gradiente. Il metodo proposto è basato sull’algoritmo di Newton-Ralphson. Definiamo: Eseguendo la derivazione di E rispetto ad a dopo alcuni passaggi si ottengono le equazioni di aggiornamento dell’algoritmo.

33 Stima del moto usando il modello Node Based
Usando si può calcolare il gradiente dell’errore:

34 Stima del moto usando il modello Node Based
La matrice essiana (eliminando il gradiente del secondo ordine):

35 Stima del moto usando il modello Node Based
In figura le equazioni di aggiornamento dell’algoritmo: Come per tutti i processi iterativi basati sul gradiente, anche questo può raggiungere un minimo locale non corretto se la soluzione iniziale non è scelta propriamente.

36 Stima del moto basata sul Mesh-Based
Senza la conoscenza dei parametri di moto dei blocchi adiacenti la stima dei vettori di moto è spesso caotica, come in figura. Un metodo per evitare ciò è usare una rappresentazione del moto basata sul modello a mesh (maglia). . Anchor frame Tracked frame l’ anchor frame è coperto da una mesh, ed il problema di stima del moto è trovare il movimento per ogni nodo

37 Stima del moto basata sul Mesh-Based
Il metodo di rappresentazione mesh-based garantisce una continuità di rappresentazione dell’immagine ed è maggiormente robusto agli artefatti che i metodi di rappresentazione block-based possono produrre. Un altro beneficio di una rappresentazione mesh-based è che consente in tracking continuo dell’insieme di nodi fra i frame consecutivi, il che è desiderabile nelle applicazione di object-tracking

38 Rappresentazione del moto basata sulle Mesh
Con un approccio mesh-based l’immagine è partizionata in elemento poligonali non sovrapposti. Ogni elemento è definito da pochi nodi e collegamenti tra nodi, come mostrato in Fig.1 Nella rappresentazione mesh-based l’insieme dei vettori di moto è descritto per mezzo dei nodi Fig.1 Si usa una mesh (griglia) triangolare con tre nodi connessi ad ogni elemento

39 Rappresentazione del moto basata sulle Mesh
Siano: M = numero elementi M = {1,2,…..,M} N = numero nodi N = {1,2,…..,N} K = numero di nodi che definisce ogni elemento K = {1,2,…..,K} Dato l’ m-esimo elemento, n-esimo nodo al frame t (t1 = anchor t2= tracked). denotati da Bt,m mЄ M e xt,n n Є N ed il vettore di moto dell’ n-esimo nodo da dn = x2,n- x1,n. Il campo di moto nell’elemento B1,m è legato al vettore del moto dn da:

40 Rappresentazione del moto basata sulle Mesh
La funzione Φ è il kernel interpolatore e, come nel caso precedente, dipende dal contributo che sivuole dare ad ogni nodo. Per garantire la continuità sugli elementi dell’immagine il kernel deve soddisfare:

41 Rappresentazione del moto basata sulle Mesh
Ad esempio un elemento standard a quattro lati (Fig.1) può essere rappresentato da funzioni di kernel come segue: Fig.1

42 Rappresentazione del moto basata sulle Mesh
È importante non confondere l’ approccio mesh-based da quello node-based introdotto precedentemente. Nell’approccio node-based sebbene blocchi adiacenti possano condividere gli stessi nodi, il vettore di moto è determinato indipendentemente blocco per blocco. Nell’approccio mesh-based, al nodo n è assegnato il singolo vettore di moto il quale influenzerà la funzione di interpolazione negli elementi collegati a questo nodo. Nell’approccio node-based, il nodo n può avere 4 differenti vettori di moto associati.

43 Stima del moto basato su mesh-based model
Con i metodi di rappresentazione del moto basato sulle mesh ci sono due insiemi di problemi da risolvere: Data una mesh come determinare la posizione dei nodi nel tracked frame. Questo è essenzialmente un problema di motion estimation Come definire la mesh nell’anchor frame in conformità con la forma dell’oggetto Una mesh costruita in maniera arbitraria porterà a risultati in generale scadenti Ci occuperemo comunque solo del primo problema. Il secondo problema è trattato in [1][2]. [1] Y. Wang and O. Lee. Active mesh | a feature seeking and tracking image sequence representation scheme. IEEE Trans. Image Process., 3:610{624, Sept [2] Y. Wang and J. Ostermann. Evaluation of mesh-based motion estimation in h.263 like coders. IEEE Trans. Circuits Syst. for Video Technology, 8:243{252, June 1998.

44 Stima del moto basato su mesh-based model
I parametri del moto possono essere stimati servendoci ancora dell’approccio riguardante la minimizzazione della funzione errore. Sotto le ipotesi del modello mesh-based: E ricordando l’equazione del vettore di moto nel caso mesh-based si ha:

45 Stima del moto Globale Abbiamo mostrato che, indipendentemente dal movimento della camera e dell’oggetto, la funzione che mappa la corrispondenza tra due frame può essere descritta da una traslazione, una trasformazione geometrica,etc…… Ci sono in generale due approcci per stimare il moto globalmente. Stimare i parametri di moto globale minimizzando l’errore di predizione l’errore di predizione dato un insieme di parametri; Determinando i vettori di moto dei pixel o di blocchi di pixel e dunque usando metodi di regressione per trovare il modello globale di movimento che meglio si adatta al campo di moto stimato

46 Stimatori Robusti Il movimento di ogni pixel può essere decomposto in:
Global motion: causato dal movimento della camera Local motion: a causa del movimento degli oggetti nella scena Non tutti i pixel dello stesso frame portano conoscenza del movimento globale e idealmente non si potrebbe applicare lo stesso modello di movimento allo stesso frame.

47 Stimatori Robusti Questi problemi possono essere superati da un metodo detto stimatore robusto se il movimento globale e dominante sul movimento locale L’idea di base è che i pixel sono governati dal movimento globale. I passi da seguire sono: Tutti i pixel hanno stesso modello di movimento globale e si stimano i parametri di moto minimizzando l’errore di predizione. Si determina un insieme iniziale di parametri Calcolo dell’errore di predizione su ogni pixel I pixel che avranno errore di predizione sopra una certa soglia saranno “scartati” dall’iterazione successiva Si ripete iterativamente il processo

48 Stima del moto Region-Based
Come evidenziato nelle slide precedenti ci sono generalmente molteplici tipi di movimento in una scena I stimatori del moto region-based segmentano l’immagine in regioni multiple e stimano i parametri di moto in ogni regione Le principali tecniche di segmentazione sono: Clustering: il modello di movimento in una regione è una traslazione pura e la segmentazione tiene in considerazione tutti i pixel connessi con vettori di moto simili Layered :si dividono le regioni di movimento in più layer (piani) dal primo, che è il più significativo all’ultimo

49 Stima del moto Multi-Resolution
Come visto dalle precedenti slide, i vari approcci di stima del moto si risolvono in minimizzazioni dell’errore. Le due difficoltà maggiori nell’ottenere la soluzione corretta sono: Non è facile trovare il minimo globale e spesso le condizioni iniziali influenzano negativamente la sua ricerca Il carico computazionale è eccessivo L’ approccio Multi-Resolution cerca la soluzione migliore a diversi gradi di ottimizzazione, partendo da un primo livello che porterà ad una prima soluzione “grossolana”

50 Multi-Resolution Formulazione Generale
La rappresentazione piramidale in figura rappresenta la divisione in livelli ottenuti filtraggi spaziali low-pass e sottocampionamento delle immagini. Il livello più in basso è l’immagine originale. Immagine a bassa risoluzione Immagine a bassa risoluzione ANCHOR FRAME TRACKED FRAME Immagine originale Immagine originale

51 Multi-Resolution Formulazione Generale
I vettori di moto fra i livelli corrispondenti delle due piramidi sono stimati, partendo dal livello “sottocampionato” progressivamente fino al livello dell’immagine originale. Ad ogni livello di risoluzione più fine il campo di moto ottenuto dal precedente livello più grezzo è interpolato per ottenere la stima del moto al livello corrente.

52 Algoritmo di Block Matching Gerarchico
I benefici di tale approccio sono: A livelli di risoluzione bassa il problema è meno mal posto e dunque la soluzione meglio approssima la soluzione ideale; L’interpolazione porta ad una prima soluzione buona; la stima ad ogni livello può essere confinata in termini di iterazioni ottenendo ottimi risultati rispetto alla stima ottima del movimento. Un caso particolare di Block Matching Gerarchico è il Hierarchical Block Matching Algorithm (HBMA) che è un caso speciale del multi-resolution, dove l’ EBMA è applicato per stimare i campi di moto dei blocchi nei livelli.

53 Algoritmo di Block Matching Gerarchico
Esempio di stima del moto usando l’algoritmo HBMA per due immagini. (a-b) campo di moto e immagine predetta al livello più grezzo (c-d) campo di moto e immagine predetta ad un livello più fine (e-f) campo di moto e immagine predetta al livello più fine

54 Bibliografia [1] J. K. Aggarwal and N. Nandhahumar. On the computation of motion from sequences of images - a review. Proceedings of The IEEE, 76:917{935, 1988. [2] Y. Altunbasak and A. M. Tekalp. Closed-form connectivity-preserving solutions for motion compensation using 2-d meshes. IEEE Trans. Image Process., 6:1255{1269, Sept [3] Y. Altunbasak and A. M. Tekalp. Occlusion-adaptive, content-based mesh design and forward tracking. IEEE Trans. Image Process., 6:1270{1280, Sept [4] J. L. Barron, D. J. Fleet, and S. S. Beauchemin. Performance of optical flow techniques. International Journal of Computer Vision, 12:43{77, 1994. [5] M. Bierling. Displacement estimation by hierarchical block matching. In Proc. SPIE: Visual Commun. Image Processing, volume SPIE-1001, pages 942{951,Cambridge, MA, Nov.1988. [6] P. J. Burt and E. H. Adelson. The laplacian pyramid as a compact image code. IEEE Trans. Commun., COM-31:532{540, 1983. [7] P. Chou and C. Brown. The theory and practice of bayesian image labeling.International Journal of Computer Vision, 4:185{210, 1990. [8] R. O. Duda and P. E. Hart. Patterns classication and Scene analysis. John Wiley & Sons, 1973. [9] D. J. Fleet and A. D. Jepson. Computation of component image velocity from local phase information. International Journal of Computer Vision, 5:77{104, 1990. [10] D.J. Fleet. Disparity from local weighted phase-correlation. In IEEE International Conference on Systems, Man, and Cybernetics: Humans, Information andTechnology, pages 48 {54, 1994.

55 Bibliografia [11] S. Geman and D. Geman. Stochastic relaxation, gibbs distributions, and the baysian restoration of images. IEEE Trans. Pattern Anal. Machine Intell., 6:721{ 741, Nov [12] B. Girod. Motion-compensating prediction with fractional-pel accuracy. IEEE Trans. Commun., 41:604{612, 1993. [13] B. Girod. Motion-compensating prediction with fractional-pel accuracy. IEEE Transactions on Communications, 41(4):604{612, April [14] H.-M. Hang, Y.-M. Chou, and S.-Chih. Cheng. Motion estimation for video coding standards. Journal of VLSI Signal Processing Systems for Signal, Image, and Video Technology, 17(2/3):113{136, Nov [15] R. M. Haralick and J. S. Lee. The facet approach to optical ow. In Proc. Image Understanding Workshop, 1993. [16] B. K. Horn and B. G. Schunck. Determining optical ow. Articial intelligence,17, 1981. [17] B. K. P. Horn. Robot Vision. MIT Press, Cambridge, MA, 1986. [18] S. Hsu, P. Anandan, and S. Peleg. Accurate computation of optical ow using layered motion rapresentations. In Proc. Int. Conf. Patt. Recog., pages 743{746, Jerusalem, Israel, Oct [19] J. R. Jain and A. K. Jain. Displacement measurement and its application in interframe image coding. IEEE Trans. Commun., COM-29:1799{1808, Dec [20] T. Koga et al. Motion-compensated interframe coding for video conferencing. In Proc. Nat. Telecommun. Conf., pages G5.3.1{G5.3.5, New Orleans, LA, Nov.1981. [21] T. Komarek and P. Pirsch. Array architecture for block matching algorithms. IEEE Trans. Circuits and Systems, 36:269{277, Oct

56 Bibliografia [22] J. Konrad and E. Dubois. Baysian estimation of motion vector elds. IEEE Trans. Pattern Anal. Machine Intell., 14:910{927, Sept [23] C. Kuglin and D. Hines. The phase correlation image alignment method. In Proc. IEEE Int. Conf. Cybern. Soc., pages 163{165, 1975. [24] O. Lee and Y. Wang. Motion compensated prediction using nodal based deformable block matching. Journal of Visual Communications and Image Representation, 6:26{34, Mar [25] X. Lee and Y.-Q. Zhang. A fast hierarchical motion compensation scheme for video coding using block feature matching. IEEE Trans. Circuits Syst. for Video Technology, 6:627{635, Dec [26] A. Mitchie, Y. F.Wang, and J. K. Aggarwal. Experiments in computing optical flow with gradient-based multiconstraint methods. Pattern Recognition, 16, June 1983. [27] H. G. Musmann, M. Hotter, and J. Ostermann. Object oriented analysissynthesis coding of moving images. Signal Processing: Image Commun., 1:119{138, Oct [28] H.G. Musmann, P. Pirsch, and H.-J. Grallert. Advances in picture coding.Proceedings of IEEE, 73(4):523{548, Apr [29] H. H. Nagel. Displacement vectors derived from second-order intensity variations in images sequences. Computer Graphics and Image Processing, 21:85{117, 1983. [30] H. H. Nagel and W. Enklemann. An investigation of smoothness constraints for the estimation of displacement vector elds from image sequences. IEEE Trans. Pattern Anal. Machine Intell., 8:565{593, Sept [31] A. N. Netravali and J. D. Robbins. Motion compensated coding: some new results. Bell System Technical Journal, Nov. 1980 [32] P. Pirsch, N. Demassieux, and W. Gehrke. Vlsi architecture for video compression - a survey. Proc. IEEE, 83:220{246, Feb [33] B.S. Reddy and B.N. Chatterji. An t-based technique for translation, rotation, and scale-invariant image registration. IEEE Transactions on Image Processing, 5(8):1266{71, August 1996. [34] J. Rissanen. A universal prior for intergers and estimation by minimum description length. The Annuals of Statistics, 11(2):416{431, 1983.

57 Bibliografia [35] P.J. Rousseeuw and A.M. Leroy. Robust Regression and Outlier Detection. John Wiley & Sons, New York, 1987. [36] V. Seferidis and M. Ghanbari. General approach to block matching motion estimation. Optical Engineering, 32:1464{1474, July 1993. [37] H. Shekarforoush, M. Berthod, and J. Zerubia. Subpixel image registration by estimating the polyphase decomposition of cross power spectrum. In Proceed-ings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition IEEE, Los Alamitos, CA, pages 532{537, 1996. [38] C. Stiller and J. Konrad. Estimating motion in image sequences. IEEE Signal Processing Magazine, 16:70{91, July 1999. [39] A. M. Tekalp. Digital Video Processing. Prentice Hall PTR, Upper Saddle River, NJ, 1995. [40] G. A. Thomas. Television motion measurements for datv and other applications. Research report 1987/11, BBC, September 1987. [41] Y. Wang and O. Lee. Use of 2d deformable mesh structures for video compression. part i | the synthesis problem: Mesh based function approximation and mapping. IEEE Trans. Circuits Syst. for Video Technology, 6:636{646, Dec [42] Y. Wang and O. Lee. Active mesh | a feature seeking and tracking image sequence representation scheme. IEEE Trans. Image Process., 3:610{624, Sept.1994. [43] Y. Wang and J. Ostermann. Evaluation of mesh-based motion estimation in h.263 like coders. IEEE Trans. Circuits Syst. for Video Technology, 8:243{252, June 1998. [44] Y.Wang, X.-M. Hsieh, J.-H. Hu, and O.Lee. Region segmentation based on active mesh representation of motion: comparison of parallel and sequential approaches. In Proc. Second IEEE International Conference on Image Processing (ICIP'95), pages 185{188, Washington DC, Oct [45] O. C. Zienkewicz and R. L. Taylor. The nite element method, volume 1. Prentice Hall, 4th edition, 1989.