Fabio Cuzzolin - Dipartimento di Elettronica e Informatica - Università di Padova DATA ASSOCIATION E TEORIA DELLEVIDENZA

Data association Data association = ricerca delle corrispondenze tra punti di due immagini consecutive che rappresentano uno stesso punto di una scena 3D

Tracking di markers esempio: tracking di feature-points corrispondenti a marcatori disposti su un corpo in movimento marker ginocchio dx ginocchio sx anca sxanca dx

Principali problemi ricostruzione della posizione 3D di punti da immagini stereo occlusione di markers nascosti da parti del corpo nel corso del movimento etichettatura di marcatori che riappaiono dopo una fase di occlusione imperfezione dei metodi di estrazione delle feature problema delle false feature sensibilità ai movimenti rapidi degli inseguitori difficoltà a distinguere punti che vengono ad avvicinarsi

Una soluzione : la probabilistic data association il principio lapproccio matematico alcuni dettagli: distribuzioni, matrice, ecc riferimenti bibliografici

Svantaggi della PDA complessità di calcolo, dovuta al tener conto di tutte le possibili associazioni lassenza di info probabilistiche allistante iniziale implica una etichettatura manuale dei punti della prima immagine track coalescence: quando i punti tracciati si avvicinano la JPDA non riesce a dare indicazioni valide le occlusioni non vengono gestite in maniera naturale non può sfruttare le informazioni sul modello del corpo in moto, che spesso sono di carattere qualitativo

Obiettivi Cerchiamo un metodo che: –sfrutti le informazioni probabilistiche fornite da un filtro inseguitore (ad esempio un filtro di Kalman) che generi delle d.d.p. attorno a predizioni delle future posizioni dei markers –integri questi dati con vincoli topologici e di moto rigido estratti da un modello stilizzato del corpo (vedi diapositiva no 3) –non richieda assunzioni a priori o interventi ad-hoc nella fase transitoria iniziale –sia poco sensibile a occlusioni o false feature maggiore robustezza –abbia una complessità computazionale non alta –permetta deduzioni di tipo logico per ridurre lincertezza sullassociazione corretta

La teoria dellevidenza il concetto di belief function regola di Dempster: la somma ortogonale di due funzioni è una funzione i cui elementi focali sono tutte le possibili intersezioni tra gli e.f. delle funzioni da combinare, e la cui massa è data da:

Esempio di combinazione di b.f. S 1 : –m({a 1 })=0.7 –m({a 1, a 2 })=0.3 S 2 : –m( )=0.1 –m({a 2, a 3, a 4 })=0.9 S 1 S 2 : –m({a 1 })=0.19 –m({a 2 })=0.73 –m({a 1, a 2 })=0.08

Refinings e raffinamento minimo Esistono infinite descrizioni di uno stesso fenomeno, dipendenti dal grado di raffinatezza della nostra conoscenza Il raffinamento comune minimo è il più piccolo spazio comune in cui è possibile combinare funzioni definite su due diversi frames

Scrittura dei vincoli vincoli belief function nello spazio delle possibili associazioni tipi di vincoli: –a-priori : traducono le dd.p. delle predizioni prodotte dal filtro –ordinali: statistica dellordinamento dei punti lungo una direzione privilegiata –metrico-topologici: basati sulla relazione di adiacenza tra coppie di punti nel modello –di occlusione: esprimono la possibilità di occlusione –di moto rigido: sfruttano la rigidità del moto di almeno una parte del corpo –di esclusione: vincoli di impenetrabilità delle diverse parti del corpo –di dispersione: misurano laddensarsi delle features (possibili arti) –strutturali: informazioni qualitative sul modello (uguaglianza o parallelismo tra segmenti)

Costruzione di belief da d.d.p. metodi di costruzione delle belief functions: –Bayesiano: traduzione diretta delle densità prodotte dal filtro in un b.f. Bayesiana –consonante: si impongono le condizioni di consonanza e di conservazione delle plausibilità relative –tramite discounting

Esempio: vincolo di moto rigido supponendo di conoscere lassociazione passata, è possibile controllare la rigidità del moto di una coppia di punti tra due istanti di tempo fissato un livello di confidenza, si testa la congruenza di ogni segmento misurato con quello formato da una data coppia di punti del modello in t-1 il risultato si può esprimere come un b.f. su un frame costituito da tutte le coppie di punti misurati, più un elemento che segnala locclusione di almeno uno dei due punti del segmento considerato del modello coppie che superano il test occlusione probabile errore dei test Il livello di confidenza del test costituisce una evidenza in favore dellimpossibilità di trarre conclusioni, ed è perciò attribuito a

Esempio: vincolo di moto rigido si ottiene così una famiglia di FOD jk per tutti links del modello questi FOD sono tutti coarsenings dello spazio delle possibili associazioni, su cui le rispettive funzioni vengono combinate 12 jk n-1 n Spazio delle associazioni

Inizializzazione si vuole evitare il ricorso alla etichettatura manuale in t=0 completa automazione allistante iniziale molti vincoli non sono formulabili vincoli validi in t=0: strutturali, di dispersione essi generano un insieme di possibili associazioni lincertezza si propaga in avanti fino ad essere risolta allarrivo di successive informazioni di carattere dinamico informazioni parziali sullo stato iniziale possono essere sfruttate per ridurre lincertezza

Informazioni condizionate Classificazione dei vincoli: –dipendenti dalla associazione passata (metrico-topologici, di moto rigido) –dipendenti dalle misure (predizioni, occlusioni) –istantanei, cioè applicabili direttamente allo spazio delle associazioni (esclusione, dispersione, strutturali) lassociazione passata spesso non è nota con certezza (es: fase transitoria iniziale) le informazioni dipendenti dalla storia passata si esprimono in termini di belief condizionate

Evidenza totale I vincoli condizionati definiti sui vari (st i ) vengono combinati per formare una unica b.f. (evidenza totale) A m-1 (associazioni passate) = A m-1 m-1 m (associazioni passate e presenti) (st 1 ) st 1

Architettura generale del sistema tutte le informazioni vengono integrate sul raffinamento comune proiezione del risultato sugli spazi delle associazioni passate e future A m-1 (associazioni modello - misure passate) A m-1 (st 1 ) st 1 = A m-1 m-1 m (raff. comune) A m (associazioni modello - misure correnti) A m m-1 m m-1 m (associazioni tra misure passate e correnti)

Processo di stima la stima corrente dellassociazione tra punti del modello e misure è rappresentata dalla belief function su A m ad ogni istante la combinazione della stima passata con le nuove evidenze espresse in forma di b.f. riduce lincertezza sulla stima la nuova stima può anche essere propagata allindietro per ricostruire con un nuovo grado di precisione levoluzione del corpo fino a quel momento dalla b.f corrente si può estrarre una stima puntuale –calcolando le plausibilità delle singole associazioni possibili, o –approssimando la funzione con una b.f. consonante

Occlusioni e false feature La presenza di occlusioni non altera il funzionamento del sistema: il punto del modello viene ignorato, modificando di conseguenza i vincoli quando un marker riappare può essere etichettato in base ai vincoli di modello, pur non avendo una traccia di inseguimento le false feature vengono facilmente scartate applicando i vincoli quando più punti si trovano vicini (coalescence) lanalisi del moto rigido o della struttura aiuta a distinguerli

Conclusioni Principali vantaggi dello schema di inseguimento e stima basato sulla teoria dellevidenza: –non è necessaria una etichettatura manuale in t=0 –non sono necessarie assunzioni a priori –integra informazioni di tipo quantitativo (d.d.p.) con altre di tipo logico aumento robustezza es: compensazione di movimenti rapidi –reagisce in modo naturale a eventuali occlusioni o mancanze di informazioni in qualsiasi istante –è aperto allintegrazione di altre fonti di informazione –scarta a priori le eventualità non supportate da alcuna evidenza bassa complessità di calcolo