BILAYER SEGMENTATION OF LIVE VIDEO

Presentazione sul tema: "BILAYER SEGMENTATION OF LIVE VIDEO"— Transcript della presentazione:

1 BILAYER SEGMENTATION OF LIVE VIDEO
A.Criminisi, G.Cross, A.Blake, V.Kolmogorov BILAYER SEGMENTATION OF LIVE VIDEO Andrea Mazzei Consiglia Montaruli Marco Manganelli

2 OBIETTIVO Presentazione di un algoritmo in grado di effettuare un’efficiente segmentazione in tempo reale di una sequenza video in due layer: foreground e background. Richiede efficienza computazionale per sostenere la velocità di una applicazione streaming video e accuratezza per ottenere un risultato apprezzabile. Possibile applicazione: sostituzione del background in una video conferenza.

3 NOTAZIONE FRAME: array I di pixel nello spazio dei colori YUV.
DERIVATE TEMPORALI: Ad ogni istante t calcolate come: G( . ) Kernel Gaussiano, σ =0.8 GRADIENTI SPAZIALI: dove MOVIMENTI OSSERVABILI: SEGMENTAZIONE BINARIA: array di valori in cui con F e B che denotano l’appartenenza di un pixel al foreground o al background layer.

4 MODELLO PER LA SEGMENTAZIONE
La segmentazione in due layer avviene sulla stima di , che si ottiene effettuando una minimizzazione del termine di energia E. L’energia al tempo t è rappresentata come somma di quattro termini: Take ground truth data, where each pixel is assigned a label (M/O) and a disparity, Discretize disparities. Create two normalized histograms: Matched VS N, and Occluded VS N. Divide them. Motion likelihood Spatial continuity Colour likelihood Temporal continuity

5 TERMINE DI TEMPORAL COHERENCE
Analizzando due frame, un pixel può rimanere nel layer di background (BB) o di foreground (FF) oppure effettuare una transizione (FB o BF). Modello: catena di Markov del secondo ordine, la probabilità che un pixel al tempo t appartenga ad un layer dipende dallo stato del pixel nei frame ai tempi t-1 e t-2. In base a questo, il termine di Temporal Coherence può essere calcolato come: Take ground truth data, where each pixel is assigned a label (M/O) and a disparity, Discretize disparities. Create two normalized histograms: Matched VS N, and Occluded VS N. Divide them.

6 TERMINE DI SPATIAL COHERENCE
Termine che rappresenta la tendenza dei confini di una regione di segmentazione ad allinearsi con i contorni dell’immagine caratterizzati da un alto contrasto. Garantisce una continuità spaziale. Take ground truth data, where each pixel is assigned a label (M/O) and a disparity, Discretize disparities. Create two normalized histograms: Matched VS N, and Occluded VS N. Divide them. C rappresenta l’insieme di coppie di pixel vicini. γ, ε costanti di diluizione

7 TERMINE DI COLOUR LIKELIHOOD
Termine che assegna un pixel ad un layer in base ad una valutazione della distribuzione del colore. Al tempo t: Il foreground è calcolato sul frame attuale DINAMICO Il background è calcolato in fase di inizializzazione STATICO Efficienza computazionale rispetto a metodi basati su Gaussian Mixture Model ed Expectation Maximization

8 TERMINE DI MOTION LIKELIHOOD
Evidenzia le parti in movimento dell’immagine, calcolando il moto in base alla segmentazione al tempo t e t-1. Pixel chiari: MOVIMENTO Pixel scuri: STASI

9 MINIMIZZAZIONE DELL’ENERGIA
Array di valori di segmentazione: ENERGIA: MINIMIZZAZIONE Applicazione del metodo del Graph Cut