La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

SEGMENTAZIONE DELLE IMMAGINI Generalmente una immagine contiene diversi oggetti presenti nella scena. Per esempio, in una cella robotizzata di assemblaggio,

Presentazioni simili


Presentazione sul tema: "SEGMENTAZIONE DELLE IMMAGINI Generalmente una immagine contiene diversi oggetti presenti nella scena. Per esempio, in una cella robotizzata di assemblaggio,"— Transcript della presentazione:

1 SEGMENTAZIONE DELLE IMMAGINI Generalmente una immagine contiene diversi oggetti presenti nella scena. Per esempio, in una cella robotizzata di assemblaggio, il sistema di visione acquisisce automaticamente i vari oggetti da assemblare Lobiettivo del sistema intelligente in tale contesto, consiste nel dividere limmagine in regioni differenti, ognuna delle quali, include solo uno degli oggetti acquisiti da assemblare Linteresse in tale applicazione, è quello di avere disponibile un algoritmo che isoli i vari oggetti presenti nellimmagine Segmentazione Il processo di dividere limmagine in regioni omogenee, dove tutti i pixel che corrispondono ad un oggetto sono raggruppati insieme, è chiamato Segmentazione.

2 Il raggruppamento dei pixel in regioni è basato in relazione ad un criterio di omogeneità che li distingue tra loro. I criteri possono essere similarità di attributi: colore, tessitura, prossimità spaziale (distanza euclidea…) ecc.

3 Due puntualizzazioni importanti: 1. La segmentazione dellimmagine non implica la classificazione delle regioni. Lalgoritmo di segmentazione partiziona soltanto limmagine in regioni omogenee e nessuna informazione viene fornita per riconoscere gli oggetti associati e tanto meno sulla loro relazione. 2. La segmentazione dellimmagine non è basata su una particolare teoria fisico-matematica. Diversi sono gli algoritmi disponibili, molti dei quali non esaustivi e basati su un approccio euristico utilizzando metodi ad hoc per le varie applicazioni.

4 Gli algoritmi di segmentazione possono essere raggruppati come segue: Algoritmi basati sulla conoscenza globale o parziale dellimmagine (knowledge based). La conoscenza è rappresentata dagli istogrammi di alcune caratteristiche dellimmagine. Algoritmi basati sui contorni (Edge-based) Algoritmi basati sulle regioni (Region-based)

5 Gli algoritmi Edge e Region based si caratterizzano a loro volta sulla base delle features: luminanza, tessitura, movimento, colore, ecc.) utilizzate per lestrazione dei bordi o delle regioni.

6 Regioni e Contorni connessi regione Linsieme dei pixel connessi rappresentanti una particolare caratteristica o proprietà degli oggetti è chiamata regione di una immagine Una immagine può contenere diverse regioni che rappresentano una particolare proprietà di un singolo oggetto complesso oppure proprietà associate ai vari oggetti della scena A causa di errori presenti nellimmagine, non sempre è corretta la corrispondenza tra le regioni e ciò che esse rappresentano, ossia gli oggetti o parte degli stessi Un contorno è una lista ordinata di bordi Linsieme dei pixel che delimitano una regione costituiscono un contorno chiuso. Non sempre i limiti di una regione sono chiusi.

7 Processo di segmentazione La segmentazione, processo di raggruppamento dei pixel in regioni, può essere definita come un metodo che partiziona una immagine f(i,j) in regioni R 1, R 2, ,R n che soddisfano le seguenti condizioni: 1. ossia lintera immagine (Partizione esaustiva) 2. Ogni regione R i soddisfa un definito predicato (o criterio) di omogeneità P(R i ); ossia P(R i ) = vero i = 1,n 3. Ogni Regione R i è spazialmente connessa. 4. Pixel appartenenti a regioni confinanti R i ed R j, quando considerati congiuntamente, non soddisfano il predicato: P(R i R j ) = Falso i,j delle n regioni 5. {R i } è una partizione esclusiva, ossia R i R j = con i j

8 Segmentazione mediante soglia Il processo di convertire i livelli di grigio di una immagine f(i,j) in una immagine binaria g(i,j) è il metodo più semplice di segmentazione: per oggetti chiari per oggetti scuri dove S è la soglia dei livelli di grigio g(i,j) = 1 per i pixel appartenenti agli oggetti e g(i,j) = 0 per i pixel appartenenti allo sfondo

9 Se lintervallo dei livelli di grigio [S 1, S 2 ] associato agli oggetti è noto, limmagine binaria è così ottenuta

10 Se sono noti diversi intervalli (disgiunti) di livelli di grigio [S k,S k+1 ] associati ai corrispondenti oggetti O k, una segmentazione a soglia, più generale, è ottenuta per k = 1,n oggetti.

11 lestrazione dei bordi La segmentazione mediante soglia può essere utilizzata anche per lestrazione dei bordi corrispondenti agli oggetti della scena Nellipotesi che tali oggetti sono scuri rispetto ad uno sfondo più chiaro, si può ipotizzare che un intervallo di livelli di grigio può comprendere solo livelli che appartengono tra lo sfondo ed i confini di ciascun oggetto Se si indica con S lintervallo che include solo i livelli di grigio dei contorni degli oggetti, si ottiene la seguente immagine segmentata:

12 Metodo P-Tile Questo metodo si basa sulla conoscenza a priori della percentuale P di area dellimmagine occupata dalloggetto da esaltare rispetto allo sfondo

13 Una soglia bassa produce una segmentazione con caratteri in parte o del tutto cancellati, mentre la scelta di una soglia alta, produce una segmentazione con caratteri artefatti e modificati dalla forma originale

14 Metodo sullanalisi dellistogramma In alcune applicazioni, risulta efficace analizzare listogramma dei livelli di grigio di una immagine, per calcolare soglie appropriate, allo scopo di identificare intervalli di livello di grigio che identificano con buona approssimazione lo sfondo (scuro o chiaro) e gli oggetti della scena Gli istogrammi mostrano due picchi che corrispondono rispettivamente ad un oggetto della scena, con una distribuzione dei livelli di grigio approssimati da una Gaussiana ( 1, 1 ), ed allo sfondo con distribuzione Gaussiana ( S, S ). Questo metodo può essere generalizzato per n oggetti con distribuzione Gaussiana dei livelli di grigio ( 1, 1 ),.....,( n,, n ) e con lo sfondo ( S, S ). In questo caso sono da ricercare n soglie S 1, ,S n analizzando listogramma H(l) dellimmagine che presenterà n+1 picchi ed n valli

15 Metodo basato sulla modifica dellistogramma Listogramma non presenta un andamento perfettamente bimodale qualunque scelta della soglia S, individua pixel che possono appartenere alloggetto ed allo sfondo. Per minimizzare questo inconveniente, si può modificare listogramma dellimmagine non considerando i pixel ad alto gradiente. Sia: - f(i,j) limmagine da segmentare - f(i,j) il gradiente di f, -listogramma H(l) dellimmagine gradiente f si modifica come evidenziato in figura, presentando una valle più profonda che consente la scelta della soglia in modo più semplice.

16 Metodo della soglia ottimale iterativa Per applicazioni dove non si ha una conoscenza dellimmagine, la soglia di segmentazione S si calcola valutando parametri statistici della distribuzione dei livelli di grigio dei pixel delloggetto e dello sfondo Il metodo si basa sullapprossimazione dellistogramma dellimmagine usando la media pesata di due densità di probabilità con distribuzione normale. Dallistogramma dellimmagine H(l) si deriva listogramma normalizzato dato da: S livello di grigio corrispondente alla minima probabilità p(s) tra i picchi delle due distribuzioni normali, difficoltà nello stimare i parametri delle distribuzioni normali e sullassunzione che l variabile aleatoria approssimabile ad una distribuzione normale

17 Metodo della soglia ottimale iterativa cont. Ogni valore di soglia S determina due varianze, vale a dire una per i livelli di grigio minori di S ed una per quelli maggiore di S. La definizione di soglia ottimale introdotta da Otsu [8] è quella per la quale la somma pesata delle varianze (within-group) tra i due gruppi è minimizzata. I pesi sono le probabilità dei rispettivi gruppi. Ciascun gruppo dovrebbe avere una distribuzione unimodale a forma di campana (approssimabile ad una Gaussiana), in cui una distribuita attorno ad una media bassa ed una attorno ad una media più alta. Questo implica che vi è una relazione di omogeneità dei livelli di grigio appartenenti ad ogni raggruppamento, in cui i due gruppi differiscono lun laltro (ossia i livelli di grigio dei pixel appartenenti allo sfondo ed alloggetto). Una misura di omogeneità è caratterizzata dalla varianza. Un raggruppamento con alta omogeneità avrà una varianza bassa e viceversa una varianza alta per un gruppo con bassa omogeneità.

18 Metodo della soglia ottimale iterativa cont. Obbiettivo per la scelta della soglia ottimale Una possibilità di trovare la soglia di segmentazione per i due gruppi è quella di avere una varianza tra gruppi minima. Un altro modo è quello di massimizzare la differenza tra le medie dei due gruppi. In corrispondenza di una soglia S, la probabilità che un pixel appartenga al primo gruppo oppure al secondo è data da:

19 Metodo della soglia ottimale iterativa cont. La migliore soglia può essere ottenuta mediante un metodo di ricerca sequenziale, attraverso tutti i possibili valori di S che minimizzano Vi è una relazione tra varianza within-group w 2 e varianza totale 2 Riscrivendo

20 Metodo della soglia ottimale iterativa cont. Considerando che

21 Metodo della soglia ottimale iterativa cont. Deve essere massimizzata

22 Metodo della soglia ottimale iterativa cont. Con un valore iniziale. Con valore iniziale.

23 Metodo di segmentazione con soglia adattiva Nelle applicazioni dove limmagine è acquisita in condizioni di luce non uniforme, le soglie selezionate con i metodi precedenti non producono una buona segmentazione In tale contesto, può essere utile dividere limmagine in sottoimmagini quadrate e per queste ultime la soglia è calcolata utilizzando i metodi precedenti La segmentazione dellimmagine completa è ottenuta considerando come soglia di ciascun pixel il valore di soglia interpolato tra due sottoimmagini

24 Metodo di segmentazione con soglia adattiva Approccio alternativo è quello di trovare funzioni di approssimazione dello sfondo per immagini ad illuminazione non uniforme

25 Metodo con soglia multilivello per immagini a colori e multispettrali Per immagini multibanda (satellitari o a colori), la segmentazione può risultare efficace operando ricorsivamente sullistogramma di intensità di ciascuna componente (o banda) per la ricerca di soglie a diversi livelli Un algoritmo di segmentazione basato sulla ricerca ricorsiva delle soglie: 1- Si considera limmagine componente f(i,j) come una singola regione 2- Calcola listogramma H(l) di intensità con l=0,255. Ricerca il valore minimo tale da dividere limmagine in una zona chiara ed una scura. 3- Partiziona la regione in sottoregioni in relazione alla soglia calcolata in 2). 4- Ripetere il passo 2) e 3) per ciascuna regione dellimmagine fino a quando gli istogrammi associati contengono solo un picco significativo.

26 Metodo con soglia multilivello per immagini a colori e multispettrali

27

28 Attività di pre-processing per migliorare la qualità dellimmagine ed aumentarne il contrasto RedBlueGreen La BANDA GREEN trasporta la più alta quantità di informazione Sistema automatico di localizzazione dei vasi sanguigni Un utile strumento per lanalisi qualitativa dellinformazione presente nelle bande RGB è listogramma La BANDA GREEN esibisce in assoluto il miglior contrasto dal momento che la distribuzione dei livelli di grigio è molto più ampia rispetto alle altre bande di colore

29 ymym xmxm y1y1 y c - y2y2 xcxc x1x1 x2x2 Segmentazione mediante sottrazione dello sfondo e proiezioni orizzontale e verticale Background subtraction

30 Etichettamento Componenti Connesse Supponiamo di avere una immagine binaria B e che B(x,y) =B(x,y)=v con v=0 oppure v=1. Il pixel (x,y) è connesso al pixel (x,y) rispetto al valore v, se cè una sequenza di pixel (x,y)=(x 0,y 0 ), (x 1,y 1 ), (x 2,y 2 ),….., (x n,y n )=(x,y) in cui B(x i,y i )=v per i=1,….,n ed (x i,y i ) è pixel nellintorno di (x i-1,y i-1 ) per ogni i=1,…,n. La sequenza di pixel (x 0,y 0 ), (x 1,y 1 ), (x 2,y 2 ),….., (x n,y n ) forma un percorso connesso da (x,y) a (x,y). (a) Immagine binaria(b) Etichettamento delle componenti connesse (c) Immagine binaria ed etichettata

31 Etichettamento Componenti Connesse Algoritmo ricorsivo di labeling (a) 4-vicinanza(b) 8-vicinanza

32 Algoritmo: a)Cerca un pixel del contorno. Analizza limmagine gradiente linea per linea fino a quando non si incontra un pixel P i (x,y) che ha massimo valore del gradiente (oppure che possiede un valore di gradiente che supera una certa soglia predefinita) b)Cerca il pixel successivo. Sia P J (x,y) il pixel adiacente a P i (x,y) con massimo valore di gradiente e con la stessa direzione (P i ). P j risulta elemento del contorno ed il passo b) è ripetuto. Altrimenti si procede al passo successivo c)Esamina i pixel adiacenti a P J. Si calcola la media dei pixel adiacenti a P J corrispondenti alla finestra 3x3 centrata su P J. Il risultato della media è confrontato con un valore di grigio gradiente predefinito allo scopo di valutare se P J è interno o esterno alla regione in esame d)Continua linseguimento del contorno. Il pixel P k è selezionato come elemento adiacente a P i nella direzione (P i ) /4. La scelta del segno dipende dal risultato del passo precedente. Se il pixel P k risulta un nuovo elemento del contorno, linseguimento dello stesso continua proseguendo con il passo b). Se P k non è elemento del contorno ricerca un nuovo pixel di contorno P i proseguendo con il passo a). Segmentazione basata sullinseguimento dei bordi Si basa sul raggruppamento di pixel con massimo valore del gradiente che soddisfano percorsi con 4-vicinanza oppure con 8-vicinanza e sulla base della direzione più probabile di continuazione del contorno.

33 Trasformata di Hough Metodo che si basa su una relazione globale tra i pixel La relazione è possibile poiché degli oggetti si conosce la loro forma Per esempio, nel caso di immagini telerilevate, per lo studio del territorio, risulta essenziale individuare particolari strutture geometriche (linee, poligoni, ecc.) che rappresentano strade, ponti, terreni coltivati, ecc.. Nellispezione dei circuiti stampati necessita individuare strutture lineari e circolari, cosi come nellautomazione industriale, il sistema di visione di una cella robotizzata, localizza nel piano di lavoro oggetti con forma circolare predefinita.

34 Trasformata di Hough Si propone di valutare relazioni strutturali e non, presenti tra i pixel dellimmagine. Data una immagine, si vuole verificare se esistono strutture geometriche lineari significanti, con qualunque direzione ed in qualunque posizione nellimmagine. Il problema si riduce a verificare se esistono insiemi di pixel allineati lungo una retta con identico livello di grigio. Per esempio consideriamo prima due pixel, che individuano una retta, e successivamente, verificare tutti i pixel significativi che sono ben allineati oppure poco distanti dalla retta. Se i pixel da analizzare sono n, si dovrebbe ripetere tale procedura n(n-1)/2 n 2 volte e poi verificare lallineamento considerando ciascuno degli n punti con tutte le linee richiedendo circa n × n(n-1)/2 n 3 confronti. Il tempo di calcolo richiesto sarebbe improponibile

35 Trasformata di Hough Nel piano immagine, lequazione di un fascio di rette, passante per un pixel (x i,y i ), in forma esplicita, è data da: Lequazione precedente può essere riscritta nella forma: spazio parametrico definendo in questo modo un nuovo piano pq che è chiamato spazio parametrico

36 Trasformata di Hough Si ricerca i massimi locali nellaccumulatore

37 Trasformata di Hough Quando sono considerate strutture lineari verticali, lequazione della retta in forma esplicita y=px+q, non risulta più adeguata poichè il parametro p e non è più dicretizzabile facilmente (diventerebbe troppo grande) Per eliminare questo inconveniente, si utilizza la rappresentazione della linea in coordinate polari:

38 Trasformata di Hough

39 Trasformata di Hough per i cerchi In forma parametrica:

40 Trasformata di Hough

41 Segmentazione di sequenze video – Adaptive Background Si assuma che la sequenza video sia catturata da una telecamera stazionaria. Le regioni contenenti oggetti in movimento saranno segmentate mediante una semplice operazione di sottrazione tra ciascun frame ottenuto con una stima dello sfondo (background). Le differenze vengono successivamente sogliate per far emergere le regioni di movimento. Sia B 0 (x,y) il modello di background inizializzato con il primo frame acquisito oppure mediante un processo di media tra frame contigui iniziali acquisiti dalla scena. Sia M n (x,y) una maschera binaria ottenuta dalloperazione di thresholding delle differenze tra frame consecutivi al tempo n e definita come segue: M n (x,y) mostra semplicemente le regioni che variano il livello di grigio dovuto alla variazione dellilluminazione oppure dal passaggio di un oggetto in movimento.

42 Segmentazione di sequenze video – Adaptive Background Il modello adattivo di background si aggiorna costantemente in base alle condizioni ambientali che variano mediante una combinazione lineare del background precedente e del frame corrente acquisito. dove (0,1) è la costante di tempo che definisce la velocità di adattamento del background e determina la sensibilità dellaggiornamento alle variazioni di illuminazione della scena. Più è alta la variazione di illuminazione (o più è grande larea coinvolta dagli oggetti in movimento nella scena) tra frame, più basso deve essere il valore (vicino a zero) del coefficiente di variabilità, in modo tale che il modello di background sia più influenzato dallimmagine corrente. Si può avere un parametro adattivo di

43 Segmentazione di sequenze video – Adaptive Background Lapproccio maggiormente utilizzato per la rilevazione di oggetti in movimento è quello di sottrarre dal frame corrente il modello di background sino a quel momento approssimato Tuttavia, ci possono essere situazioni in cui errati valori di soglia causano oggetti segmentati erroneamente o non corrispondenti alla reale forma delloggetto in movimento. Questi problemi si ripercuoterebbero nella fase di estrazione delle forme (feature extraction) e nel riconoscimento. Sia I n (x,y) e B n (x,y) frame corrente e background approssimato Sia D n (x,y) una maschera binaria che fa emergere gli oggetti di interesse segmentati (foreground detection) con 1 indicante il corrispondente pixel marcato come appartenente alloggetto

44 Segmentazione di sequenze video – Adaptive Background La semplice differenza non è appropriate per quelle applicazioni in cui la scena è soggetta a repentine fluttuazioni di illuminazione Per questa ragione si utilizza una soglia Th automatica fattore di normalizzazione della distribuzione Gaussiana.

45 Segmentazione di sequenze video – Adaptive Background

46 Segmentazione di sequenze video – Misture di Gaussiane Il livello di grigio di ciascuna immagine è dipendente fortemente dalla riflessione della condizione di illuminazione del momento, che se dipendente da una sola superficie, allora una singola Gaussiana sarebbe sufficiente a modellarlo tenuto conto delle fluttuazioni dovute al rumore nel sistema di acquisizione. Nelle situazioni reali invece il contributo del livello di grigio di ciascun pixel non dipende solo dalla riflessione di una singola superficie ma dal contributo di diverse superfici presenti.. Pertanto è necessario modellare ciascun pixel con una mistura di Gaussiane. Sia {x 0,y 0 } la posizione del pixel al tempo t, la cui storia è costituita da una sequenza temporale:

47 Segmentazione di sequenze video – Misture di Gaussiane Figura 23 Le immagini mostrano diversi tipi di situazioni ambientali per cui il valore di un particolare pixel nel nel tempo viene graficato. In (a) i valori della banda Red e Green vengono graficati per uno stesso pixel a distanza di due minuti, lasciando intravedere una distribuzione di tipo multimodale. In (b) due distribuzioni dello stesso pixel per istanti di tempo diversi ed in (c) le stesse considerazioni causate dalla forte variazione di illuminazione dovute alle continue fluttuazioni del monitor (flickering).

48 Segmentazione di sequenze video – Misture di Gaussiane ciascun pixel è modellato con una mistura di K Gaussiane, la cui probabilità di osservare un determinato livello è dato da: stima del peso Per ragioni implementative, i livelli di rosso, verde e blu si considerano statisticamente indipendenti con la stessa varianza, e pertanto, la matrice di covarianza è data da:

49 Segmentazione di sequenze video – Misture di Gaussiane Ad ogni osservazione del livello di intensità del pixel, si trova una Gaussiana che soddisfa il match Lidea è che se il pixel è di background (sfondo) allora il valore del pixel si discosta dalla media di una delle Gaussiane che lo rappresenta entro 2,5 volte la sua deviazione standard. Se nessuna delle K Gaussiane soddisfa la condizione di match con il pixel in esame, allora la distribuzione meno probabile è rimpiazzata con il valore corrente del pixel in termini di media della Gaussiana, un valore di varianza iniziale V 0 impostato con valori molto alti (V 0 =30) ed un peso a priori della Gaussiana basso. I pesi a priori delle K Gaussiane al tempo t, vengono modificati come segue: con il parametro di apprendimento (generalmente molto basso e da ricavare sperimentalmente, comunque con valori che possono essere tipo = M k,t è 1 per il modello che soddisfa il match, altrimenti 0 per le Gaussiane rimanenti

50 Segmentazione di sequenze video – Misture di Gaussiane Successivamente i pesi devono essere normalizzati. I parametri delle Gaussiane ( ) che non soddisfano il match rimangono invariati I parametri delle Gaussiane che invece soddisfano il match sono aggiornati come segue Quindi la stima del modello di background B è dato in base al contributo delle Gaussiane attive per ogni pixel.

51 Segmentazione di sequenze video – Misture di Gaussiane Un oggetto di background avrà varianza molto piccola, mentre un nuovo oggetto che occlude uno di background, non soddisferà il criterio di match con una delle distribuzioni Normali esistenti, Quindi risulterà nella creazione di una nuova distribuzione oppure in un aumento sostanziale della varianza di una distribuzione esistente. Quali Gaussiane scegliere per il modello di background? Si ordinano le Gaussiane secondo il criterio di importanza dato da Stabilendo quali delle K sono significative per un dato pixel e quali no Quindi le prime B distribuzioni vengono scelte come modello di background secondo la seguente relazione: T=0,7

52 Segmentazione di sequenze video – Misture di Gaussiane


Scaricare ppt "SEGMENTAZIONE DELLE IMMAGINI Generalmente una immagine contiene diversi oggetti presenti nella scena. Per esempio, in una cella robotizzata di assemblaggio,"

Presentazioni simili


Annunci Google