La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Seminario Giovanni Maria Farinella, Dr. Imaging and Graphic Research Group Segmentazione: Introduzione.

Presentazioni simili


Presentazione sul tema: "Seminario Giovanni Maria Farinella, Dr. Imaging and Graphic Research Group Segmentazione: Introduzione."— Transcript della presentazione:

1 Seminario Giovanni Maria Farinella, Dr. Imaging and Graphic Research Group Segmentazione: Introduzione

2 Segmentazione GMFGMFSEMINARIO IGRG - CT How do we know which groups of pixels in a digital image correspond to the objects to be analyzed?

3 Segmentazione GMFGMFSEMINARIO IGRG - CT Segmentazione Consiste nel partizionamento di una immagine in regioni omogenee sulla base di un certo criterio di appartenenza dei pixel ad una regione Obiettivo: individuare/riconoscere gli oggetti che compongono limmagine The segmentation of the image(s) presented to an image analysis system is critically dependent on the scene to be sensed, the imaging geometry, configuration, and sensor used to transduce the scene into a digital image, and ultimately the desired output (goal) of the system (A. Jain)

4 Segmentazione GMFGMFSEMINARIO IGRG - CT Regioni Le regioni in cui limmagine viene suddivisa devono soddisfare alcune proprietà: DISTINCT: Nessun pixel è condiviso da due regioni COMPLETE: Tutti i pixel dell immagine sono assegnati ad almeno una regione della partizione CONNECTED: Tutti i pixel appartenenti ad una regione sono connessi HOMOGENEOUS: Tutte le regioni sono omogenee rispetto ad un criterio fissato (e.g. intensità, colore, texture, ecc..)

5 Segmentazione GMFGMFSEMINARIO IGRG - CT Formalmente Sia I rc una immagine con r righe e c colonne in cui il pixel (i,j) assume il valore x ij nello spazio dei colori S I rc = {x ij : i=1…r, j=1…c, x ij in S} Esempio: S=RGB x ij =[x ij,R ; x ij,G ; x ij,B ] Sia H un predicato di omogeneità definito su un qualsiasi insieme di pixel Sia R l = {(i l1,j l1 ), (i l2,j l2 ),…, (i ln,j ln )} {1,…,r}x{1,…,c} La segmentazione di I rc è una partizione P={R 1, R 2,…,R k } tale che: R i R j = Ø i,j = 1,…,K ij (Distinct) U R i = {1,…,r}x{1,…,c}(Complete) In ogni regione R i i pixel sono connessi(Connected) H(R n )= true R n (Homogeneous) H(Rn U Rm)=false R n, R m adiacenti K i=1

6 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempi Landscape Image Segmentation Medical Image Segmentation Skin Segmentation Microarray Image Segmentation RlRl 8-connesso 4-connesso

7 Segmentazione GMFGMFSEMINARIO IGRG - CT Segmentation Resolution Si possono definire tre categorie di risoluzione: Undersegmentation corrisponde alla risoluzione più bassa. L'omogeneità è definita con un grande margine di tolleranza. Soltanto i colori più signicativi sono mantenuti. I contorni delle regioni sono i bordi dominanti nell'immagine. Oversegmentation corrisponde ad una risoluzione intermedia. La gamma dei colori è abbastanza ricca limmagine è suddivisa in piccole regioni che possono essere fuse attraverso controlli basati sulla conoscenza. E la risoluzione raccomandata quando il goal è lobject recognition. Quantization corrisponde ad una risoluzione alta. La gamma di colori contiene tutti i colori importanti nell'immagine. Questa categoria di segmentazione è diventata importante con la diffusione delle basi di dati di immagini. Una ampia gamma di colori, possibilmente insieme alla struttura spaziale, è essenziale per le query basate sul contenuto. Dorin Comaniciu

8 Segmentazione GMFGMFSEMINARIO IGRG - CT Biological Segmentation in Human: Visual Perception To see an object in the world we must see it as something (L.Wittegenstein) IT is established since the Gestalt movement in psychology that perceptual grouping plays a fundamental role in human perception. (R. Nock – F. Nielsen)

9 Segmentazione GMFGMFSEMINARIO IGRG - CT Visual Perception primo stadio dellelaborazione dellinformazione che si conclude con la Percezione: Input Ambientale (Stimolo) Registro Sensoriale (Stimolo, Organi di Senso) Selezione Tramite Attenzione Selettiva dellinput Interessante Percezione-Riconoscimento Human Visual Perception (Pre-Atentive) is governed by Gestalt Principles

10 Segmentazione GMFGMFSEMINARIO IGRG - CT Gestalt Principles of Visual Organization Figura e sfondo Prossimità Chiusura Continuazione Similarità Comune Destino Parallelismo Regione Comune Simmetria

11 Segmentazione GMFGMFSEMINARIO IGRG - CT Figura e Sfondo IL RAPPORTO TRA FIGURA E SFONDO permette di leggere limmagine, attraverso la separazione della figura dallo sfondo. Gli elementi dominanti sono percepiti come figura, il resto è percepito come sfondo. il faro spicca maggiormente e quindi viene catalogata come figura mentre le linee orizzontalo celesti sono percepite come sfondo.

12 Segmentazione GMFGMFSEMINARIO IGRG - CT Prossimità Le colonne e le righe dominano la nostra focale. Tendiamo ad identificare come gruppi le features che sono vicine tra loro. Questa legge è da tenere in considerazione quando limmagine gioca un ruolo importante nellabilità di interpretare il messaggio che si nasconde dietro. La figura A, a dimostrazione di questa legge, non viene vista come un insieme di righe ma piuttosto come un insieme di colonne. figura A

13 Segmentazione GMFGMFSEMINARIO IGRG - CT Chiusura Il nostro occhio tende a completare gli spazi vuoti e le forme non chiuse. Noi tendiamo a vedere le immagini complete persino quando una parte dellinformazione è mancante. In questa figura tendiamo a vedere tre rettangoli rotti ed un parentesi quadrata sulla sinistra piuttosto che tre colonne ed un parentesi quadrata sulla destra. Se eliminiamo le linee orizzontali ritorniamo alla figura che abbiamo visto nel principio di prossimità.

14 Segmentazione GMFGMFSEMINARIO IGRG - CT Continuazione lorganizzazione della percezione porta lo sguardo a proseguire lungo una linea retta o una curva. distinguiamo due linee: una da a a c e una da b a d. In realtà questo grafico potrebbe rappresentare un altro insieme di linee: da a a d e da b a c. Tuttavia, è più probabile che si tenda ad identificare il primo gruppo di queste linee che hanno una migliore continuazione rispetto al secondo dove è presente un ovvia torsione. a b c d

15 Segmentazione GMFGMFSEMINARIO IGRG - CT Similarità Elementi visivi simili vengono raggruppati sulla base della forma, della grandezza, del colore o della direzione. I cerchi e i quadrati sono raggruppati in maniera naturale; percepiamo colonne alternate di cerchi e quadrati. Se non fossero presenti le due caratteristiche ricorrenti percepiremmo la figura come righe o colonne

16 Segmentazione GMFGMFSEMINARIO IGRG - CT Comune Destino Oggetti che si muovono nella stessa direzione tendono ad essere percepiti come una unica entità

17 Segmentazione GMFGMFSEMINARIO IGRG - CT Parallelismo Linee parallele tendono ad essere raggruppate insieme

18 Segmentazione GMFGMFSEMINARIO IGRG - CT Regione Comune Figure posizionate allinterno della stessa regione chiusa tendono ad essere percepite insieme

19 Segmentazione GMFGMFSEMINARIO IGRG - CT Simmetria Percepire lintero di una figura rispetto alle parti singole che la costituiscono Osservando la figura si vedono due rombi sovrapposti o tre oggetti: un piccolo rombo e due oggetti irregolari sopra e sotto di esso. Secondo il principio di simmetria, si percepiranno probabilmente due rombi sovrapposti

20 Segmentazione GMFGMFSEMINARIO IGRG - CT Gestalt Principles e Strategie di Segmentazione Molte strategie di segmentazione sono riconducibili ai principi Gestalt Gestalt Principles Stategie di Segmentazione Figure/SfondoTresholding Prossimità, SimilaritàClustering, Region Growing, Region Merging Continuità e ChiusuraMorphological Methods SimilaritàStatistical Methods Continuità e chiusuraEdge-Detection

21 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Thresholding Ogni pixel di una immagine a toni di grigio è caratterizzato da un valore di luminanza. Lalgoritmo, di base, fissa una soglia di luminanza, allo scopo di distinguere tra due regioni(Sfondo/Oggetti). La soglia può essere fissata arbitrariamente, o in maniera automatica in base ad un certo criterio(usualmente statistico). 0 Max Intensity Number of pixel Basato sullistogramma (distribuzione)

22 Segmentazione GMFGMFSEMINARIO IGRG - CT Formalmente Se gli oggetti e il background occupano differenti range nella scala di grigi, possiamo marcare i pixel degli oggetti con il processo thresholding: Sia I rc (i,j) limmagine originale in scala di grigio Sia B rc (i,j) limmagine binaria ottenuta dal processo thresholding su I rc (i,j) B rc (i,j) = 0 if I rc (i,j)

23 Segmentazione GMFGMFSEMINARIO IGRG - CT Threshold Selection: Peak and Valley method Histogramma (h): distribuzione di frequenza dei livelli di grigio presenti nellimmagine I rc (i,j) hI(g) = numero di pixel in I rc il cui livello di grigio è g 1. Trova i due picchi più prominenti di h g è un picco se hI(g)>hI(g±Dg), Dg=1,…,k Siano g 1 e g 2 i due picchi più alti con g1

24 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio

25 Segmentazione GMFGMFSEMINARIO IGRG - CT Global threshold selection 1. Seleziona una soglia iniziale T (es: media dei grigi presenti) 2. Segmenta limmagine usando T Questo passo produce due gruppi di pixel G1: tutti i pixel hanno valore minore a T G2: tutti i pixel hanno valore maggiore uguale a T 3. Computa la media sui valori di grigio dei pixel presenti in G1 e G2 (µ 1, µ 2 ) 4. Computa la nuova soglia threshold T=½ (µ 1+ µ 2 ) 5. Ripeti gli step da 2-4 fino a convergenza Es. Convergenza: T non cambia in due ripetizioni successive

26 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio

27 Segmentazione GMFGMFSEMINARIO IGRG - CT Thresholding Vantaggi Semplice Efficiente Svantaggi Perdita delle informazioni di prossimità Listogramma descrive informazioni globali Limitata per scene complesse (due classi) In immagini a colori risulta più complicato

28 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Clustering Dalla rappresentazione dellimmagine nellusuale spazio bidimensionale, si passa ad uno spazio delle caratteristiche, ad esempio lo spazio tridimensionale RGB, e si procede ad un partizionamento di tale spazio, allo scopo di identificare le regioni. Svantaggio: si perdono le proprietà di vicinato dei pixel, quindi si possono generare regioni non connesse. Limmagine si può vedere come un grafo su cui applicare lalgoritmo per la ricerca componenti connesse dopo aver effettuato la procedura di clustering. …Consensus Clustering? …Gravitational Clustering?

29 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Clustering Classificazione non supervisionata Suddivisione dei vettori di uno spazio di caratteristiche in classi tali che gli elementi di una classe siano tra loro simili gli elementi di classi differenti siano tra loro dissimili Bisogna definire: Spazio delle caratteristiche Misura di Similarità Funzioni Obiettivo da minimizzare/massimizzare

30 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Clustering Spazio delle Caratteristiche RGB Ogni pixel (i,j) dellimmagine I rc, è un vettore di tre componenti x ij = [x ij,R, x ij,G, x ij,B ]

31 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Clustering Spazio delle Caratteristiche RGB Ogni pixel (i,j) dellimmagine I rc, è un vettore di tre componenti x ij = [x ij,R, x ij,G, x ij,B ] Misura di similarità tra due vettori di uno spazio q-dimensionale: d(x ij, y ij )= ( | x ij,k -y ij,k | q ) 1/q ( q=2 Distanza Euclidea ) Funzione Obiettivo da minimizzare Es: Somma degli errori quadratici F(P) = ||x ij - µ l || 2 µ l = 1/|R l | x ij q k=1 k l =1 k x ij in R l k

32 Segmentazione GMFGMFSEMINARIO IGRG - CT Clustering approaches Agglomerative Clustering Divisive Clustering Bottom up Top-down

33 Segmentazione GMFGMFSEMINARIO IGRG - CT Hierarchical Clustering Inizializzazione: ogni punto dello spazio è un cluster Itera: Seleziona i due clusters più simili Es: Minima distanza intra-cluster Effettua il merge dei clusters selezionati Stop: quando è raggiunto il numero di clusters richiesto Agglomerative Clustering (bottom-up)

34 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio Grado di Dissimilarità

35 Segmentazione GMFGMFSEMINARIO IGRG - CT Hierarchical Clustering: Single Link d(r,s) = min(dist(x ri,x sj )) xrxr xsxs Cluster r Cluster s

36 Segmentazione GMFGMFSEMINARIO IGRG - CT Hierarchical Clustering: Complete Link xrxr xsxs Cluster r Cluster s d(r,s) = max(dist(x ri,x sj ))

37 Segmentazione GMFGMFSEMINARIO IGRG - CT Hierarchical Clustering: Avarage Link xrxr xsxs Cluster r Cluster s d(r,s) = dist(x ri,x sj ) 1 n r n s nrnr i=1 nsns j=1

38 Segmentazione GMFGMFSEMINARIO IGRG - CT Partitional Clustering Approach A partition clustering algorithm is to start with an initial partition and assign pattern to clusters so as to reduce square-error. Partition are update iteratively by reassigning patterns in attempt to reduce the square-error. (A.Jain)

39 Segmentazione GMFGMFSEMINARIO IGRG - CT Squared Error Clustering Method

40 Segmentazione GMFGMFSEMINARIO IGRG - CT K-mean Algoritm Partitional Clustering (Divisivo, ma numero gruppi assegnato a priori)

41 Segmentazione GMFGMFSEMINARIO IGRG - CT K-means (Ver. 1) Input I rc, k (numero delle classi), ε reale Inizializzazione r=0, segli k vettori dello spazio S (centroidi iniziali) µ 10 … µ k0 1. R l ={x ij : | x ij - µ l | | x ij - µ w | } l=1,…,k, wj 2. Computa nuovi centroidi µ 1,r+1, …, µ k,r+1 3. se F(P) n) STOP altrimenti vai al punto 1 incrementando r

42 Segmentazione GMFGMFSEMINARIO IGRG - CT K-Means(Ver. 2)

43 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio

44 Segmentazione GMFGMFSEMINARIO IGRG - CT Image Segmentation by Clustering Scegli K Scegli le features da associare ai pixels (colore, texture, posizione, o combinazione di questi, ecc…) Definisci una misura di similarità tra i vettori delle features Applica lalgoritmo HC/K-Means Applica lalgoritmo delle componenti connesse Unisci le componenti con dimensione minore di una soglia t ad componente adiacente che è molto simile rispetto al criterio di omogeneità fissato.

45 Segmentazione GMFGMFSEMINARIO IGRG - CT Grafi e Componenti connesse Sia G = (V,E) un grafo indiretto. Una componente connessa di G è un insieme massimale C V tale che, per ogni u,vєC esistono un cammino tra u e v. Equivalentemente, le componenti connesse di un grafo G sono le classi di equivalenza della relazione di raggiungibilità.

46 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio AC B D EF G H G=(V,E) V= {A, B, C, D, E, F, G, H} E= {(A,C), (A,B), (B,C), (D,E), (E,F), (F,G) } ABCDEFGH A B C D E F G H Matrice di Adiacenza (possibile rappresentazione)

47 Segmentazione GMFGMFSEMINARIO IGRG - CT Teoremi Dato un grafo indiretto G e due vertici u e v, esiste un cammino da u a v in G se e solo se u e v appartengono allo stesso albero della DF-foresta. La foresta DF contiene tanti alberi quante CC. Si può dimostrare che DFS( opportunamente modificato) su un grafo non orientato G può essere usata per identificare le Componenti Connesse

48 Segmentazione GMFGMFSEMINARIO IGRG - CT Algoritmo Componenti Connesse CCDFS(G) k 0 for each u є V [G] do color[u] white П[u] nil end for time 0 for each u єV [G] do if color[u] = white then CCDFSVisit(u) end if end for CCDFSVisit(u) if П[u] = nil then k k + 1 cc[u] k else cc[u] cc[ П [u]] end if color[u] gray time time + 1 d[u] time for each v є Adj[u] do if color[v] = white then П[v] u CCDFSVisit(v) end if end for color[u] black time time + 1 f[u] time

49 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Region Growing Individuare le regioni che compongono limmagine per accrescimento omogeneo a partire da un singolo pixel Una regione omogenea di un'immagine può essere ottenuta attraverso un processo di crescita che, cominciando da un seed di pre- selezionato, progressivamente agglomera pixel ad esso adiacenti che soddisfano un certo criterio di omogeneità; il processo di crescita si arresta quando nessun pixel può essere aggiunto alla regione.

50 Segmentazione GMFGMFSEMINARIO IGRG - CT Region Growing Ad ogni istante viene preso in considerazione un pixel che non è stato ancora allocato ma che è adiacente ad una regione; il pixel è allocato alla regione adiacente che risulta più simile secondo il criterio scelto. R1R1 R2R2 R4R4 R4R4 Pixel considerato R3R3

51 Segmentazione GMFGMFSEMINARIO IGRG - CT Region Growing Algorithm 1. Scegli un seed (pixel) iniziale 2. Seleziona i pixel vicini (connessi) e fai il merge se la condizione di omogeneità scelta è soddisfatta 3. Se la regione non cresce, seleziona un altro seed e ripeti dal punto 2 finchè tutti i pixel non sono stati allocati ad una regione, altrimenti vai al punto 2 4. Rimuovi le regioni molto piccole (passo opzionale)

52 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio

53 Segmentazione GMFGMFSEMINARIO IGRG - CT Seeded Region Growing Algorithm Viene dato in input il numero di seeds (pixel di partenza utilizzati per far crescere le regioni). Lalgoritmo quindi procede autonomamente facendo crescere simultaneamente le regioni, finché tutti i pixel nellimmagine sono stati racchiusi in una regione. Per ogni passo tutti i pixel che non sono stati ancora allocati, ma che hanno almeno un vicino allocato, vengono presi in considerazione: tra tutte le regioni confinanti al pixel considerato, lalgoritmo seleziona quella i cui pixel hanno in media la minore differenza in termini di livelli di grigio rispetto al pixel preso in considerazione.

54 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio Seeds = 4

55 Segmentazione GMFGMFSEMINARIO IGRG - CT Strategie di Segmentazione: Split and Merge E possibile eseguire una segmentazione partizionando (splitting) ricorsivamente una immagine, o una sua precedente segmentazione approssimata, fino ad ottenere componenti uniformi. Si dovrà effettuare una successiva operazione di aggregazione (merging) delle regioni adiacenti che dovessero risultare compatibili in base ad un criterio

56 Segmentazione GMFGMFSEMINARIO IGRG - CT Modello split Immagine partizionata ripetendo ricorsivamente una suddivisione in quattro quadranti fino ad ottenere regioni uniformi rispetto ad un certo criterio stabilito (statistico). Minimizzare, rispetto ad una soglia di tolleranza, la varianza della distribuzione dei valori di luminosità dei pixel che compongono la regione stessa Parametro di valutazione statistica delluniformità della regione R: 1/1+Var(R) Assume valore 1 in corrispondenza di regioni perfettamente omogenee e valori tendenti a 0 per valori significativamente elevati della varianza statistica. Si sceglie una soglia di omogeneità

57 Segmentazione GMFGMFSEMINARIO IGRG - CT Quad Tree La suddivisione ricorsiva dellimmagine in quadranti viene rappresentata con una struttura ad albero chiamato quad tree: ogni nodo contiene le informazioni relative a ciascun quadrante e i suoi figli sono associati ai quadranti in cui è ulteriormente suddiviso. Un nodo foglia è un quadrante sufficientemente uniforme da non richiedere ulteriori partizionamenti 1/(1+Var(R)) > Soglia R Dopo la fase di splitting si procederà alla fase di merging delle regioni adiacenti compatibili; regioni adiacenti verranno aggregate in una unica regione se questultima risultarà sufficientemente uniforme.

58 Segmentazione GMFGMFSEMINARIO IGRG - CT Merge A1A2 B CD A3 A41A42 A43 A44 A1 A2 A3 La selezione delle regioni sulle quali valutare la compatibilità può essere effettuata attraverso un grafo di adiacenza. Un criterio di similatità può essere derivato dal confronto dei valori medi es: (|µ A41 - µ A42 | < T) Lordine di merging può influenzare il risultato. A41 Region Adjacency Graph (RAG) A43 B A42 A44 D C

59 Segmentazione GMFGMFSEMINARIO IGRG - CT Esempio B A44 A1A2 A3 A41A42 A43 CD A1 A2 A3 A41 A43 B A42 A44 D A1 A2 A3 E F A1 E A2 A3 C F Merge together all sub-regions where P(Rj U Rk) = TRUE.

60 Segmentazione GMFGMFSEMINARIO IGRG - CT Letture e Risorse Laws of Organization in Perceptual Forms - Max Wertheimer (1923) - Color Image Segmentation: A State-of-the-Art Survey - L. Luccheseyz and S.K. Mitray Colour Image Segmentation - A Survey - Wladyslaw Skarbek Data Clustering: A Review - A.K. JAIN Seeded Region Growing – R. Adams, L. Bishof Seeded Region Growing Method for Image Segmentation - Tecniche digitali per la segmentazione delle immagini – Giorgio Meini Segmentazione delle immagini a colori – Paola Campadelli Robust Analysis of Feature Spaces: Color Image Segmentation - Dorin Comaniciu Statistical Region Merging – R. Nock, F. Nielsen A survey of current methods in medical image segmentation – Pham, Xu, Prince Digital Image Processing – Gonzales Introduzione agli Algoritmi – T. H. Cormen

61 Segmentazione GMFGMFSEMINARIO IGRG - CT Question Time


Scaricare ppt "Seminario Giovanni Maria Farinella, Dr. Imaging and Graphic Research Group Segmentazione: Introduzione."

Presentazioni simili


Annunci Google