Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica

Presentazione sul tema: "Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica"— Transcript della presentazione:

1 Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica sangineto@di.uniroma1.it

2 Recupero di immagini attraverso la forma In unimmagine, più che il colore o la texture, ciò che più caratterizza un oggetto è la sua forma I sistemi di Content Based Image Retrieval (CBIR) che trattano la forma accettano come query: –immagini desempio –disegni stilizzati (sketch) –…

3 Ese.: query by sketch

4 Fasi tipiche di un sistema di CBIR tramite forma Pre-processing: estrazione dei punti delloggetto/i che rappresentano: –I punti interni della sagoma oppure: –I bordi (interni e/o esterni) Rappresentazione dei punti estratti Matching tra la rappresentazione della query e quelle del DB

5 Immagini binarie

6 Estrazione dei contorni da immagini non binarie I contorni (bordi) interni e/o esterni di un oggetto sono normalmente contraddistinti da discontinuità luminose (transizione tra superfici diverse) Individuando le discontinuità (un cambiamento brusco dellintensità di grigio dei pixel) è possibile rilevare i bordi e quindi la forma degli oggetti di unimmagine

7 Estrazione di contorni tramite operatori differenziali Il problema può essere affrontato tramite l'analisi della derivata I punti di bordo sono: –i massimi (minimi) della derivata prima o –lo zero della derivata seconda

8 Operatori differenziali f(x) rappresenta l'intensità dell'immagine

9 Gradiente Unimmagine I può essere vista come una funzione a due variabili I(x,y) In tal caso la derivata di I nel punto p è un vettore (gradiente), composto da: –Intensità (G(p)) –Direzione (φ(p))

10 Interpretazione grafica del gradiente in un punto

11 Approssimazioni del gradiente Il gradiente può essere calcolato utilizzando delle maschere (operatori) con cui si effettua la convoluzione con I In pratica, le maschere sono delle matrici di coefficienti (e.g., 3X3) con cui pesare lintensità dei pixel nellintorno di p in una somma pesata che dà G(p)

12 Operatori differenziali Gli operatori differenziali nel discreto sono realizzati tramite maschere a somma nulla: –l'applicazione a una regione uniforme deve dare risultato zero

13 Operatore di Sobel 0 0 0 1 2 1 -2 Maschera per contorni verticali 2 0 -2 1 0 1 0 Maschera per contorni orizzontali

14 Immagine gradiente Iterando il processo per tutti i pixel p di I ottengo una seconda immagine I G, detta immagine gradiente, t.c.: –I G (p) = G(p)

15 Operatore di Sobel [2] 0 0 0 1 2 1 -2 Maschera per contorni verticali 2 0 -2 1 0 1 0 Maschera per contorni orizzontali Vengono create due nuove immagini 0 0 0 1 2 1 -2 2 0 -2 1 0 1 0 0 0 0 2 14 9 -2 -6 -2 10 0 -16 2 0 -9 2 0 -2 G x =15 G y =-13 G |Gx|+|Gy| = 28 = arctg(-13/15)

16 Immagine gradiente (I G ): esempi

17 Immagine gradiente: esempi [2]

18 Immagine gradiente: esempi [3]

19 Punti di edge Binarizzando opportunamente limmagine gradiente I G di I è possibile ottenere una seconda immagine E, detta edge map E rappresenta i punti con gradiente più elevato in modulo, ovvero i punti di bordo (edge points) di I

20 Esempio

21 Similitudine tra forme diverse: problemi Cercare una corrispondenza (matching) tra la forma della query e quella degli oggetti del DB è difficile per almeno 2 motivi: –Elevata variabilità della forma degli oggetti –Problema della segmentazione

22 Elementi di variabilità della forma Punti di vista differenti, Forme diverse allinterno della stessa classe, Oggetti deformabili, …

23 Esempio

24 Segmentazione Normalmente loggetto (gli oggetti) cercato/i occupano una parte minoritaria dellimmagine Selezionare tale parte può essere molto difficile (soluzioni naive sono esponenziali)

25 Esempio

26 Principali approcci di rappresentazione e matching Approccio statistico Approccio tramite template matching (deformabile)

27 Approccio statistico Si stabiliscono delle feature per rappresentare la forma degli oggetti tramite punti nello spazio delle feature R n La distanza (e.g., Euclidea) tra punti in R n corrisponde alla similarità percepita dallutente

28 Coefficienti di Fourier del bordo esterno

29 Esempio

30 Momenti digitali Supponiamo che S sia il risultato di una binarizzazione di I: S = {(x,y): I(x,y) < th} Per ogni coppia di interi non negativi (j,k), il momento digitale (j,k)-esimo di S è dato da: E facile constatare che M 00 (S) corrisponde allarea di S

31 Momenti digitali [2]

32 Vantaggi e svantaggi dell'approccio statistico Possibilità di indexing Dubbio potere discriminante (spesso le feature sono poco discriminanti) Gli oggetti devono essere completamente isolabili (segmentazione perfetta)

33 Template Matching Deformabile Gli approcci di questo filone si basano sul tentativo di far allineare lo sketch disegnato dall'utente con (una porzione de-) l'immagine attualmente analizzata dal sistema

34 Template Matching Deformabile [2] L allineamento avviene deformando iterativamente lo sketch iniziale per adattarlo come se fosse un elastico ai bordi degli oggetti delle immagini in memoria Il processo iterativo termina: –quando si raggiunge una sovrapposizione accettabile (successo), oppure: –quando il grado di deformazione supera un certo valore massimo (fallimento)

35 Esempio immagine presa da: Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997

36 Esempio: Elastic Matching (Del Bimbo-Pala) Le immagini vengono inserite nel DB del sistema nella forma contenente solo gli edge (pre-processing) L'utente disegna il suo sketch usando un tool grafico e la sagoma finale viene rappresentata con una spline codificata mediante i suoi punti di controllo: P = (p 1,..., p n ), p i = (x i, y i )

37 Elastic Matching [2] Se la sovrapposizione tra i pixel dello sketch e quelli dei bordi dell'immagine candidata è elevata, la procedura termina qui Altrimenti, i vari p i vengono perturbati in modo da modificare lo sketch e re- iterare la comparazione

38 Misura di matching Più esattamente, la bontà del matching tra lo sketch P e l'immagine I è definita da: M(P,I) = C(P,I) - D(P,I), dove: C() e D() sono delle funzioni, rispettivamente, del grado di sovrappozione e di deformazione dello sketch Il modo più semplice per ottenere C(P,I) è contando il numero di pixel dello sketch (definito da P) e dellimmagine che sono sovrapposti

39 Misura di matching [2] D(P,I) = S(P,I) + B(P,I), dove: S() e B() sono funzioni del grado di tensione e di curvatura dello sketch

40 immagine presa da: Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997

41 Ricerca dei massimi della funzione di matching

42 Metodi iterativi

43 Metodo del gradiente ascendente

44 Elastic Matching: riassunto dellalgoritmo Per ogni immagine I del DB: –Proietto lo sketch fornito dallutente su I rappresentandolo tramite linsieme P(0) dei punti di controllo di una spline –Per ogni iterazione k: Utilizzo il metodo del gradiente ascendente per calcolare P(k+1) da P(k) Mi fermo quando trovo un massimo locale M(P(h),I) –Dal valore raggiunto M(P(h),I) decido se I contiene lo sketch oppure no

45 Elastic Matching: problemi aperti La convergenza dipende fortemente dalla soluzione iniziale P 0 : –non è invariante rispetto a roto-traslazioni e cambiamenti di scala –segmentazione manuale di tutti i possibili oggetti di interesse nelle immagini del DB (e.g., tramite il minimo rettangolo includente), oppure –iterazioni successive del metodo per valori diversi di P 0

46 Rettangolo Includente immagine presa da: Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997

47 Template matching deformabile: vantaggi e svantaggi No indexing Maggiore tolleranza ad occlusioni e sfondi non uniformi rispetto allapproccio statistico Problemi di segmentazione solo parzialmente risolti…

48 Considerazioni generali sui limiti dei sistemi content based Tutta linformazione che un sistema content based ha rispetto all oggetto cercato (e.g., una determinata forma visiva o segnale auditivo) deriva dalla query

49 Considerazioni generali sui limiti dei sistemi content based [2] Per quanto sofisticato sia il sistema di rappresentazione o di matching è difficile distinguere le variazioni di forma lecita da quelle non lecite (rumore, altri oggetti…)

50 Considerazioni generali sui limiti dei sistemi content based [3] Il cervello umano impara a distinguere la forma di un cavallo solo dopo averne visti diversi e in varie posizioni Prestazioni paragonabili per i sistemi artificiali sono probabilmente possibili solo mediante una fase di apprendimento automatico

51 Riferimenti Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997 Long et al., Fundamentals of Content-based Image Retrieval, in: D. D. Feng, W. C. Siu, H. J. Zhang (Ed.),Multimedia Information Retrieval & Management-Technological Fundamentals and Applications, Springer-Verlag, New York(2003) Smeulders et al., Content-Based Image Retrieval at the End of Early Years, IEEE PAMI 2000

52 Domande…