Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica

Presentazione sul tema: "Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica"— Transcript della presentazione:

1 Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica sangineto@di.uniroma1.it

2 Recupero di immagini attraverso la forma In unimmagine, più che il colore o la texture, ciò che più caratterizza un oggetto è la sua forma I sistemi di Content Based Image Retrieval (CBIR) che trattano la forma accettano come query: –immagini desempio –disegni stilizzati (sketch) –…

3 Ese.: query by sketch

4 Fasi tipiche di un sistema di CBIR tramite forma Estrazione dei punti delloggetto/i che rappresentano: –I punti interni della sagoma oppure: –I bordi (interni e/o esterni) Rappresentazione dei punti estratti Matching tra la rappresentazione della query e quelle del DB

5 Binarizzazione dellimmagine per estrarre la sagoma degli oggetti

6 Distribuzione bimodale dei livelli di grigio Possibili approcci: Soglia costante Soglia dinamica

7 Binarizzazione a soglia costante È la soluzione più semplice y(x) = 0 se x < S y(x) = 255 altrimenti il problema è la scelta della soglia (threshold) S

8 Esempio

9 Esempio Vela Soglia = 140

10 Esempio Orso

11 Estrazione di contorni tramite operatori differenziali Ricerca di discontinuità (un cambiamento brusco dellintensità di grigio dei pixel) Il problema può essere affrontato tramite l'analisi della derivata I punti di bordo sono: –i massimi (minimi) della derivata prima o –lo zero della derivata seconda

12 Operatori differenziali f(x) è l'intensità dell'immagine

13 Gradiente Unimmagine I può essere vista come una funzione a due variabili I(x,y) In tal caso la derivata è un vettore (gradiente), composto da: –Intensità (G) –Direzione (φ)

14 Interpretazione grafica del gradiente in un punto

15 Approssimazioni del gradiente Il gradiente può essere calcolato utilizzando delle maschere (operatori) con cui si effettua la convoluzione con I

16 Convoluzione tramite maschera La convoluzione nel discreto avviene su un supporto limitato nello spazio (template) Può essere considerata una finestra che si muove sull'immagine

17 Operatori differenziali Gli operatori differenziali nel discreto sono realizzati tramite maschere a somma nulla: –l'applicazione a una regione uniforme deve dare risultato zero

18 Operatore di Sobel 0 0 0 1 2 1 -2 Maschera per contorni verticali 2 0 -2 1 0 1 0 Maschera per contorni orizzontali

19 Operatore di Sobel 0 0 0 1 2 1 -2 2 0 -2 1 0 1 0 Il colore indica il modulo del risultato

20 Operatore di Sobel 0 0 0 1 2 1 -2 Maschera per contorni verticali 2 0 -2 1 0 1 0 Maschera per contorni orizzontali Vengono create due nuove immagini 0 0 0 1 2 1 -2 2 0 -2 1 0 1 0 0 0 0 2 14 9 -2 -6 -2 10 0 -16 2 0 -9 2 0 -2 G x =15 G y =-13 G |Gx|+|Gy| = 28 = arctg(-13/15)

21 Esempi

22 Punti di edge Binarizzando opportunamente limmagine gradiente di I è possibile estrarre i punti con gradiente più elevato in modulo, ovvero i punti di bordo (edge points)

23 Esempio

24 Similitudine tra forme diverse: problemi Cercare una corrispondenza (matching) tra la forma della query e quella degli oggetti del DB è difficile per almeno 2 motivi: –Elevata variabilità della forma degli oggetti –Problema della segmentazione

25 Elementi di variabilità della forma Punti di vista differenti, Forme diverse allinterno della stessa classe, Oggetti deformabili, …

26 Esempio

27 Segmentazione Normalmente loggetto (gli oggetti) cercato/i occupano una parte minoritaria dellimmagine Selezionare tale parte può essere molto difficile (soluzioni naive sono esponenziali)

28 Esempio

29 Principali approcci di rappresentazione e matching Approccio statistico Approccio tramite template matching (deformabile)

30 Approccio statistico Si stabiliscono delle feature per rappresentare la forma degli oggetti tramite punti nello spazio delle feature R n La distanza (e.g., Euclidea) tra punti in R n corrisponde alla similarità percepita dallutente

31 Coefficienti di Fourier del bordo esterno

32 Esempio

33 Momenti digitali Supponiamo che S sia il risultato di una binarizzazione di I: S = {(x,y): I(x,y) < th} Per ogni coppia di interi non negativi (j,k), il momento digitale (j,k)-esimo di S è dato da: E facile constatare che M 00 (S) corrisponde allarea di S

34 Momenti digitali [2]

35 Vantaggi e svantaggi dell'approccio statistico Possibilità di indexing Dubbio potere discriminante (spesso le feature sono poco discriminanti) Gli oggetti devono essere completamente isolabili (segmentazione perfetta)

36 Template Matching Deformabile Gli approcci di questo filone si basano sul tentativo di far allineare lo sketch disegnato dall'utente con (una porzione de-) l'immagine attualmente analizzata dal sistema

37 Template Matching Deformabile [2] L allineamento avviene deformando iterativamente lo sketch iniziale per adattarlo come se fosse un elastico ai bordi degli oggetti delle immagini in memoria Il processo iterativo termina: –quando si raggiunge una sovrapposizione accettabile (successo), oppure: –quando il grado di deformazione supera un certo valore massimo (fallimento)

38 Esempio immagine presa da: Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997

39 Esempio: Elastic Matching (Del Bimbo-Pala) Le immagini vengono inserite nel DB del sistema nella forma contenente solo gli edge (pre-processing) L'utente disegna il suo sketch usando un tool grafico e la sagoma finale viene rappresentata con una spline codificata mediante i suoi punti di controllo: P = (p 1,..., p n ), p i = (x i, y i )

40 Elastic Matching [2] Se la sovrapposizione tra i pixel dello sketch e quelli dei bordi dell'immagine candidata è elevata, la procedura termina qui Altrimenti, i vari p i vengono perturbati in modo da modificare lo sketch e re- iterare la comparazione

41 Misura di matching Più esattamente, la bontà del matching tra lo sketch e l'immagine è definita da: M(P) = C(P) - D(P), dove: C() e D() sono delle funzioni, rispettivamente, del grado di sovrappozione e di deformazione dello sketch Il modo più semplice per ottenere C(P) è contando il numero di pixel dello sketch (definito da P) e dellimmagine che sono sovrapposti

42 Misura di matching [2] D(P) = S(P) + B(P), dove: S() e B() sono funzioni del grado di tensione e di curvatura dello sketch

43 immagine presa da: Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997

44 Ricerca dei massimi della funzione di matching

45 Metodi iterativi

46 Metodo del gradiente ascendente

47 Elastic Matching: riassunto dellalgoritmo Per ogni immagine I del DB: –Proietto lo sketch fornito dallutente su I rappresentandolo tramite linsieme P(0) dei punti di controllo di una spline –Per ogni iterazione k: Utilizzo il metodo del gradiente ascendente per calcolare P(k+1) da P(k) Mi fermo quando trovo un massimo locale M(P(h)) –Dal valore raggiunto M(P(h)) decido se I contiene lo sketch oppure no

48 Elastic Matching: problemi aperti La convergenza dipende fortemente dalla soluzione iniziale P 0 : –non è invariante rispetto a roto-traslazioni e cambiamenti di scala –segmentazione manuale di tutti i possibili oggetti di interesse nelle immagini del DB (e.g., tramite il minimo rettangolo includente), oppure –iterazioni successive del metodo per valori diversi di P 0

49 Rettangolo Includente immagine presa da: Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997

50 Template matching deformabile: vantaggi e svantaggi No indexing Maggiore tolleranza ad occlusioni e sfondi non uniformi rispetto allapproccio statistico Problemi di segmentazione solo parzialmente risolti…

51 Considerazioni generali sui limiti dei sistemi content based Tutta linformazione che un sistema content based ha rispetto all oggetto cercato (e.g., una determinata forma visiva o segnale auditivo) deriva dalla query

52 Considerazioni generali sui limiti dei sistemi content based [2] Per quanto sofisticato sia il sistema di rappresentazione o di matching è difficile distinguere le variazioni di forma lecita da quelle non lecite (rumore, altri oggetti…)

53 Considerazioni generali sui limiti dei sistemi content based [3] Il cervello umano impara a distinguere la forma di un cavallo solo dopo averne visti diversi e in varie posizioni Prestazioni paragonabili per i sistemi artificiali sono probabilmente possibili solo mediante una fase di apprendimento automatico

54 Riferimenti Del Bimbo, Pala, Visual Image Retrieval by Elastic Matching of User Sketches, IEEE PAMI 1997 Long et al., Fundamentals of Content-based Image Retrieval, in: D. D. Feng, W. C. Siu, H. J. Zhang (Ed.),Multimedia Information Retrieval & Management-Technological Fundamentals and Applications, Springer-Verlag, New York(2003) Smeulders et al., Content-Based Image Retrieval at the End of Early Years, IEEE PAMI 2000

55 Domande…