A proposito di spazio scala e di altre features locali... Elisabetta Delponte

2 Il mondo è fatto a scala Il significato di un oggetto in un’immagine è diverso al variare della scala. Se vogliamo descrivere “cose” è importante ricordarsi della scala a cui le osserviamo.

3

4 Un esempio: le carte geografiche

5...ancora un esempio

6 Rappresentazioni a multi-scala Per analizzare automaticamente un’immagine abbiamo bisogno di una rappresentazione multiscala delle informazioni contenute in essa. Il tipo di informazioni che si possono ottenere da un’immagine dipende dal rapporto fra le dimensioni delle sue strutture e gli operatori per l’analisi. I0I0 I2I2 I1I1

7 Alcune difficoltà La prospettiva crea variazioni di dimensioni Quando si lavora con immagini digitali non si può dimenticare di considerare il rumore I dati, come al solito, sono bidimensionali, mentre il nostro mondo reale è in tre dimensioni. Serve una teoria formale che ci permetta di affrontare il problema del multi-scala.

8 Lo spazio-scala Lo spazio-scala è una struttura per affrontare la natura multiscala delle immagini [Witkin83, Lindeberg94, Koenderink92] Il segnale originale viene rappresentato da una famiglia parametrica di segnali derivati nei quali le strutture fini vengono soppresse.

9 Idee fondamentali L’idea base è che le strutture ai livelli a minor risoluzione devono contenere delle semplificazioni delle strutture dei primi livelli. Non deve essere una soppressione accidentale dei dettagli del segnale.

10 Segnali unidimensionali Abbiamo ottenuto una famiglia di segnali unidimensionali facendo una convoluzione del segnale originale I 0 con un filtro gaussiano con varianza t. (t crescente dal basso verso l’alto) I0I0 I1I1 ININ

11 E cosa succede alle immagini?

12 Un altro esempio

13 Non solo gaussiane... Linearità Invarianza per traslazione spaziale Non possono crearsi nuove strutture nel passaggio da un livello a più alta risoluzione a uno a più bassa. Ci sono molte formulazioni dello spazio-scala: il filtraggio con una gaussiana ci permette di conservare le proprietà che richiediamo. Un altra formulazione equivalente si basa sull’equazione di diffusione del calore:

14 Assiomi dello spazio scala Omogeneità e isotropia: Il filtraggio è invariante a seconda della posizione. Causalità: non si possono creare nuovi estremi nel passaggio da un livello a più alta risoluzione ad uno a più bassa. Relazioni con meccanismi della visione biologica.

15 Causalità ovvero “Nulla si crea” Nel passaggio da un livello a più alta risoluzione ad uno a più bassa non si possono creare nuovi estremi: poiché la derivazione commuta con la convoluzione: In altre parole: ogni feature individuata a un basso livello di risoluzione deve avere una “causa” ad un livello più definito.

16 La visione biologica Gaussian derivative kernels fino al quarto ordine in 2D. Alcuni campi ricettivi della retina e della corteccia visiva dei mammiferi possono essere modellati come la sovrapposizione di filtri gaussiani.

17 Feature detection multiscala Analizziamo nello spazio-scala alcune feature che conosciamo già: Edge: L vv =0 L vv e L vvv sono derivate direzionali del L vvv <0 secondo e terzo ordine nella direzione v. (v è la direzione parallela al gradiente dell’immagine) Corner Ridge: L p =0 L pp <0 |L pp |≥ |L qq | Top points

18 Edge

19 Corner Immagine originale in cui ho calcolato i corner (con l’algoritmo visto insieme in laboratorio) Immagine filtrata con una finestra gaussiana di dimensione 11 e varianza 2 in cui ho calcolato i corner

20 Ridge

21 Nessuno è perfetto Esistono metodi che permettono di selezionare automaticamente la scala a cui andare a ricercare una feature. Altrimenti si conservano le informazioni relative all’intero spazio scala [Lindeberg96]. Il filtraggio fa perdere precisione nella localizzazione della feature. Per individuarla precisamente bisogna ricorrere a un meccanismo inverso che è piuttosto complicato.

22 SIFT: feature invarianti per scala Le SIFT sono features locali [Lowe04]. A partire da un’immagine possiamo estrarre da essa alcune features che siano invarianti per: cambiamento di scala rotazioni trasformazioni affini attenzione cambiamenti di illuminazione cambiamenti di punto di vista aggiunta di rumore.

23 Step principali 1.Individuazione dei massimi e minimi nello spazio scala 2.Localizzazione dei keypoint 3.Attribuzione di una direzione ai keypoint 4.Descrizione dei keypoint.

24 La piramide nello spazio-scala Definiamo lo spazio-scala di un immagine: con: Introduciamo la differenza di Gaussiane (DoG):

25 Costruzione della piramide Dopo aver calcolato la prima Dog, l’immagine viene sottocampionata e il processo ricomincia.

26 Individuazione degli estremi Cerchiamo i massimi e i minimi nella piramide D(x,y,  ) Verifica su livelli contigui: il massimo deve esserlo anche per i livelli di scala vicini.

27 Step principali 1.Individuazione dei massimi e minimi nello spazio scala 2.Localizzazione dei keypoint 3.Attribuzione di una direzione ai keypoint 4.Descrizione dei keypoint.

28 Localizzazione precisa Una volta individuato un keypoint dobbiamo: definirne la posizione precisa nello spazio-scala e nell’immagine originale verificare che non sia un edge valutarne la “forza”. In base a queste caratteristiche possiamo selezionare i keypoint più significativi (eliminiamo gli edge e i punti che hanno basso contrasto)

29 Step principali 1.Individuazione dei massimi e minimi nello spazio scala 2.Localizzazione dei keypoint 3.Attribuzione di una direzione ai keypoint 4.Descrizione dei keypoint.

30 Direzione principale Assegnare una direzione canonica a ogni keypoint ci permette di ottenere descrittori invarianti per rotazione. Possiamo calcolare modulo e direzione del gradiente relativi al keypoint in base alla sua posizione nello spazio scala. Per calcolare la direzione principale rappresentiamo le direzioni nell’intorno del keypoint con un istogramma.

31 Istogrammi delle direzioni

32 Riassunto 1.Individuazione dei massimi e minimi nello spazio scala 2.Localizzazione dei keypoint k=(x,y,s) 3.Attribuzione di una direzione ai keypoint k=(x,y,s, α) 4.Descrizione dei keypoint.

33 Descrizione dei keypoint Cerchiamo una descrizione del keypoint che ci permetta di ottenere invarianza per cambiamenti di illuminazione o di cambio di punti di vista. i valori di grigio nell’intorno del punto di interesse? distribuzione delle direzioni nell’intorno.

34 Descrittori Dati modulo e direzione del gradiente intorno al keypoint, costruiamo il descrittore come una specie di istogramma pesato delle direzioni.

35 Descrittori... I descrittori sono ottenuti pesando con una gaussiana e con il modulo del gradiente gli istogrammi delle direzioni nell’intorno di ogni keypoint

36 Esempi

37 Esempi

38 Esempi

39 Sift e applicazioni Matching Riconoscimento

40 Ancora un esempio

41 Esercitazione Costruzione di uno spazio scala con filtraggi successivi di una stessa immagine: individuazione di edge individuazione di corner Calcolo di una piramide di DoG e individuazione dei massimi e dei minimi. Confronto con gli edge e i corner individuati nello spazio-scala.