Analisi della similarità tra immagini.

Presentazione sul tema: "Analisi della similarità tra immagini."— Transcript della presentazione:

1 http://slipguru.disi.unige.it Analisi della similarità tra immagini

2 2 210077868581 120075828280 020072787978 020070767778 015570768076 001067778482 100068778381 101371757876 300166697677 500055597180 300049475868 005251394350 540064564538 000275746865 000378807776 110176797777 000279848485 110278838384 430276797878 220379848384 310279848383 L’apparenza inganna..

3 3 Le dimensioni ingannano Un dettaglio ingrandito... Lo stesso oggetto catturato a due scale diverse...

4 4 Vari modi di confrontare due immagini Il concetto è abbastanza confuso... Due immagini diverse della stessa scena (sorveglianza, stereovisione,...) Un’immagine modello e un’immagine test (object detection...) Due immagini simili a livello astratto (ad esempio QBE)

5 5 Confronto tra immagini della stessa scena Un primo esempio di problema basato sul confronto di immagini è la cosiddetta change detection Varie immagini della stessa scena catturate in istanti diversi vengono confrontate allo scopo di verificare eventuali cambiamenti Applicazioni: Sorveglianza di ambienti Monitoraggio delle strade

6 6 Confronto tra immagini della stessa scena L’ipotesi che le immagini siano acquisite da una telecamera fissa è abbastanza ragionevole nella pratica e permette notevoli semplificazioni

7 7 Confronto tra immagini della stessa scena

8 8 Differenza pixel a pixel (sogliata) La soglia σ viene scelta in modo proporzionale alla varianza dell’istogramma delle differenze visto prima Se la differenza tra un pixel di un’immagine e il pixel corrispondente nell’altra immagine è “piccola” allora posso ignorarla...

9 9 Differenza pixel a pixel (sogliata)

10 10 Se la telecamera non è fissa... In molti casi abbiamo a disposizione varie immagini della stessa scena ma acquisite da diversi punti di vista Non possiamo più confrontare il pixel (i,j) dell’immagine I 1 con il pixel (i,j) dell’immagine I 2,...dobbiamo trovare dei criteri che ci permettano di determinare le corrispondenze tra le varie immagini

11 11 La stessa scena osservata da varie angolazioni Esempio di coppia stereo: due immagini della stessa scena acquisite da due telecamere vicine (simile a quello che vedono i nostri occhi). Scoprire le corrispondenze tra tutti i punti ci aiuta a ricostruire la scena tridimensionale

12 12 La stessa scena osservata da varie angolazioni Per trovare le corrispondenze si confrontano intorni di punti, alla ricerca delle coppie con un più alto valore di similarità Se le due immagini sono abbastanza simili (ossia i punti di osservazione abbastanza vicini) possono bastare tecniche di confronto molto semplici

13 13 La stessa scena osservata da varie angolazioni I1I2 N1 Per ogni intorno dell’immagine I1... …cerco quello che assomiglia di più dell’immagine I2 N2

14 14 La stessa scena osservata da varie angolazioni N1N2 d Esempio di misura di similarità: Sum of Squared Differences

15 15 La stessa scena osservata da angolazioni diverse

16 16 La stessa scena osservata da varie angolazioni In questi casi può essere conveniente procedere nel modo seguente: Estrarre feature rilevanti Cercare le corrispondenze solo tra le feature A seconda del problema le feature selezionate possono cambiare: I corner sono semplici da calcolare, robusti ai cambiamenti di punto di vista.. Le SIFT sono robuste al cambiamento di vista, di scala, di illuminazione...

17 17 La stessa scena osservata da varie angolazioni In questi casi può essere conveniente procedere nel modo seguente: Estrarre feature rilevanti Cercare le corrispondenze solo tra le feature Per stimare le corrispondenze tra feature si possono utilizzare le stesse tecniche citate in precedenza (SSD,...) Ogni feature dell’immagine I 1 viene confrontata con tutte quelle dell’immagine I 2...

18 18 Similarità tra immagini della stessa natura Fino ad ora abbiamo considerato il confronto tra immagini della stessa scena, per quanto diverse In molti casi può essere utile confrontare immagini diverse dello stesso oggetto o della stessa classe di oggetti In questi casi non cambiano solo condizioni esterne e il punto di vista, ma spesso anche le caratteristiche intrinseche dell’oggetto

19 19 Confronto tra modelli e immagini Un problema molto comune della visione computazionale è il rilevamento di oggetti Si posso utilizzare tecniche più o meno raffinate, ma alla base del procedimento c’è sempre la capacità di confrontare immagini Spesso, per descrivere l’oggetto d’interesse, si utilizzano template, ossia immagini di esempio dell’oggetto stesso

20 20 Confronto tra modelli e immagini Problemi di rilevamento di oggetti molto comuni: Rilevamento di volti (frontali e non) Rilevamento di persone, di auto,....

21 21 Confronto tra modelli e immagini La ricerca degli oggetti avviene confrontando un template con zone dell’immagine e selezionando le zone con similarità più alta come occorrenze candidate

22 22 Confronti tra caratteristiche di più alto livello montagna spiagge

23 23 Confronti tra caratteristiche di più alto livello In questi casi ci si rivolge spesso a descrittori globali (istogrammi di colore, del gradiente, etc) o a trasformazioni dell’immagine che mettano in risalto alcune caratteristiche (Fourier, Wavelet,...) La similarità viene poi valutata su queste rappresentazioni.

24 24 Conclusioni In condizioni generali la stima della similarità tra due immagini è un problema difficile Per specifiche applicazioni siamo aiutati da ipotesi semplificatrici Non bisogna dimenticare mai che quella che per noi è un’operazione estremamente naturale, non è necessariamente facile da modellare Le immagini sono pur sempre matrici di numeri!!!