La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Enver Sangineto, Dipartimento di Informatica Multimedia Information Retrieval.

Presentazioni simili


Presentazione sul tema: "Enver Sangineto, Dipartimento di Informatica Multimedia Information Retrieval."— Transcript della presentazione:

1 Enver Sangineto, Dipartimento di Informatica Multimedia Information Retrieval

2 p. 2 Problema Nel Web e nei DB locali esiste molta informazione non esclusivamente testuale: audio (speech, musica…) immagini, video, … Come recuperare efficacemente materiale multimediale?

3 p. 3 Esempi di applicazione Web indexing: Recupero di materiale multimediale dal Web, Sistemi capaci di bloccare immagini pubblicitarie oppure illegali/indesiderate Trademark e copyright Accesso ai musei DB commerciali

4 p. 4 Esempi di applicazione [2] Immagini satellitari (applicazioni militari, government, …) Immagini mediche Entertainment Criminal investigation …

5 p. 5 Prima generazione di multimedia information retrieval systems Off-line: il materiale multimediale viene associato con una descrizione testuale (annotazione manuale): content descriptive metadata On-line: utilizzo di tecniche di IR testuali basate sul keyword match

6 p. 6 immagine presa da: A. Del Bimbo, Visual Information Retrieval

7 p. 7 Limiti dellapproccio esclusivamente testuale Lannotazione manuale di grossi DB multimediali è impensabile… Non è facile descrivere testualmente il contenuto percettivo di unimmagine, di un video o di un brano musicale…

8 p. 8 Esempi Cercare una canzone conoscendone solo il ritornello Cercare una determinata azione in un video sportivo Cercare dipinti che hanno un determinato dosaggio di colori …

9 p. 9 Esempi [2] Google Image può restituire fino ad un 85% di documenti NON rilevanti anche per query semplici (e.g., oggetti specifici) [1] [1] Fergus, Fei-Fei, Perona, Zisserman, Learning Object Categories from Googles Image Search, ICCV 05

10 p. 10 Soluzioni in fase di studio… Sistemi Content Based: Modellano direttamente sia la query che gli oggetti del DB in uno spazio percettivo visivo/auditivo Sistemi di annotazione automatica: Fase di pre-processing (information extraction): viene estratta informazione da elementi non testuali e memorizzata in maniera: testuale o simbolica Il retrieval (on-line) avviene con tecniche tradizionali

11 p. 11 Cosa vedremo in queste tre lezioni… Introduzione ai sistemi content based basati su caratteristiche percettive quali: Colore, movimento, suono, … Sistemi di shape-based retrieval Sistemi di annotazione automatica

12 p. 12 Elementi tipici di un sistema di Content Based Multimedia IR Dal punto di vista dellutente: La query è un oggetto multimediale (e.g., unimmagine, un disegno, un elemento audio, …) Loutput è una lista di elementi ordinati in base alla somiglianza percettiva con la query Esistono strumenti opzionali di interazione per visualizzare collezioni di immagini o fornire feedback al sistema

13 p. 13 Esempio: query by image example La query è un particolare

14 p. 14 Query by image example [2] Notate che query e particolare possono non essere identici. Ad es. la query può essere scelta da un immagine prima di un restauro

15 p. 15 Query by image example (sketch) [3] immagine presa da: A. Del Bimbo, Visual Information Retrieval

16 p. 16 Elementi tipici di un sistema di Content Based Multimedia IR [2] Dal punto di vista del sistema: Rappresentazione delloggetto multimediale (e.g., spazio delle feature) Modellazione del concetto di similitudine percettiva (e.g., attraverso appositi algoritmi di matching) Utilizzo di strutture dati particolari che permettano un indexing efficiente dello spazio delle feature Gestione delleventuale relevance feedback (non verrà trattato…)

17 p. 17 Rappresentazione

18 p. 18 Rappresentazione tramite Feature di unimmagine Una feature è una rappresentazione, tramite valori numerici, di tutta o parte dellimmagine Se I' è una sottoparte dellimmagine I, allora una feature f è t.c.: f(I') R k, f(I') = (v 0, … v k-1 ) T, k >= 1

19 p. 19 Feature per rappresentare unimmagine [2] In genere una feature è una caratteristica facilmente misurabile dellimmagine Limmagine in esame viene quindi descritta usando i valori di un insieme di feature pre- scelte f 1, …, f n

20 p. 20 Feature globali e locali I' = I: feature globale I' I: feature locale Feature locali: È importante capire come selezionare le sottoparti di I (I 1, I 2, …) da rappresentare Più robuste ad occlusioni, parti mancanti, separazione dal background

21 p. 21 Esempio: feature locale f i (I') I' I immagine presa da: Tutorial CVPR 07

22 p. 22 Alcuni semplici esempi di feature: istogrammi dellintensità di grigio Istogramma dellintensità dei pixel in I': Divido il range [0, 255] in k bin Assegno ogni pixel ad un bin: I(p) -> div k (I(p)) f(I') = (v 0, …, v k-1 ) T, dove: v i = # { p I : div k (I(p)) = i}

23 p. 23 Alcuni semplici esempi di feature: geometria facciale f(I) = (d 1, d 2, d 3, d 4 ) T

24 p. 24 Spazio delle Feature Supponendo di utilizzare n features a valori in R, I può essere rappresentata tramite il vettore x(I) = (f 1 (I), …f n (I)) T x(I) è ottenuto concatenando il valore delle singole feature x(I) è un punto in R n, detto spazio delle feature

25 p. 25 Spazio delle Feature [2] In generale, se: f i (I) R k, allora: x(I) = (f 1 (I) T … f n (I) T ) T è un punto in R n*k

26 p. 26 Es.: Spazio delle Feature (R 2 )

27 p. 27 Spazio delle Feature [3] E un concetto simile ma non identico allo spazio vettoriale usato per rappresentare la frequenza dei termini nei documenti testuali E la rappresentazione dei dati più usata nei vari sistemi content based (immagini, video, audio) ma non è lunica!

28 p. 28 Similitudine

29 p. 29 Similitudine percettiva Nel text retrieval, la similitudine tra due documenti può essere stimata contando i termini in comune Ad esempio, rappresentando la frequenza dei termini di un documento in un apposito spazio vettoriale, la distanza tra punti in tale spazio descrive la dissimilarità tra documenti Lo spazio delle feature si comporta in maniera analoga…

30 p. 30 Similitudine percettiva [2] Nello spazio delle feature la differenza percettiva tra I 1 e I 2 è proporzionale ad una determinata misura di distanza (non necessariamente Euclidea): dist(x(I 1 ),x(I 2 )) Data la query Q, loutput del sistema è una lista di immagini I 1, I 2, … ordinata massimizzando dist(x(Q),x(I j ))

31 p. 31 Esempio (R 2 )

32 p. 32 Similitudine percettiva [3] Altri algoritmi di matching fanno uso di rappresentazioni più complesse o alternative allo spazio delle feature e sono tipicamente studiati ad hoc per il particolare sistema di MIR

33 p. 33 Indexing

34 p. 34 Tecniche di Indexing Problema: come indicizzare efficientemente dei dati in uno spazio multidimensionale? La maggior parte delle più comuni strutture dati per la ricerca efficiente si basano su un ordinamento totale dei valori rappresentati: x i <= x j V x j <= x i (0 <= i,j <= N) Ese.: nel caso delle keyword, lordine alfabetico stabilisce un ordinamento totale In R k ciò non è più vero

35 p. 35 Il k-d Tree E una generalizzazione dellalbero di ricerca binario in k dimensioni Ad ogni livello dellalbero viene presa in considerazione ciclicamente una delle k feature

36 p. 36 Il k-d Tree [2] Supponiamo di voler indicizzare un insieme di punti multidimensionali: Scelgo la prima dimensione (feature) e trovo il valore L 1, mediano rispetto a P 1 ;:::; P N, P i 2 R k, P i = ( x i 1 ;:::; x i k ) T. x 1 1 ; x 2 1 ;:::; x N 1

37 p. 37 Il k-d Tree [3] La radice dellalbero conterrà L 1 Il sottoalbero sinistro (T L ) conterrà i punti P i t.c. x i 1 <= L 1 Il sottoalbero destro (T R ) gli altri A livello 1 scelgo la seconda feature e, separatamente per T L e T R, calcolo L 2 e L 3, scelti in modo tale che: L 2 è mediano rispetto agli elementi di T L L 3 è mediano rispetto agli elementi di T R x 1 2 ; x 2 2 ;:::;

38 p. 38 Il k-d Tree [4] Dopo aver utilizzato la feature k-esima, ritorno ciclicamente a considerare la prima feature I punti sono associati alle foglie

39 p. 39 Esempio immagine presa da: Hemant M. Kakde, Range Searching using Kd Tree

40 p. 40 Image, video e audio retrieval

41 p. 41 Retrieval by color: istogrammi di colore Istogramma dei colori di una parte di immagine I': Possibili rappresentazioni di un singolo pixel: RGB, HSV, CIE LAB, … Divido ogni canale in k bin: f(I') = (r 0,…, r k-1, g 0, …, g k-1, b 0, …, b k-1 ) T, r i = # { p in I: div k (R(p)) = i }, g i = # { p in I: div k (G(p)) = i }, b i = # { p in I: div k (B(p)) = i }

42 p. 42 Istogrammi di colore [2] Oppure divido RGB in k 3 bin: f(I') = (z 0,…, z h-1 ) T, h= k 3 Se z i rappresenta i valori (i 1, i 2, i 3 ), allora: z i = # { p in I: div k (R(p)) = i 1 and div k (G(p)) = i 2 and div k (B(p)) = i 3 }

43 p. 43 Istogrammi di colore [3]: esempio immagine presa da: Wikipedia

44 p. 44 Retrieval by texture

45 p. 45 Approccio statistico

46 p. 46 Esempio field residential vegetation

47 p. 47 Approccio sintattico: grammatiche visive Ese. di regola di produzione per la rappresentazione di texture (Rosenfeld): Essa riassume le seguenti 4 regole:

48 p. 48 Video retrieval Un video è semplicemente una sequenza di molte immagini Ogni immagine viene detta frame

49 p. 49 Componenti di un video Frame: una singola immagine Shot: Un sequenza di frame consecutivi ripresi da una singola telecamera Scena: un insieme di shot consecutivi che rispettano le 3 unità aristoteliche di spazio, tempo e azione

50 p. 50 Segmentazione di una videosequenza Individuando gli editing effects (cuts, dissolvenze, ….) tra uno shot e laltro è possibile suddividere (automaticamente) un video in shot Molto più difficile è individuare le scene (concetto semantico)

51 p. 51 Tipi di ricerca per i video I video possono essere rappresentati con dei key frame rappresentativi di ogni shot Un key frame è trattabile come una still image: Si applicano le tecniche viste per le immagini (spazio delle feature, ricerca per colore, texture, forma, ecc.)

52 p. 52 Tipi di ricerca per i video Alternativamente, è possibile cercare in un video informazione relativa al movimento (e.g., una particolare traiettoria in un video sportivo, …)

53 p. 53 Audio retrieval Vari tipi di audio: Parlato: E possibile utilizzare tecniche di speech recognition per trasformare laudio in testo Suono: Un qualunque segnale audio con frequenze nel range delludito umano (e.g., suoni prodotti da animali…) Musica: Si tiene conto dei diversi strumenti musicali utilizzati, dei vari tipi di suoni prodotti, degli effetti musicali, ecc.

54 p. 54 Tipi di Query Query by example: viene fornito/sintetizzato un file audio chiedendo di recuperare audio simili Query by humming: lutente accenna (vocalmente o anche fischiando…) la melodia da cercare

55 p. 55 Rappresentazione e similitudine Uno spazio delle feature può essere creato utilizzando, ad ese., istogrammi ricavati dalla rappresentazione spettrale del segnale La similitudine percettiva in tal caso avviene calcolando la distanza (Euclidea, di Mahalonobis, ecc.) tra punti multidimensionali come nel caso delle immagini

56 p. 56 Aspetti percettivi diversi possono essere combinati

57 p. 57 Alcuni riferimenti A. Del Bimbo, Visual Information Retrieval, Morgan Kaufmann Publishers, Inc. San Francisco, California", 1999 Forsyth, Ponce, Computer Vision, a Modern Approach 2003

58 p. 58 Alcuni riferimenti [2] Smeulders et al., Content-Based Image Retrieval at the End of Early Years, IEEE PAMI 2000 Long et al., Fundamentals of Content-based Image Retrieval, in: D. D. Feng, W. C. Siu, H. J. Zhang (Ed.),Multimedia Information Retrieval & Management-Technological Fundamentals and Applications, Springer-Verlag, New York(2003) Foote et al., An Overview of Audio Information Retrieval, ACM Multimedia Systems, 1998 Hemant M. Kakde, Range Searching using Kd Tree, 2005

59 p. 59 Domande…


Scaricare ppt "Enver Sangineto, Dipartimento di Informatica Multimedia Information Retrieval."

Presentazioni simili


Annunci Google