Tecniche per lesecuzione efficiente di interrogazioni sul contenuto in collezioni MPEG-7 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria – Sede di Modena Corso di Laurea Specialistica in Ingegneria Informatica - NOD Relatore: Prof. Paolo Tiberio Correlatori: Dott. Federica Mandreoli Ing. Riccardo Martoglia Anno accademico Alessandro Tonelli

Ambito di ricerca: Progetto europeo DELOS (A Network of Excellence on Digital Libraries) Sviluppo di tecnologie su digital libraries Obiettivo Ambito di indagine della tesi: Sviluppo di tecniche che permettano di interrogare dati video utilizzando misure di similarità Interrogazioni sul contenuto in collezioni MPEG-7 Obiettivo

Problematiche affrontate Analisi stato dellarte Analisi stato dellarte Ricerche di similarità Ricerche di similarità Modifiche al sistema XSiter Modifiche al sistema XSiter

MPEG-7 MPEG-7 è uno standard ISO/IEC formalmente chiamato Multimedia Content Description Interface, che fornisce un insieme di specifiche e strumenti per la descrizione, attraverso metadati, di contenuti di tipo multimediale. Esso descrive le informazioni multimediali attraverso una rappresentazione testuale (XML) che facilita lidentificazione, il filtraggio, la ricerca, il reperimento e la gestione dei dati multimediali, siano essi file audio, filmati o immagini.

MMDBMS Un MultiMedia DataBase Management System fornisce un ambiente adatto per utilizzare e gestire dati multimediali. Deve: fornire mezzi per lindicizzazione ed il recupero efficiente delle informazioni supportare modelli concettuali dei dati multimediali gestire lottimizzazione delle query e il processing delle stesse.

Soluzioni database XML nativeestensioni

Querying di dati MPEG-7 feature-based querying semantic querying si riferisce alle tecniche che si concentrano sulle caratteristiche audiovisive di basso livello (colore, forma, ecc.) si riferisce allinterrogazione basata su semantiche di livello più alto che sono più vicine alle interpretazioni dellutente ed ai contesti duso. - - Processing di query…

Problematiche affrontate Analisi stato dellarte Analisi stato dellarte Ricerche di similarità Ricerche di similarità Modifiche al sistema XSiter Modifiche al sistema XSiter

Ricerca di similarità estrarre da ciascun oggetto N caratteristiche numeriche e mappare gli oggetti in punti di uno spazio vettoriale N-dimensionale usare una distanza opportuna su tale spazio e cercare oggetti vicini usando un indice multi-dimensionale (spaziale) (bassa distanza = alta similarità) Definizione della similarità tra due oggetti qualsiasi Supporto per interrogazioni che richiedono oggetti simili riguarda lefficacia riguarda efficacia ed efficienza

Alberi metrici Gli alberi metrici considerano soltanto le distanze relative degli oggetti (piuttosto che le loro posizioni assolute in uno spazio multidimensionale) per organizzare e partizionare lo spazio di ricerca e richiedono solo che la funzione usata per misurare la distanza (dissimilarità) fra gli oggetti sia una metrica di modo che si possa applicare la proprietà della disuguaglianza triangolare e possa essere usata restringere lo spazio di ricerca.

M-tree Rappresenta un albero bilanciato e dinamico Rappresenta un albero bilanciato e dinamico Memorizza tutti gli oggetti nelle foglie dellalbero Memorizza tutti gli oggetti nelle foglie dellalbero I suoi nodi interni contengono i cosiddetti routing object I suoi nodi interni contengono i cosiddetti routing object OrOr (valore del) routing object ptr(T(O r ))puntatore alla radice of T(O r ) r(Or)r(Or)covering radius of O r d(O r, P(O r )) distanza di O r dai suoi genitori OjOj (valore del) DB object oid(O j )identificatore dell'oggetto d(O j, P(O j )) distanza di O j dai suoi genitori routing object O r DB object O j

range query (tutti i punti aventi una distanza dalla query minore di una soglia) range query (tutti i punti aventi una distanza dalla query minore di una soglia) k nearest neighbor query (i k punti più vicini alla query) k nearest neighbor query (i k punti più vicini alla query) Interrogazioni di similarità r(N) ONON Q O d(Q,O N ) d(O,Q) d(O,Q) A D C B d min (Q,N) minima

Problematiche affrontate Analisi stato dellarte Analisi stato dellarte Ricerche di similarità Ricerche di similarità Modifiche al sistema XSiter Modifiche al sistema XSiter

Architettura di XSiter Offline Process

Query Engine Doc Filter Range Filter Query Processor For Each Document Scan Range Results Query Value Constraints Document Qualifying Nodes Input Documents Input Query Filtered Documents Set Doc Signature Doc Content Based Indexes... Query Engine di XSiter

ContentIndex InvertedIndexSimilarityIndex Modifiche alla struttura degli indici query esatte query approssimate ContentIndexes

Interrogazioni Setting considerato: Digital library multimediale contenente video di Formula 1 e i loro metadati MPEG-7 Recupera tutti i video clip annotati come camera cars Recupera tutti i video clip riguardanti Ferrari camera cars Exact value match Similarity match

Data tree videoimage1 scalable color dominant color image2 coloreforma scalable color colore dominant color Twig query video Interrogazione di similarità Recupera tutti i video clip relativi a camera cars con auto di colore rosso

Conclusioni: Col lavoro di tesi si è avuta la possibilità di studiare concetti legati ai sistemi database multimediali e alla sottomissione ed elaborazione di interrogazioni sugli stessi con particolare attenzione alla ricerca di similarità. Si è quindi proceduto ad estendere un software di notevoli dimensioni (XSiter) con funzionalità di similarità attraverso una minuziosa opera di reingegnerizzazione approfondendo tra laltro il linguaggio di programmazione Java, la libreria XXL e gli standard XML e MPEG-7 Sviluppi futuri: Miglioramento strategie di inserimento e politiche di split Miglioramento strategie di inserimento e politiche di split Utilizzo di altre funzioni di distanza approssimata Utilizzo di altre funzioni di distanza approssimata Risoluzione di interrogazioni più complesse Risoluzione di interrogazioni più complesse Estensioni nel sottosistema GUI di XSiter Estensioni nel sottosistema GUI di XSiter Ulteriori prove sperimentali Ulteriori prove sperimentali