1 Basi di dati multimediali. 2 Basi di dati Multimediali Introduzione.

Presentazione sul tema: "1 Basi di dati multimediali. 2 Basi di dati Multimediali Introduzione."— Transcript della presentazione:

1 1 Basi di dati multimediali

2 2 Basi di dati Multimediali Introduzione

3 3 zNuove applicazioni richiedono la rappresentazione e la gestione di dati non tradizionali: ytesti arbitrari yimmagini yaudio yvideo ydati tradizionali (relazionali, orientati ad oggetti)

4 4 Basi di dati multimediali zUn sistema di gestione dati multimediali (MMDBMS) permette la rappresentazione e la gestione di diversi tipi di dati, potenzialmente rappresentati secondo diversi formati zUn MMDBMS deve permettere di: yrappresentare dati corrispondenti a diverse tipologie di media yinterrogare dati rappresentati in formati diversi in modo uniforme yinterrogare dati in formati diversi simultaneamente nel contesto della stessa query yrecuperare gli oggetti dal supporto su cui risiedono, compatibilmente con il tipo di media che rappresentano

5 5 Un esempio per capire zSi consideri uninvestigazione della polizia nel contesto di unoperazione anti-droga zquesta investigazione può generare diverse tipologie di dati: yvideo, ottenuti da telecamere di sorveglianza poste in varie locazioni yaudio, relativi ad intercettazioni telefoniche yimmagini, corrispondenti a fotografie fatte dagli investigatori ydocumenti, relativi ai rapporti stilati dalla polizia ydati relazionali tradizionali, relativi ad informazioni di background sulle persone sospette

6 6 Query sulle immagini zQuery 1 yil poliziotto John ha davanti a se una fotografia yvuole trovare lidentità della persona nella foto yQuery: ritrova tutte le immagini nelle quali appare la persona che compare nella mia foto zQuery 2: yil poliziotto John vuole esaminare le immagini di Denis Dopeman yQuery: ritrova tutte le immagini in cui compare Denis Dopeman

7 7 Problematiche zDue tipi di query: yquery image-based yquery keyword-based znella query 1, il poliziotto, fornisce unimmagine in imput e vuole come output uninsieme di immagini, possibilmente ordinate rispetto al loro grado di similarità con limmagine nella foto yproblemi xche cosa vuol dire similarità xche cosa vuol dire ordinare xcome si può supportare la ricerca znella query 2 il poliziotto fornisce una keyword come input (il nome, Denis Dopeman) e vuole come output le fotografie che contengono unimmagine di Denis Dopeman yproblemi xnecessità di associare attributi ad immagini xcome si può supportare questa ricerca

8 8 Query sui documenti audio zQuery 1: yil poliziotto John sta ascoltando il nastro relativo ad una intercettazione telefonica, contenente una conversazione tra le persone A e B yQuery: determinare lidentità di B, sapendo che A è Denis Dopeman zQuery 2: yil poliziotto John vuole riascoltare tutti i dialoghi a cui ha partecipato Denis Dopeman, in un certo periodo di tempo yQuery: ritrova tutti i documenti audio in cui partecipa Denis Dopeman xsi associano attributi agli audio oppure si riconosce la voce di Denis Dopeman

9 9 Query sui documenti testuali zQuery 1: yil poliziotto John sta analizzando un archivio di documenti testuali, che contengono vecchie riviste, rapporti della polizia, etc. yQuery: ritrova tutti i documenti relativi alle transazioni finanziarie illegali che coinvolgono ABC Corp.

10 10 Query sui documenti video zQuery 1: yil poliziotto John sta esaminando un video di sorveglianza, che contiene le immagini di un agguato fatto ad una certa persona. La faccia dellassaltatore non è però chiara e quindi eventuali ricerche basate sulle immagini, per determinare lidentità dellassaltatore, non hanno dato buoni risultati yè possibile che la vittima conoscesse lassaltatore yQuery: trova tutti i segmenti di video in cui compare la vittima dellagguato

11 11 Query eterogenee zGli esempi precedenti si riferiscono a query che coinvolgono un singolo tipo di media (solo audio, solo testo, solo immagini, solo video) zquery più complesse possono coinvolgere diversi tipi di media zQuery 1: ydetermina gli individui che sono stati visti insieme a Jose Orojuelo e che sono stati condannati per tentato omicidio in Nord America e che hanno recentemente ricevuto bonifici bancari dalla ABC Corp zper risolvere la query è necessario: ydeterminare condannati per tentato omicidio in Nord America e che hanno recentemente ricevuto bonifici bancari dalla ABC Corp xquery testuale su documenti, anche eterogenei yquery su immagini per fotografie yquery su video

12 12 MMDBMS: aspetti da considerare zRappresentazione yi dati sono tipicamente non strutturati ysi vuole analizzare il contenuto ycome è possibile rappresentare il contenuto di un documento multimediale? xCome si fa a capire che unimmagine contiene una certa persona zQuery yun linguaggio di query per MMDBMS deve avere caratteristiche particolari yquery processing deve analizzare il contenuto degli oggetti

13 13 MMDBMS: aspetti da considerare zMemorizzazione: yquali supporti utilizzare? (dischi, CD-ROM, nastri) yche operazioni supportare: xnon solo lettura/scrittura ma anche (video/audio) playback rewind fast foward pause zIndici: ycome indicizzare gli oggetti multimediali? zAnalizzeremo solo i primi due aspetti

14 14 Rappresentazione zUn oggetto multimediale in genere può essere composto da diversi sotto-oggetti, ciascuno relativo ad un particolare media zle relazioni tra oggetti e sotto-oggetti può essere modellata utilizzando un approccio orientato ad oggetti o relazionale ad oggetti zrimane il problema di come rappresentare il contenuto di un oggetto corrispondente ad un singolo media zci occuperemo di questo aspetto

15 15 Rappresentazione zG li oggetti sono non strutturati zdal punto di vista del DBMS son o possibili due tipi di rappresentazione yriferimento esterno: xil DB contiene riferimento ai file che contengono i dati multimediali xquesti file non vengono gestiti dal DBMS yrappresentazione interna: xi dati multimediali vengono memorizzati nel DBMS in campi di tipo particolare, come BLOB (binary large object) o CLOB (character large object) xil DBMS gestisce questi dati, dal punto di vista dellaccesso, ripristino e autorizzazione Oggetto multimediale riferimento LOB DBMS Oggetto multimediale

16 16 Rappresentazione zIn genere, non esiste una modalità standard per la rappresentazione di dati multimediali zEsempio: yOracle supporta i seguenti tipi xLOB, CLOB, BLOB: oggetti non strutturati fino ad 4 GB xRAW, LONG RAW: dati completamente non interpretati ySybase: xIMAGE xTEXT

17 17 Rappresentazione zIn entrambi i casi gli oggetti sono completamente non strutturati zper poterli interrogare in modo ragionevole, è necessario sovraimporre a ciascun oggetto una rappresentazione concettuale zla rappresentazione concettuale è costituita da un insieme di dati strutturati che descrivono loggetto multimediale (surrogato) dal punto di vista: ydella struttura ydel contenuto semantico zogni oggetto dello stesso tipo sarà descritto dallo stesso tipo di surrogato zil surrogato del documento non descrive pienamente il contenuto informativo del documento ma costituisce una sua sintesi zi surrogati rappresentano gli oggetti sui quali definire le tecniche di indice

18 18 Rappresentazione zSpesso il surrogato si ottiene associando a ciascun oggetto un insieme di attributi zdue tipi di attributi: ydescrittivi xassociano informazioni descrittive (relazionali) a ciascun oggetto xvengono associati manualmente alloggetto ycontent-based (anche chiamati features) xassociano informazioni relative al contenuto xvengono estratti direttamente dal sistema zentrambi i tipi di attributi si possono interpretare come una sorta di metadati zi metadati associati ad un documento multimediale dipendono dal tipo di media considerato

19 19 Esempio Attributi descrittivi nome: Villa Medici località:Roma Features: forma:

20 20 Rappresentazione Oggetti multimediali Features + attributi Generazione metadati (automatica + manuale) I sistemi mettono a disposizione funzionalità per estrarre feature e per utilizzare tali feature nel contesto delle interrogazioni

21 21 Rappresentazione zConseguenza yi documenti multimediali potranno essere confrontati solo rispetto agli attributi e alle feature yfeature uguali non sempre si riferiscono ad oggetti uguali yEsempio si puo riferire sia ad una villa che ad unindustria

22 22 Query zDue aspetti ydefinizione caratteristiche linguaggio di interrogazione yquery processing zè necessario stabilire: yapproccio generale allesecuzione delle query yaspetti che devono essere supportati

23 23 Idea di base query processing Oggetti multimediali Features + attributi Generazione metadati Meccanismo di interrogazione 1 2 3 ÊLa query viene eseguita sui metadati (attributi + features) Ëdai metadati si risale ai documenti originali Ìi documenti originali vengono restituiti allutente

24 24 Aspetti da supportare ÊLe query devono potere essere eseguite su diversi tipi di media contemporaneamente yaspetto già considerato Ëdevono considerare attributi e features Ìdevono supportare query per similitudine Ídevono associare un valore di rilevanza ad ogni oggetto restituito Îdevono supportare query spazio-temporali Ïdevono poter essere pesate

25 25 Attributi e feature zLe query interrogano gli oggetti multimediali considerando gli attributi e le feature ad essi associati zEsempio: ritrova tutte le immagini di abitazioni importanti in Liguria yassumo di avere estratto le forme dalle immagini yassumo di avere associato informazione descrittiva (luogo, tipo abitazione)

26 26 Query per similitudine zPoiché il contenuto degli oggetti viene espresso attraverso features e poiché le feature non rappresentano pienamente il contenuto semantico di un oggetto, le condizioni di selezione sugli oggetti multimediali non sempre sono certe zciò significa che le condizioni non sono in generale condizioni di uguaglianza ma di similitudine yle condizioni in genere sono verificate in una certa misura, data dalla similitudine tra ciò che stiamo cercando e ciò che abbiamo trovato zil linguaggio deve permettere di esprimere query di questo tipo zil query processing deve essere in grado di supportare tali tipi di query

27 27 Query per similitudine zQuery: ydetermina tutte le immagini in cui appare una certa persona, presente in una specifica foto ydifficilmente verranno restituite tutte le immagini che contengono questa persona ymolto probabilmente verranno trovate anche immagini in cui compaiono persone che, per qualche motivo (dipende dalle feature considerate) assomigliano alla persona cercata

28 28 Ranking zUna conseguenza della necessità di eseguire query per similitudine è quello di decidere i criteri di rilevanza di un oggetto rispetto ad una interrogazione: ranking zIl ranking è un ordinamento degli oggetti restituiti da una interrogazione che riflette il grado di rilevanza dei documenti rispetto allinterrogazione zI criteri per effettuare il ranking dipendono dal media considerato zEsempio: ritrova le 5 immagini in cui più probabilmente appare una certa persona, presente in una specifica foto yin questo modo, si aumenta la certezza del risultato

29 29 Query spazio-temporali zNecessità di interrogare relazioni spazio-temporali esistente tra gi oggetti zrelazioni spaziali: associano le feature associate ad un oggetto da un punto di vista spaziale yimportante per immagini, testo yEsempi: xin unimmagine, relaziono le forme che compaiono rispetto alla loro posizione (vicino, lontano, a destra, a sinistra) xin un testo, relaziono il contenuto (prima, dopo) zrelazioni temporali: associano le feature associate ad un oggetto da un punto di vista temporale yimportante per audio, video yEsempi: xsequenze audio/video: prima, dopo, subito prima, subito dopo, contemporaneamente

30 30 Query spazio-temporali zQuery 1: ydetermina tutti i video in cui Denis Dopeman discute con una persona e poi la paga xvincolo temporale zQuery 2: ydetermina tutte le immagini in cui Denis Dopeman incontra una persona xlimmagine deve contenere due persone, ragionevolmente vicine xvincolo spaziale

31 31 Query pesate zIn alcuni casi può essere utile pesare le varie condizioni nel contesto di una query zquesto permette di associare un livello di importanza alla condizione nel determinare la similarità degli oggetti zEsempio: determina: ygli individui che sono stati visti insieme a Jose Orojuelo (1) ysono stati condannati per tentato omicidio in Nord America (0.8) yhanno recentemente ricevuto bonifici bancari dalla ABC Corp (0.5) zla similarità viene pesata

32 32 Due approcci alla specifica delle query zSi definisce un linguaggio di query yad esempio, si estende SQL con condizioni specifiche da applicare ad oggetti multimediali ytipico DBMS estesi alla gestione di dati multimediali zquery by example: ysi fornisce un oggetto di esempio e si vogliono determinare tutti gli oggetti simili yesempio: si fornisce la fotografia del viso di una persona e si vogliono ritrovare tutti i visi simili ytipico di sistemi dedicati alla gestione di un solo tipo di media

33 33 I sistemi zTutti i principali DBMS sono stati estesi in modo da supportare la gestione di informazione multimediale zesistono sistemi specifici ottimizzati rispetto alla gestione di particolari tipi di media yQBIC: immagini yQBE: query by example su immagini yMULTOS: testo yPICQUERY

34 34 Nel seguito... zConsidereremo due media: ytesto yimmagini zper ciascuno illustreremo yrappresentazione del contenuto yquery in alcuni sistemi