Introduzione all'Organizzazione dei Dati Multimediali Nicola Fanizzi Dipartimento di Informatica Università degli studi di Bari

2 ● 30+ anni fa: nascita dei DBMS – Dati alfanumerici ● Negli ultimi anni proliferazione di informazione multimediale – Immagini – Video – Audio ● Come immagazzinare ed organizzare questa informazione ? – Nuovi modelli di DBMS: MMDBMS ?

3 ● Studiare – Formati – Immagazzinamento e Organizzazione – Indicizzazione – Ritrovamento

4 ● La parola media si riferisce a – Tipi di informazione – Tipi di rappresentazione dell'informazione ● Es.: dati alfanumerici, immagini, audio, e video. ● Classificazioni comuni – Basate sui formati fisici – Dimensioni temporali

5 ● Classificazioni comuni: – basate su formati fisici e dimensioni temporali ● Media Statici – Non hanno dimensione temporale ne' contenuto e significato dipendono dal tempo ● Dati alfanumerici, grafica e immagini fisse ● Media Dinamici – Hanno dimensioni temporali, e significato e correttezza dipendono dal ritmo di presentazione ● Animazioni, audio e video hanno proprie unità di tempo – video da vedere ad un certo numero di frame al secondo (da 24 a 30) – la voce registrata o la musica ha solo un playback rate naturale o udibile. Ascoltare ad una velocità differente distorce il significato o la qualità del suono

6 ● Dati multimediali – Rappresentazione computer-readable di tipi di media multipli ● Informazione multimediale – informazione apportata da più tipi di dati ● Elemento multimediale: oggetto che possa essere 1.interrogato 2.ritrovato 3.presentato

7 ● DBMSs – si ritrovano elementi in base a dati strutturati usando l'exact matching ● Information Retrieval (IR): – ritrovamento basato su testo ● Content-based retrieval: – ritrovamento basato su caratteristiche reali dei media come colore e forma, anziché sui testi – Normalmente basato su similarità invece di esatta corrispondenza tra query e insieme di elementi del DB

8 ● Multimedia Info Retrieval System (MIRS) – Sistema di ritrovamento di informazione multimediale combinazione dei precedenti ● MultiMedia DBMS (MMDBMS) – comprendono anche caratteristiche avanzate come versioning e sicurezza

9 ● Proliferazione: – Crescente disponibilità di dati multimediali ● Peculiarità che li differenziano dai dati alfanumerici – Inadeguatezza dei DBMS standard ● Tecniche di ritrovamento specifiche – Non bastano le tecniche di IR pensate per i testi

10 ● Accelerata dall'avvento di Internet – Libri, giornali e TV sono sempre più spesso digitalizzati ● Facilità di conservazione – Immagini mediche – Immagini satellitari ● es. meteo, Google Earth ● Nuovi tipi di media ● Nuovi formati

11 ● Specifiche necessità di memorizzazione (specialmente audio e video): – video di 10min richiedere 1.5GB circa secondo la qualità ● Dimensione temporale e dimensione spaziale – Presentazione combinata di video + audio ● Mancanza di una precisa struttura semantica che faciliti il ritrovamento in base al contenuto – Difficoltà nel concordare sul significato ● Informazione molto ricca – Molte caratteristiche che possono essere utilizzate per l'organizzazione

12 ● Supportare campi di dimensioni grandi e variabili – RDBMS ● Binary Large OBject (BLOB) grande stringa di bit di lunghezza variabile – OODBMS ● Oggetti presi a prestito da linguaggi OO con tutte le caratteristiche correlate: ereditarieta incapsulamento, ecc.

13 ● Es. se nel record relativo ad uno studente si vuole conservare la foto del tesserino occorre creare tabelle opportune: – create table STUDENT ( stu# integer, name char(20), address char(100) picture BLOB); ● Impossibile confrontare i BLOB a livello semantico (contenuto) ● usati solo a scopo di immagazzinamento

14 ● L'oggetto viene definito attraverso un tipo specifico (proprietà + operazioni) ● Es., definiamo la classe IMAGE : – create type IMAGE ( private size integer, resolution integer, content float[], public... ); ● Dichiariamo il campo picture di tipo IMAGE : – create table STUDENT ( stu# integer, name char(20), address char(100), picture IMAGE);

15 Ritrovamento di dati multimediali basato sul contenuto (Content-based multimedia retrieval) – Strumenti per estrarre (semi-)automaticamente il contenuto e le caratteristiche (feature) nei dati – Strutture di indicizzazione multidimensionali per manipolare vettori di caratteristiche multimediali; – Misure di similarità per il ritrovamento multimediale invece dell'esatta corrispondenza (exact match);

16 Ritrovamento di dati multimediali basato sul contenuto (Content-based multimedia retrieval) – Sottosistemi di immagazzinamento, ri-progettati per far fronte a grandi fabbisogni di memoria, banda, vincoli delle operazioni real-time; – Interfacce-utente progettate per query flessibili su diversi tipi di media e per presentazioni multimediali dei risultati

17 ● Information Retrieval (IR): ritrovamento di documenti testuali – In qualunque organizzazione (es. biblioteche) esiste un vasto numero di documenti testuali ● Il testo e' un'importante sorgente d'informazione. ● Per la sua gestione si richiede prima di tutto il ritrovamento efficiente ed efficace di documenti – Si può usare il testo per annotare altri media (audio, immagini, e video)

18 ● Usare tecniche IR convenzionali, per i dati multimediali ci sono delle specificità: – Annotazione spesso e' un processo manuale e che richiede molto tempo (time-consuming); – Le annotazioni possono essere incomplete e soggettive; – Le tecniche IR classiche trattano esclusivamente query in forma di testo (non audio e immagini ad esempio); – Alcune caratteristiche multimediali come la texture e le forme degli oggetti sono di difficile (impossibile) descrizione attraverso il semplice testo ● Approccio integrato MMDBMS+IR comunque possibile per dar vita ai MIRS

20 1.Pre-elaborazione: estrarre le feature ed il contenuto semantico indicizzare in base a tali feature e semantica 2.Ritrovamento: si estraggono le feature principali la query dell'utente queste sono confrontate con le features o con gli indici degli elementi contenuti nel DB gli elementi più simili alla query vengono reperiti e presentati all'utente

21 A seconda delle query ● Query basate su metadati: – i metadati riguardano proprietà formali degli attributi degli elementi del DB ● es. nome autore, data creazione, ecc ● es. di query in una applicazione video on demand (VOD) potrebbe essere "elenca i film diretti da NOME nel 1997." – Possono essere gestite da DBMS standard ● Query basate su annotazioni: – annotazioni = descrizioni testuali del contenuto degli elementi del DB – Query in forma di parole chiave o testo libero – Ritrovamento basato su similarità query-annotazione ● Es. "Mostra il segmento di video in cui l'ATTORE e' in moto

22 ● Query basate su pattern o feature – I pattern rappresentano informazioni statistiche sui dati multimediali, come altezza di un suono, distribuzione dei colori, e descrizione di una texture ● Es. "Mostrami un frame video con una distribuzione dei colori come QUESTA" – Per rispondere a questo tipo di query,si deve elaborare ed immagazzinare l'informazione statistica necessaria

23 ● Query mediante esempi (by example) – Interrogazioni mediante oggetti multimediali come immagini, bozze, pezzi di sonoro ● Es. "Mostrami un filmato con scene simili a QUESTA IMMAGINE" – Possono essere rese complesse per l'inclusione di relazioni spazio-temporali tra oggetti

24 ● Query dipendenti dall'applicazione – Medicina ● Es. un dottore rileva una nuova immagine ad ultrasuoni e vuole trovare immagini con un grado di ipertrofia ventricolare sinistra comparabile in un DB di immagini ad ultrasuoni – Sicurezza ● Es. un agente mostra al sistema una foto di un volto e vuole ritrovare immagini di uomini che rassomigliano e le info associate in un DB di pubblica sicurezza

25 – Formazione ● Es. uno studente scannerizza l'immagine di un animale e vuole trovare tutte le info salienti (inclusi suoni, immagini, e descrizioni testuali) su quel tipo di animale in un DB educativo ● Es. uno studente simula il suono di un animale e vuole trovare figure e descrizioni informative circa quel tipo di animale – Stampa ● Un giornalista che scrive un articolo su di una persona vuol trovare tutte le immagini di quella persona e le info associate appaerse sulla stampa o in TV negli ultimi 20 anni

26 – Intrattenimento ● Uno spettatore vuol trovare videoclip simili a quella che sta vedendo in un grande DB di video – Brevetti ● L'impiegato deve determinare se la richiesta di brevetto sia simile ad un brevetto di gia registrato. Per questo cerca in un DB di brevetti: ● il MIRSs si concentra sull'informazione in sé anziché sulla sua rappresentazione che puo' esseere mappata o tradotta da un media ad un altro. – Es. si interroga un DB di video usando testo, musica, parlato, ecc. ● Il motore di ricerca deve far corrispondere i dati di query con gli elementi del DBthe database items.

27 ● Testo di riferimento: – Guojun Lu: Multimedia Database Management Systems, Artech House computing library, Boston, ISBN , 1999