Multimedia information retrieval. Problematica Materiale multimediale: non solo testo, ma audio (speech, musica..) immagini, video Retrieval basato su.

Slides:



Advertisements
Presentazioni simili
Segmentazione delle immagini
Advertisements

Analisi della Tessitura
Macchine di Percezione
Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica
LA DESCRIZIONE DEL MOTO
Misure dimensionali senza contatto.
Quadro di riferimento INValSI Scienze I livelli di competenza
Riconoscimento di forme
Visione Stereo & Geometria Epipolare
Sistemi di supporto alle decisioni 2. Features space
SEGMENTAZIONE DELLE IMMAGINI
Apprendimento Automatico: Elaborazione del Linguaggio Naturale
Enver Sangineto, Dipartimento di Informatica Multimedia Information Retrieval.
Annotazione Automatica di materiale multimediale
Introduzione Estrazione di Informazioni dal Web Prof. Paola Velardi.
V.Caglioti - Autolocalizzazione
ANNO ACCADEMICO CORSO LAUREA MAGISTRALE IN SCIENZE DELLA PRODUZIONE ANIMALE Riconoscimento elettronico, management informatizzato e tracciabilità.
Seminario su clustering dei dati – Parte I
Scene Modelling, Recognition and Tracking
BILAYER SEGMENTATION OF LIVE VIDEO
Apprendimento di movimenti della testa tramite Hidden Markov Model
Antonello DAguanno Music Information Retrieval - TOOLS.
Riconoscimento automatico di oggetti in immagini digitali
I database per il medico / 2 n I database n I database: nozioni generali sulle basi di dati, con approfondimento sulle basi bibliografiche Paolo Gardois.
Elaborazione (digitale) delle immagini
Concetti fondamentali dei Sistemi Informativi Geografici (GIS)
Tecniche per lesecuzione efficiente di interrogazioni sul contenuto in collezioni MPEG-7 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria.
Formati e caratteristiche di digitalizzazione
Claudia Raibulet Algebra Booleana Claudia Raibulet
Modellazione di terreni a risoluzione adattiva
Trasformazioni di intensità Filtraggio spaziale
Antonello DAguanno Music Information Retrieval - AUDIO.
Formati e software di gestione per i record bibliografici Integrazione dellinformazione e qualità degli OPAC Napoli, 1 marzo 2002 Rosa Maiello Università
Database & Information Retrieval
Descrizione Semantica ad Alto Livello di Ambienti Virtuali in X3D
INFORMATICA MATTEO CRISTANI. INDICE CICLO DELLE LEZIONI LEZ. 1 INTRODUZIONE AL CORSO LEZ. 2 I CALCOLATORI ELETTRONICI LEZ. 3 ELEMENTI DI TEORIA DELL INFORMAZIONE.
Lo sviluppo del software e i linguaggi di programmazione
Marco Tonti Università di Bologna
Presentazione Attività di Ricerca Secondo periodo – Aprile-Settembre Ottobre 2008.
Efficient Region- Based Image Retrieval di Roger Weber e Michael Mlivoncic Swiss Federal Institute of Technology (ETH) Presentazione di Laura Galli, Mauro.
Face Recognition Gessica Vagnoli.
Papagna Sabino Flavia Camoes
Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica
Multimedia Information Retrieval
Enver Sangineto, Dipartimento di Informatica Annotazione Automatica di materiale multimediale.
Architettura di OGL e pipe-line Daniele Marini Corso Di Programmazione Grafica.
Superfici nascoste Daniele Marini.
Shape-based visual information retrieval Enver Sangineto Dipartimento di Informatica
Università degli Studi di Cagliari
Progetto MIUR SPA.DA. Riunione Genova 7 Giugno 2002.
Visione e Percezione progetto conclusivo “Human recognition : A BIOMETRICAL APPROACH ” Simone Balsanelli Adriano Cerocchi.
Corsi di Laurea in Biotecnologie
Linguistica computazionale: task sul linguaggio naturale Cristina Bosco 2015 Informatica applicata alla comunicazione multimediale.
Imaging Parte 1 Bartolomeo Cassano.
A proposito di spazio scala e di altre features locali... Elisabetta Delponte
Che cosa è e a cosa serve un GIS?
Analisi della similarità tra immagini.
2. Le immagini: quali e perchè Vettori e raster Wikipedia, l’enciclopedia libera, riassume: nella grafica vettoriale un'immagine è descritta mediante un.
Linguistica computazionale: come accedere all’informazione codificata nel linguaggio naturale (seconda parte) Cristina Bosco 2014 Informatica applicata.
Linguaggi dell’immagine
Esempio di riconoscimento biometrico
Tecniche di ricerca semantica a supporto del recupero di link di tracciabilità tra artefatti software RelatoreCandidato Chiar.mo Prof. Rocco OlivetoStefano.
HMM in Image Analysis Francesco Finazzi Lezione /04/2008.
Prof. Dario Scalini. Luce e Colore FOTORECETTORI  coni (colori) e bastoncelli (luminosità)
Di Matteo Arenga Manuela Bonaccorso Giulia Diprossimo.
STRUTTURE DEI DATI (COMPLESSI). TESTO (codifica informazioni testuali) TESTO: (es. libro) sequenza di capitoli, paragrafi,pagine,righe, parole.
Modello di Marr (1982) Il sistema visivo analizzerebbe in maniera sequenziale 3 tipi di rappresentazione prima di identificare l’oggetto –Immagine –Primal.
La Matematica del web: compressione di immagini Nancy Castro Claudia Mungo Edoardo Decaro.
Transcript della presentazione:

Multimedia information retrieval

Problematica Materiale multimediale: non solo testo, ma audio (speech, musica..) immagini, video Retrieval basato su criteri meno precisi del keyword match: –la somiglianza, lapprossimazione, i rapporti di misure e valori (es. face recognition) Utilizzando quali chiavi di ricerca e recupero: –figure geometriche –strutture contorni colori suoni –Ma anche rappresentazioni semantiche

Architettura di un sistema MIR Feature extraction Feature extraction

Multimedia retrieval Estrazione di caratteristiche –Caratteristiche proprie del media: pixel, contorni, segnale audio.. –Annotazioni testuali: legenda delle figure, speech, annotazioni fatte da umani Funzione di matching –Dal bag of wordsal bag of features

Features diverse possono essere combinate

I. Image retrieval Caratteristiche: 1. geometriche 2. spettrali 3. semantiche

1.Features geometriche Distanze (es. face recognition, OCR) Archi (forme donda) Linee (arterie stradali) Forme complesse (triangoli, rettangoli..)

… … Esempio di estrazione di features basata su geometria: face recognition scanning delliride impronte digitali distanza fra occhi, naso, bocca segnale vocale

Misure: Geometria facciale

Misure: Face recognition La rappresentazione può essere più complessa di un vettore di features Rappresentazione strutturata (ad es. i templates, come per IE) Sistema di registrazione Biometric reader Feature Extractor Enroll: … template immagine

Applicazione : riconoscitore di identità foto sorgente (query) foto recuperata

2.Features spettrali 2.1 Analisi di dati raster –Segmentazione e clustering di dati raster (immagini rappresentate mediante matrici di celle con informazioni su colore, intensità, luminosità, elevazione..) 2.2 Texture (tessellatura) analysis –Riconoscimento di aree caratterizzate da comuni caratteristiche di intensità e struttura

2.2 Dati raster. Es: unimmagine..

.. I suoi pixels

Features più complesse si ottengono raggruppando i pixels sulla base di una caratteristica (es. colore) Celle adiacenti omogenee o simili rispetto ad un descrittore (es. il colore) vengono raggruppate. Problema: features più compatte ma in numero variabile.

Image Retrieval basato su immagini raster Le immagini sono memorizzate ad esempio in formato JPEG compresso Viene calcolato il coefficiente DC dellimmagine e si crea un istogramma DC coefficient: il valore medio della forma donda associata allimmagine spettrale Lutente sottomette una query grafica Viene paragonato listogramma DC della query con quello del database di immagini

Es: istogramma dellimmagine di un elefante

Applicazione : retrieval di opere darte La query è un particolare

best matching Notate che query e particolare possono non essere identici. Ad es. la query può essere scelta da un immagine prima di un restautro Esistono decine di misure di similarità, es. distanza eucliidea

.. E si possono avere varie risposte ordinate per rank query

2.2 Texture analysis (tessellatura)

Texture analysis Metodi statistici (ogni tessello è caratterizzato da un vettore delle caratteristiche) Strutturali (i tesselli sono visti come aree con un significato, es: centri abitati) Sintattici (i tesselli vengono combinati mediante una grammatica, es. graph grammars )

field residential vegetation (circondato da case)

3.Features semantiche: shape recognition Riconoscere forme (shapes) che rappresentano oggetti di un certo tipo Per imparare a identificare le forme è necessario addestrare i sistemi con un insieme di immagini di apprendimento

Shape recognition

Problemi: variazione punti di osservazione

Occlusioni parziali

Metodi di shape recognition: shock graphs Esempio Shape boundary Shocks Luogo dei centri delle circonferenze massime bitangenti ai confini della figura

Features di basso e alto livello Immagine di partenza Features di basso livello: colori, contorni, luminosità Features di alto livello: forme, quali persone, edifici, cielo, torri, gru.. Idealmente, descrizione semantica: immagine di un porto, con alcune persone e nello sfondo gru e faro..may be later..

II. Video retrieval Un video è semplicemente una sequenza di molte immagini Ogni immagine viene detta frame

Analisi dei video Parsing del video: si analizza lintero video e lo si frammenta in: –Scena: un insieme di immagini correlate (gli elementi che appaiono sono simili) –Shot: Un sequenza ripresa da una singola telecamera –Frame: una singola immagine Indexing: ai frames vengono assegnate delle features e si genera un sistema di indici (come per IR tradizionale) Linformazione viene compressa, calcolando le differenze di ogni frame rispetto a key frames (quelli che sono caratterizzati da discontinuità, es. cambio di scena o shot) Retrieval and browsing: si accede ai vari video con chiavi di ricerca testuali o immagini

Architettura di un sistema di VR I key frames sono quelli che segnalano delle discontinuità

Nei video si sfruttano anche features testuali Metadata: titolo, autore, produttore, data.. Sottotitoli e trascrizioni degli autori

Architettura di un sistema di video indexing: astrazione temporale e spaziale

III. Audio retrieval Vari tipi di audio:

Features audio

Features audio (2)

Audio retrieval: tecniche