Antonello DAguanno Music Information Retrieval - AUDIO

MIR MIR (Music Information Retrieval) SCOPO: Permettere una maggiore interazione e fruibilità dellinformazione musicale. DEFINIZIONE: Area di ricerca multidisciplinare che coinvolge esperti in vari campi scientifici (informatici, fisici e altri), ma anche umanistici e musicali (musicologi, storici e altri).

MIR MOTIVAZIONI: Con lintroduzione dei formati audio compressi è enormemente cresciuto il numero di titoli presenti nelle varie collezioni Allaumento del numero di titoli disponibili non ha fatto seguito un relativo aumento nella gestione dei brani Il mercato musicale si sta frammentando dallalbum al singolo brano

Architettura MIR

MIR e EMD (1) Necessario distinguere 2 diverse tipologie di sistemi: MIR: Hanno lo scopo di fornire allutente informazioni su brani conosciuti o sconosciuti, permettendo un interazione rapida con il contenuto musicale. EMD (Electronic Music Distribution) : Sistemi per la distribuzione (vendita) di musica digitale, il loro scopo ideale è riuscire a fornire (vendere) ad ogni utente la musica che preferisce. In poche parole: MIR CONOSCENZA EMD VENDITA

MIR e EMD (2) Tipiche domande a cui dovrebbe poter rispondere un sistema MIR: Esempi di problematiche inerenti il singolo brano: Sai dirmi il titolo di quel brano che fa… Quante cover sono state fatte del brano… Esiste una versione live del brano… Esempi di problematiche legate ad intere compilation: Avrei bisogno di creare una compilation con brani melodici Per Natale vorrei un album con dei brani a tema Vorrei tutti i brani in cui è presente la tromba marina

MIR e EMD (3) Finalità di un sistema EMD: Attualmente il mercato della musica conta su oltre di titoli (dati 2004) Virtualmente ogni utente Internet può essere considerato un possibile fruitore di musica Gli utenti Internet superano i 600 milioni e continuano a crescere Come rendere accessibile questa grande quantità di dati al grande pubblico?

EMD Problematiche EMD: Dei 10 milioni di titoli presenti realmente solo l 1% è considerato realmente attivo I titoli attivi sono realmente i migliori? In un sistema ideale ogni utente dovrebbe trovare la musica che vuole realmente ascoltare, indipendentemente dalle conoscenza che ha!

Esempi di Sistemi EMD Amazons MP3 Store 2 sole modalità di ricerca 1 solo campo di ricerca

Funzionamento di Amazon DataBase contenente i meta-dati basilari (artista-titolo-album) alimentato non tramite analisi dei contenuti Query dellutente legate a questo set di meta-dati Raccomandazioni automatiche del sistema legate alle preferenze degli utenti precedenti PROBLEMA! I titoli più raccomandati saranno sempre quelli aventi maggior successo ovvero i più noti e famosi che raccolgono il maggior numero di click.

Esempi di Sistemi MIR Last.fm / Pandora (music recommender) Inizio della Navigazion e Valutazione positiva Valutazione negativa

Funzionamento di Last.fm / Pandora DataBase contenente oltre 100 meta-dati per ogni canzone relativi ai contenuti (in Pandora si parla di Music Genome) alimentato da ascoltatori esperti Query dellutente legate ad un brano/artista di partenza. Il sistema tramite analisi/confronto dei metadati considerati propone la canzone successiva Lutente può accettare o meno la raccomandazione. Il sistema ne terrà conto per le scelte successive PROBLEMA! Quanto costa far ascoltare i brani agli esperti? Cosa accade in caso di errore di Compilazione? (es. Exodus su last.fm)

Esempi di Sistemi MIR MiDoMi (Query by Humming) Inizio della navigazione tramite Voce Navigazione per associazione Inizio navigazione tramite tastiera

Funzionamento di MiDoMi DataBase contenente per ogni canzone i comuni meta-dati e una serie di registrazioni degli stessi utenti che cantano il brano in esame Il sistema confronta il brano cantato dallutente con il DB e seleziona i brani più simili proponendoli allutente Lutente individua il brano corretto tra quelli proposti dal sistema PROBLEMA! Cosa accade in caso un utente registri una canzone sbagliata? Lutente medio è in grado di valutare la qualità del suo cantato?

MIR e EMD (4) In generale possiamo distinguere 2 diversi scenari duso legati a questo tipo di sistemi: SCENARIO 1 Lutente vuole navigare allinterno del sistema per accrescere le proprie conoscenze musicali SCENARIO 2 Lutente vuole avere una risposta esauriente ad una domanda specifica

Amazon e Last.fm Rispetto agli scenari precedenti: Last.fm è focalizzato sullo scenario 1: un utente naviga allinterno del DB ascoltando brani proposti automaticamente, dando dei pareri sulle selezioni per istruire lalgoritmo di scelta dei brani. Molto difficile selezionare uno specifico brano. Amazon è focalizzato sullo scenario 2: un utente ha a disposizione dei parametri di ricerca molto stringenti per trovare in fretta ciò di cui ha bisogno. Molto difficile navigare nel sistema.

MidoMi MiDoMi è focalizzato sullo scenario 2: un utente ha a disposizione dei parametri di ricerca testuali e per contenuti (humming) per trovare in fretta ciò di cui ha bisogno. Poco utile navigare nel sistema. In realtà si naviga tra varie registrazioni fatte da altri utenti Primo esempio di sistema di ricerca per contenuti

Funzionamento dei Sistemi Esistenti I sistemi presentati sono tutti basati su meta-dati: Compilati dagli utenti Estrapolati tramite inferenza Non viene eseguita nessuna analisi sui contenuti audio del brano musicale

Hard-Way e Easy-Way (1) Due diverse possibilità per gestire linformazione musicale: Easy Way Le informazioni sui contenuti musicali possono essere generati tramite lanalisi compiuta da esperti Le relazioni tra i brani possono essere ottenuti tramite inferenza dal comportamento degli utenti In generale non viene eseguita nessuna analisi sui contenuti audio del brano musicale

Hard-Way e Easy-Way (2) Due diverse possibilità per gestire linformazione musicale: Hard Way Le informazioni sui contenuti musicali sono generati tramite lanalisi compiuta da algoritmi di DSP Le relazioni tra i brani sono anche loro ottenute tramite il risultato degli algoritmi di analisi In generale non sono necessari interventi umani per la comprensione dei contenuti del brano musicale

Hard-Way e Easy-Way Vantaggi e Svantaggi Costi di Sviluppo Costi di Mantenimento ValutazioneAffidabilità Easy Way Bassi Molto Elevati MediaBassa Hard Way ElevatiBassiMediaElevata

Comprensione dellinformazione

Comprensione Tutti i problemi e le informazioni contenute in un segnale musicale sono ben definite? Alcune si, altre no, altre solo in parte Qualche esempio legato allimmagine precedente durata, spettro, pitch, timbro Ben definite armonia, bpm, dinamica, ritmo Parzialmente definite genere, mood, similarità Poco definite

Sincronizzazione Navigazione coerente audio partitura Ambito di ricerca affrontato nel MIR Soluzioni proposte solo su stream audio non compressi Stream Audio Partitura Partitura sincronizzata Sincronizzatore