La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Music Information Retrieval Università degli studi di Padova Laurea specialistica in Informatica Corso di Sistemi Informativi Michele De Filippo De Grazia.

Presentazioni simili


Presentazione sul tema: "Music Information Retrieval Università degli studi di Padova Laurea specialistica in Informatica Corso di Sistemi Informativi Michele De Filippo De Grazia."— Transcript della presentazione:

1 Music Information Retrieval Università degli studi di Padova Laurea specialistica in Informatica Corso di Sistemi Informativi Michele De Filippo De Grazia Anno accademico

2 Music Information Retrieval Bibliografia J. Stephen Downie, Music Information Retrieval, University of Illinois J. Stephen Downie, Evaluating a Simple Approach to Music Information Retrieval: Conceiving Melodic N-grams as Text, University of Western Ontario Kjell Lemström, Pauli Laine, Musical Information Retrieval Using Musical Parameters, International Computer Music Conference 1998 Progetto MIREX:

3 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

4 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

5 Music Information Retrieval Introduzione Music Information Retrieval: tecniche di immagazzinamento e recupero di materiale musicale I sistemi MIR attuali si basano solo sui metadati testuali per adempiere ai propri compiti Ci si pone lobiettivo di andare oltre allutilizzo di metadati testuali Due filoni Recupero di file audio: indicizzazione e ricerca attraverso i metadati testuali allinterno dei file. Tecnica diffusa ma in un ambito molto ristretto Recupero di opere musicali generiche: indicizzazione e ricerca attraverso le caratteristiche musicali dellopera (multifaceted challenge) Problematiche Complessità nelle rappresentazione musicale Diritti dautore Assenza di uno standard di riferimento: necessità di una comunità di sviluppo di riferimento

6 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

7 Music Information Retrieval Multifaceted Challenge Aspetti della rappresentazione musicale Pitch Temporal Harmonic Timbral Editorial Textual Biblioraphic Ognuna gioca un ruolo importante nella definizione del dominio di un sistema MIR Grande complessità per linterazione esistente tra tutti questi aspetti Oggigiorno i più diffusi sistemi MIR trattano soltanto laspetto bibliografico (metadati)

8 Music Information Retrieval Multifaceted Challenge Pitch Lintonazione di una nota data dalla frequenza fondamentale del suono. Il pitch è rappresentato graficamente come dei simboli (,,…), nomi (A,B,…,G) o i gradi della scala (I,II,…,VII) Linviluppo melodico (variazione di toni) è laspetto più utilizzato dai sistemi MIR per indicizzare opere musicali (di solito le prime battute) Temporal Informazione che concerne alla durata dellevento musicale Molto importante perché interagendo con Pitch rappresenta completamente un tema musicale (note e la loro durata) Difficoltà nella rappresentazione per i molti aspetti temporali presenti in unopera Harmonic Rappresentazione delle polifonie ossia di più pitch suonati contemporaneamente Difficile estrazione dai file audio: spesso non sono denotati esplicitamente Esempio: gli accordi (rappresentati mediante sigle)

9 Music Information Retrieval Multifaceted Challenge Timbral Rappresenta il timbro sonoro dato dai differenti strumenti utilizzati nellopera musicale Spesso parte di queste informazioni fanno parte dellaspetto bibliografico Difficoltà nella rappresentazione per lenorme quantità di timbri diversi prodotti dalle tecniche esecutive (legato, pizzicato) Editorial Rappresentazione grafica degli spartiti, con laggiunta di informazioni utili per lesecuzione Textual Rappresentazione dellopera musicale attraverso un testo cantato (testi delle canzoni, cori,…) Maggior indipendenza dei testi dalle melodie e arrangiamenti Perciò posso avere ambiguità e di conseguenza maggior complessità: testi diversi associati alla stessa melodia, testo associato a melodie diverse, stessa melodia con testo in lingue diverse, ecc... Bibliographic Metadati sulla melodia (autore, titolo, esecutori,…) Unico criterio di indicizzazione utilizzato su larga scala Ricerche in atto per creare sistemi MIR che utilizzino anche altri aspetti

10 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

11 Music Information Retrieval Ulteriori Problematiche Oltre alle problematiche relative agli aspetti rappresentativi della musica, ne esistono altre Multirepresentational Challange Multicultural Challenge Multiexperiential Challenge Multidisciplinarity Challenge Laggiunta di questi ulteriori aspetti spiega la grande difficoltà nella realizzazione di un sistema MIR completo

12 Music Information Retrieval Ulteriori Problematiche Multirepresentational Challenge Esistono diverse scelte per la rappresentazione informatica della musica Da queste scelte dipendono la facilità di estrazione delle rappresentazioni interne e lo spazio richiesto per la loro memorizzazione Esempio: Spartito/MIDI bassi costi di immagazzinamento File audio onere molto maggiore Problemi di copyright per la creazione di un catalogo musicale Multicultural Challenge Linformazione musicale è per sua natura multiculturale Opere al di fuori del sistema tonale occidentale (musica indiana, tribale africana) richiederebbero uno studio approfondito per cercare altri aspetti rappresentativi Si cerca di superare ciò con informazioni aggiuntive allinterno delle informazioni bibliografiche

13 Music Information Retrieval Ulteriori Problematiche Multiexperiential Challenge La musica può essere catalogata anche secondo i gusti musicali e lesperienza personale Un ulteriore sviluppo di sistemi MIR potrebbe essere, la catalogazione delle opere musicali secondo considerazioni psico-acustiche sulleffetto emotivo prodotto sullascoltatore Esempio: attraverso feedback capire quando un brano è da considerarsi noioso oppure allegro Multidisciplinarity Challenge Allinterno di un progetto per realizzare un sistema MIR esiste un enorme diversità intellettuale Questo implica chiare difficoltà nel suo sviluppo, infatti eterogeneità tra i ricercatori e sviluppatori comportano Difficoltà nella definizione degli obiettivi e modalità operative Necessita di standard per indicizzare le opere (spartiti vs segnale campionato) Difficoltà nella diffusione della ricerca (diverse comunità con scarsa coesione)

14 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

15 Music Information Retrieval Sistemi MIR Una classificazione dei sistemi MIR viene fatta sulla loro completezza di rappresentazione Maggiore completezza comporta maggior numero di facet utilizzate per la rappresentazione Un sistema che utilizza tutte le facet elencate si dice completo Esistono due tipi principali di sistemi MIR che differiscono per completezza e per diversità duso Analytic/Production MIR System Locating MIR System

16 Music Information Retrieval Sistemi MIR Analytic/Production MIR System: caratteristiche Caratterizzato dal più alto grado di completezza rappresentativa Creato per utenti esperti: musicologi, compositori, trascrittori Ha lo scopo di analizzare approfonditamente tutte le facet musicali per specifiche analisi teoriche e produzione musicale (grana fine) Analytic/Production MIR System: tecniche Il suo sviluppo viene ricondotto da un problema di rappresentazione musicale ad un problema di programmazione o comunque ad una qualche tecnica già nota Tentativi di modellare linformazione musicale come linguaggio di programmazione (Kassler, Lincoln, Lemstrom) Sviluppo di linguaggi funzionali appositi (MIRA) per esprimere la rappresentazione musicale (Sutton) Estensione del modello ER utilizzando DB relazionali (Rubenstein) Utilizzo di espressioni regolari (McLeans) e automi a stati finiti (Page)

17 Music Information Retrieval Sistemi MIR Analytic/Production MIR System: strumenti Necessità di sviluppare uno strumento che sia in grado di realizzare i compiti standard di un sistema MIR (encoding, estrazione, pattern matching,…) Humdrum Toolkit cerca di realizzare tutto questo Composto da 50 programmi integrati tra loro (sviluppato per UNIX) Strumento potente in grado di gestire query di complessità arbitraria Grande flessibilità: creazione di query basate su diverse facet musicali Enorme complessità duso: necessità di scrivere le query nello stretto linguaggio formale UNIX Per questo sviluppato per utenti esperti extract –i**kern HG.kern | semits –x | xdelta –s = |patt –t Motivel –s = -f Motiv1.pat | extract –i**patt| assemble HG.krn

18 Music Information Retrieval Sistemi MIR Locating MIR System: caratteristiche Sviluppati per assistere lidentificazione locazione e recupero di brani musicali Creato per utenti generici Si focalizza solo su alcune facet musicali: Pitch, Temporal, Textual, Bibliograpich (grana grossa) Locating MIR System: tecniche (1) Query tipiche utilizzando solo informazioni testuali e bibliografiche Lista di tutte le opere di un dato compositore Lista delle informazioni correlate ad una data opera Per altre invece necessito della tecnica Incipit Index ovvero della rappresentazione dellinviluppo melodico privo delle informazioni temporali della prima parte dellopera Opera che inizia con una data linea melodica

19 Music Information Retrieval Sistemi MIR Locating MIR System: tecniche (2) Il sistema Incipit Index (1970) è incompleto, infatti la sua rappresentazione porta ad una ricerca solo per tema principale ma ha buoni effetti nella pratica (scrittura query semplice) Un esempio è lindice di Parsons (1975) Rappresenta linviluppo melodico utilizzando solo tre simboli: R (nota ripetuta), D (melodia discendente) e U (melodia ascendente). Trascura completamente lintonazione delle note ma ho una bassa probabilità di fare errori nella formulazione della query E anche possibile utilizzare non solo la parte iniziale ma tutta lopera

20 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

21 Music Information Retrieval Multifaceted Challenge e Sistemi MIR Ci sono vari modi in cui un sistema MIR gestisce singoli aspetti della rappresentazione musicale. In seguito ne vedremo alcuni a seconda dellaspetto trattato

22 Music Information Retrieval Multifaceted Challenge e Sistemi MIR Pitch e Temporal (1) RISM (1997) DataBase musicale composto da composizioni per autori Rappresentazione mediante Incipit Index focalizzata su pitch e durata Quindi rappresento soltanto la parte iniziale dellopera, codificata usando codici alfanumerici Plaine and Easie Codifica alfanumerica per i pitch Codifica numerica per la durata temporale Esempio: Il core vi dono da Cosi fan tutte (Mozart) Problematiche Difficoltà nellinterpretazione delle informazioni e nella formulazione delle query per la necessità di conoscere perfettamente la melodia e il linguaggio Per risolvere alcuni di questi problemi si è creato il sistema HyperBack che consente linserimento delle query utilizzando una interfaccia e una tastiera MIDI

23 Music Information Retrieval Multifaceted Challenge e Sistemi MIR Pitch e Temporal (2) MELDEX ( file MIDI documenti) Sistema MIR completo File MIDI reperiti dal Web utilizzando uno spider Usa rappresentazioni multiple per la singola composizione (spartito, file audio, MIDI) Modulo di ricerca con Query by Humming Ricerca sia utilizzando linviluppo melodico semplice (Parsons) sia il match esatto (con informazioni aggiuntive) Tecniche di programmazione dinamica aumentano laccuratezza della ricerca ma ad un considerabile costo computazionale Altri sistemi Utilizzo di n-grammi per rappresentare le melodie a cui applicare le classiche tecniche di IR

24 Music Information Retrieval Multifaceted Challenge e Sistemi MIR Harmonic Query con argomento larmonia della composizione musicale, che possono essere monofoniche o polifoniche (problema di formulazione) Difficoltà nel discriminare melodia e armonia in opere con forme composite (file audio) Spazio di ricerca per opere polifoniche multidimensionale Utilizzo algoritmi di pattern matching o n-grammi per ridurmi a problemi già noti Timbral Generalmente basato sul processare le melodie per estrarre i timbri in essa presenti Buoni risultati per opere monofoniche (un unico strumento) Ancora non esiste un buon strumento per discriminare gli strumenti in melodie composite

25 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

26 Music Information Retrieval MIREX MIREX (Music Information Retrieval Evaluation eXchange) è un progetto nato allinterno di Music-ir.org (comunità di sviluppo per sistemi MIR) che si pone lobiettivo di definire Un benchmark duso per la valutazione di sistemi MIR Metodologie standard per la valutazione dei risultati forniti da sistemi MIR La prima MIREX Conference si è tenuta a Londra, settembre 2005 Lo scopo è di confrontare lo stato dellarte degli algoritmi e sistemi esistenti migliorando gli aspetti relativi alla multidiscipinarietà

27 Music Information Retrieval Outline Introduzione Multifaceted challenge Ulteriori problematiche Sistemi MIR Multifaceted challenge e sistemi MIR MIREX Esempio di un semplice sistema MIR: il progetto MusiFind

28 Music Information Retrieval Il progetto MusiFind Progetto iniziato nel 1993 che aveva il compito di creare un sistema MIR per la raccolta e lestrazione di brani a partire da un catalogo musicale Ci soffermeremo solo alla parte del progetto relativa alla creazione e rappresentazione del catalogo musicale (indice) e dei risultati ottenuti Il primo passo fu di scegliere il formato con cui dovevano essere codificati i file iniziali La scelta cadde sui file MIDI Formato molto diffuso Codifica relativamente semplice e manipolabile Conosciuto da quasi tutti i ricercatori Il secondo passo fu di scegliere alcuni aspetti chiave sulla rappresentazione musicale Enfatizzare la recall sulla precision, quindi non inserire informazioni ritmiche nellindice, ossia si preferiva recuperare solo il brano rilevante (single label) Utilizzare intervalli (n-grammi) piuttosto che toni per la loro rappresentazione più generale

29 Music Information Retrieval Il progetto MusiFind Sono state definite alcune unità di misura e loro proprietà intervallo = la differenza tra due toni Un tono codificato secondo MIDI è un valore compreso tra [0..127] allora gli intervalli possibili saranno da -127 a +127 Questi sono troppi per poter indicizzare quindi nasce la necessità di dividerli in classi classi di intervalli = insieme di intervalli equivalenti Se partizioniamo linsieme di intervalli I in sottoinsiemi disgiunti I 1, I 2,…, I c tali che Ogni I i è chiamata una classe di equivalenza Ora definiremo una funzione di classificazione

30 Music Information Retrieval Il progetto MusiFind Funzione di classificazione Che converte lintervallo i nella sua classe di equivalenza Tale funzione viene creata ad hoc a seconda del tipo di classificazione Stringa melodica Data una sequenza di toni p 1, p 2, p 3,…,p n definiamo la sua corrispondente sequenza di intervalli come i 1, i 2, i 3,…i n-1 dove i j = p j+1 - p j (intervallo tra p j e p j+1 ) Data una sequenza di intervalli i 1, i 2, i 3,…i n-1 definiamo la corrispondente sequenza di classi di intervalli come C(i 1 ), C(i 2 ), C(i 3 ),…,C(i n-1 ) dove C è la funzione di classificazione

31 Music Information Retrieval Il progetto MusiFind Ora definiamo le features utilizzate per lindicizzazione Data una sequenza X = x 1, x 2, x 3,…, x n definiamo la sottosequenza di lunghezza k a partire dallelemento j come Allora data una sequenza di classi di intervalli S = c 1, c 2, c 3,…,c n possiamo definire allo stesso modo Queste sottosequenze saranno quindi le nostre features Possiamo finalmente scrivere la prima parte dellalgoritmo per generare tali features dalla collezione

32 Music Information Retrieval Il progetto MusiFind Algoritmo per la creazione delle features 1. Sia data una melodia = sequenza di toni di lunghezza n+1 2. Calcolo la sequenza di intervalli lunga n relativa alla melodia 3. Applico la funzione di classificazione C ad ogni intervallo producendo la sequenza di classi di intervalli relativa (lunga n ) 4. Estraggo tutte le sottosequenze di lunghezza k ( k arbitrario)

33 Music Information Retrieval Il progetto MusiFind Osservazioni Le sottosequenze non sono necessariamente distinte Se volessimo quindi costruire una tabella con tutte le sottosequenze di lunghezza k possibili, tale tabella dovrebbe avere c k entry (permutazioni lunghe k delle c classi) Se le enumeriamo da 0 a c k -1 possiamo definire una funzione che mapperà ogni singola sottosequenza in un valore di tale intervallo Sia data una sequenza di classi di intervalli S = s 0, s 2, s 3,…,s k-1 allora definiamo tale funzione come Possiamo allora utilizzare H per costruire le features finali, ossia sostituisco ogni sottosequenza con una sorta di impronta (univoca) che sarà utilizzata come chiave in una hash table

34 Music Information Retrieval Il progetto MusiFind Algoritmo per la creazione delle features (completo) 1. Sia data una melodia = sequenza di toni di lunghezza n+1 2. Calcolo la sequenza di intervalli lunga n relativa alla melodia 3. Applico la funzione di classificazione C ad ogni intervallo producendo la sequenza di classi di intervalli relativa (lunga n ) 4. Estraggo tutte le sottosequenze di lunghezza k ( k arbitrario) 5. Per ogni distinta sottosequenza lunga k applico la funzione H per generare i corrispondenti indici della hash table

35 Music Information Retrieval Il progetto MusiFind Ora è possibile scrivere lalgoritmo per generare un indice sulla collezione musicale (hash table) 1. Inizializzo la tabella in modo che a tutte le entry sia associata una lista vuota 2. Per tutti i file f (melodie) della collezione a. Per tutte le sottosequenze S di classi di intervalli lunghe k in f Calcola lindice i = H(S) Aggiungi il nome del file f (o un codice identificativo) alla lista della i -esima entry della hash table a meno che f non compaia già nella lista Quindi la lista associata allentry i rappresenta linsieme delle melodie che contengono al loro interno la sottosequenza S di classi di intervalli tale che H(S) = i

36 Music Information Retrieval Il progetto MusiFind A partire da questo algoritmo possiamo trovare anche la risposta ad una stringa query q 1. Creare tutte le sottosequenze di classi di intervalli lunghe k in q 2. Per ogni sottosequenza S a. Generare lindice i = H(S) della hash table b. Estrarre la lista di file associati all i -esima entry della hash table 3. Mantenere nella lista finale solo i file che compaiono in tutte le sottoliste Quindi ognuno dei file recuperati conterrà almeno una istanza di ognuna delle sottosequenze di classi di intervalli generate da q Non necessariamente conterrà q stessa, infatti le sequenze potrebbero non essere nellordine esatto Da questo fatto abbiamo due conseguenze Buona probabilità di recuperare molte melodie poco rilevanti (bassa precision) La melodia rilevante sarà recuperata (recall massima)

37 Music Information Retrieval Il progetto MusiFind Lo scopo finale di questo progetto era di capire gli effetti sul recupero delle melodie utilizzando gli n-grammi e lindicizzazione Prima di ciò cera la necessità di decidere quali valori assegnare a c (numero di classi di equivalenza) e l (lunghezza delle sottosequenze) in modo da non aumentare troppo la grandezza della hash table Inoltre si è deciso di utilizzare sottosequenze di lunghezza diversa per le query, non necessariamente uguale ad l Sottosequenze più lunghe di l l q = 5 e l = 4 q = and 2345 Linsieme finale sarà lintersezione delle liste risultanti Sottosequenze più corte di l l q = 4 e l = 6 q = i valori) Linsieme finale sarà lunione delle liste risultanti

38 Music Information Retrieval Il progetto MusiFind Furono scelte 4 combinazioni per c e l (creazione di 4 indici diversi) c=7 e l=6 (C7L6) con entry c=12 e l=5 (C12L5) con entry c=14 e l=5 (C14L5) con entry c=23 e l=4 (C23L4) con entry E tre lunghezze per le query 4, 6 e 8 (Q4, Q6, Q8) Collezione di 100 file MIDI Esperimento eseguito su query ricavate dalle melodie stesse Come parte iniziale della melodia Scelta random allinterno della melodia Il totale delle query eseguite per esperimento è (100 melodie x 4 indici x 3 tipi di query) Da questi esperimenti è stata poi calcolata la precision come P = 1/ n° di melodie recuperate

39 Music Information Retrieval Il progetto MusiFind Media fileMax n° fileN° queryPMedia P C7L6Q C7L6Q C7L6Q C12L5Q C12L5Q C12L5Q C14L5Q C14L5Q C14L5Q C23L4Q C23L4Q C23L4Q Risultati ottenuti utilizzando query ricavate dalla parte iniziale delle 100 melodie

40 Music Information Retrieval Il progetto MusiFind Media fileMax n° fileN° queryPMedia P C7L6Q C7L6Q C7L6Q C12L5Q C12L5Q C12L5Q C14L5Q C14L5Q C14L5Q C23L4Q C23L4Q C23L4Q Risultati ottenuti utilizzando query ricavate random allinterno delle 100 melodie

41 Music Information Retrieval Il progetto MusiFind Media fileMax n° fileN° queryPMedia P IConQ IConQ IConQ RConQ RConQ RConQ Risultati ottenuti utilizzando ricerca contigua su query ricavate sia allinizio sia random allinterno delle 100 melodie (medie sui 4 indici)

42 Music Information Retrieval Il progetto MusiFind Vediamo quindi il riepilogo dei risultati ottenuti Precision media per le query estratte allinizio delle melodie P=0.37 Precision media per le query estratte random dalle melodie P=0.40 Precision media per tutte le query non contigue P=0.38 Precision media per tutte le query contigue P=0.63 Miglior risultato ottenuto con la combinazione C23L4 Query non contigue P=0.53 Query contigue P=0.63


Scaricare ppt "Music Information Retrieval Università degli studi di Padova Laurea specialistica in Informatica Corso di Sistemi Informativi Michele De Filippo De Grazia."

Presentazioni simili


Annunci Google