Antonello DAguanno Music Information Retrieval - TOOLS.

Presentazione sul tema: "Antonello DAguanno Music Information Retrieval - TOOLS."— Transcript della presentazione:

1 Antonello DAguanno daguanno@dico.unimi.it http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt Music Information Retrieval - TOOLS

2 Problemi Presentati Pitch Tracking Beat Tracking Tempo Induction Score Extraction Genre Extraction Automatic Music Synchronization

3 Comprensione dellinformazione

4 Finalità degli Algoritmi Fornire informazioni oggettive (meta-dati) sul contenuto musicale di un determinato brano audio Stream Audio Algoritmo Meta Dati Low Level Features Analisi Musicale

5 Le Caratteristiche dei Segnali Audio In questo contesto i segnali audio sono caratterizzati da due differenti parametri: Numero di strumenti che suonano in un brano Monotimbrici Un solo strumento Politimbrici Due o più strumenti Numero di note presenti contemporaneamente in un brano Monofonici Una sola nota Polifonici Due o più note

6 Pitch Tracking Scopo dellAlgoritmo Estrarre il pitch da un segnale audio e fornire delle sequenze di dati che caratterizzino landamento del pitch rispetto al tempo Estrazione delle caratteristiche di basso livello Autocorrelazione Analisi dello spettro alla ricerca di strutture armoniche Risultati Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

7 Pitch Tracking Criticità Difficoltà nella segmentazione delle note Instabilità del pitch nei segnali vocali e in alcuni strumenti Analisi musicale e semplificazioni Sfruttare la teoria musicale per risolvere situazione di ambiguità ad esempio dando priorità alle note della tonalità Non riconoscere esattamente le note ma solo se il pitch aumenta, diminuisce o rimane stabile

8 Beat Tracking Scopo dellAlgoritmo Estrarre i beat da un segnale audio e fornire delle sequenze di dati che caratterizzino landamento dei beat rispetto al tempo, fornendo una analisi ritmica del segnale audio Estrazione delle caratteristiche di basso livello Filtraggi ad alte frequenze Analisi dello spettro Risultati Risultati commerciali per lindividuazione dei beat, problema aperto sulla valutazione della struttura e tessitura ritmica

9 Beat Tracking Criticità Non necessariamente è presente una sezione ritmica (batteria) Talvolta i beat non sono i punti più energetici del segnale Analisi musicale e peculiarità Sfruttare la teoria musicale per risolvere situazioni di ambiguità ad esempio una struttra ritmica che varia continuamente è poco probabile Si devono distinguere i sistemi real time da quelli off line. I primi non compiono analisi sulla struttura ritmica del brano

10 Tempo Induction Scopo dellAlgoritmo Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno dei pochi algoritmi sviluppati anche su segnali compressi Estrazione delle caratteristiche di basso livello Filtraggi ad alte frequenze Analisi dello spettro Risultati Risultati commerciali con applicazioni anche su software di editing

11 Tempo Induction Criticità La maggior parte dei brani non ha BPM perfettamente stabili, ma tendono ad oscillare Alcuni brani hanno BPM variabili È complesso riconoscere il tempo corretto senza confondere, ad esempio, quarti ed ottavi Analisi musicale e semplificazioni Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad esempio un tempo che varia continuamente è poco probabile

12 Score Extraction Scopo dellAlgoritmo Estrarre la partitura da un segnale audio Metodologie Autocorrelazione Analisi dello spettro … Risultati Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

13 Score Extraction Criticità Come riconoscere la segnatura di tempo? I timbri dei diversi strumenti sono molto differenti Separare gli strumenti con pitched da quelli unpitched La voce Le variazioni di tempo Un problema composto In generale lo score extraction può essere considerato come una sorta di contenitore che potrebbe contenere i problemi già visti più altri quali: separazione delle sorgenti, riconoscimento dei timbri e altri

14 Genre Extraction Scopo dellAlgoritmo Estrarre il genere da un segnale audio e riuscire a riconoscere differenti brani che appartengano ad uno stesso genere Metodologie Estrazione del pitch, del tempo, del beat, del timbro e altro Risultati Nessun Risultato commerciale, problema poco sensato su segnali monofonici e monotimbrici.

15 Genre Extraction Due approcci differenti Prescriptive approach: i generi possibili sono decisi a priori lalgoritmo deve scegliere in quale cluster inserire il brano in esame Similarity relations approach: lalgoritmo trova le canzoni simili e le pone allinterno dello stesso cluster, non esistono generi scelti a priori Osservazione Nel primo caso è oggettiva la classificazione per generi, mentre nel secondo sono oggettive le similarità tra i brani

16 Sincronizzazione Navigazione coerente audio partitura Ambito di ricerca affrontato nel MIR Soluzioni proposte solo su stream audio non compressi Stream Audio Partitura Partitura sincronizzata Sincronizzatore

17 Sincronizzazione Scopo dellAlgoritmo Sincronizzazione fine: per sistemi di navigazione interattiva e ricerche musicologiche Sincronizzazione generica: per sistemi che visualizzano la partitura e laudio coerentemente Estrazione delle caratteristiche di basso livello Analisi dellenergia Analisi dello spettro alla ricerca di strutture armoniche Risultati Risultati buoni su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

18 Sincronizzazione Criticità Note ribattute, abbellimenti, agogica Esecuzioni non pedisseque Analisi musicale Sono comunemente utilizzate tecniche DTW (Dinamic Time Warping) per porre in relazione caratteristiche della partitura con caratteristiche dellaudio

19 DTW Problema Costo computazionale molto elevato Necessarie euristiche