Network Musical Performance: RTP MIDI Lezione 15 Network Musical Performance: RTP MIDI Programmazione MIDI (Prof. Luca A. Ludovico)

Network Musical Performance Obiettivo: permettere a musicisti geograficamente distribuiti di interagire e suonare assieme via rete Problema: latenze (o ritardi) Insite nella produzione fisica del suono (velocità di propagazione nell’aria v = 344 m/s) Introdotte dal sistema informatico, che si sovrappone a quelle di natura precedente Catena di acquisizione Propagazione dei pacchetti in rete Catena di riproduzione Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Esempi Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Esempi di latenza di rete Trasmissione di un pacchetto su rete dedicata Da Berkeley a Stanford Distanza: 40 miglia Latenza simmetrica: 2.1 ms Similitudine: musicisti a 0.72 m di distanza Da Berkeley a Caltech (California) Distanza: 375 miglia Latenza simmetrica: 14.2 ms Similitudine: musicisti a 4.88 m di distanza Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Cuffie e microfono minimizzano la propagazione del suono nell’aria Minimizzare i ritardi Cuffie e microfono minimizzano la propagazione del suono nell’aria Schede audio con Direct Memory Access minimizzano i ritardi di buffering interni alla macchina Non usare compressione minimizza il ritardo algoritmico Però… Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Minimizzare i ritardi: aspetti fondamentali Formato dell’informazione inviata Compresso o non compresso? Audio o performance? Caratteristiche fisiche della rete e suo utilizzo Rete dedicata e banda disponibile Distanze Numero di host e congestionamento Protocollo di trasporto su rete: affidabilità o velocità? Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Livello di trasporto: TCP vs UDP L'oggetto della comunicazione di TCP è il flusso di byte mentre quello di UDP è il singolo datagramma UDP non offre nessuna garanzia dell'arrivo dei datagrammi né sul loro ordine di arrivo (best effort) TCP garantisce la consegna ordinata dei dati, anche se al costo di un maggiore overhead meccanismi di acknowledgement e di ritrasmissione su timeout UDP invia solo i datagrammi richiesti dal livello applicativo TCP è un protocollo orientato alla connessione per stabilire, mantenere e chiudere una connessione è necessario inviare pacchetti di servizio i quali aumentano l'overhead di comunicazione. Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

La sfida di una Network Musical Performance Contesto: reti su cui non sia praticabile lo streaming audio, a causa della limitazione della banda, del congestionamento e delle garanzie sulla qualità del servizio. In una rete di questo genere, smarrimento di pacchetti e ritardi nella consegna sono inevitabili. Obiettivo: ricreare performance geograficamente distribuite senza introdurre eccessivo ritardo (non tollerabile per un musicista) senza generare artefatti o smarrire eventi di fondamentale importanza nella performance Soluzione: utilizzare UDP per veicolare informazioni di performance (e non audio) in real time Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

MIDI in tempo reale su rete Consentire performance live geograficamente distribuite con feedback per gli esecutori Far comunicare via rete (cablata o wireless) dispositivi per la produzione e la gestione del suono in formato MIDI Promuovere il MIDI a formato standard per la sonorizzazione su Internet in contesti caratterizzati da poca banda disponibile Aggiungere una sonorizzazione MIDI ad applicazioni multimediali quali web conference Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Sezione 15.1 RTP MIDI Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Il protocollo RTP (Real Time Protocol) Standard per trasportare stream multimediali su reti IP Adatto: per applicazioni interattive che richiedono bassa latenza per applicazioni di trasporto di contenuto L’informazione viene suddivisa in pacchetti Progettato per funzionare sia con UDP (interpretazione prevalente) sia con TCP E’ estensibile: è sufficiente definire un nuovo formato per il “payload” Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Formato del pacchetto RTP Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Numerazione dei pacchetti e timestamp in RTP I pacchetti sono numerati con un valore incrementale a 16 bit. Il destinatario può accorgersi dello smarrimento di un pacchetto quando rileva un gap nella sequenza dei numeri d’ordine. I pacchetti presentano un timestamp a 32 bit che rappresenta il primo istante di codifica del pacchetto. Il timestamp lavora in riferimento a una frequenza stabilita in fase di setup del protocollo. Esempio: fissata f = 44100 Hz, all’istante t = 2 s corrisponde timestamp = 88200 Esempio: fissata f = 1 Hz, all’istante t = 5 s corrisponde timpestamp = 5 Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Altri campi del pacchetto Altri campi riguardano la specifica RTP Ad esempio, il campo V (2 bit) serve a specificare la versione del protocollo in uso. Al momento, la versione più recente è la 2 (codifica 012) Documenti ufficiali: RFC 1889 (http://www.ietf.org/rfc/rfc1889.txt) RFC 3550 (http://www.ietf.org/rfc/rfc3550.txt) Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

RTP MIDI Proposta di protocollo standard per la trasmissione di messaggi MIDI in pacchetti RTP su reti non affidabili Problemi dovuti a latenza o smarrimento di pacchetti: introduzione di artefatti Transienti (ad esempio, smarrimento di un NoteOn) Indefiniti (ad esempio, smarrimento di un NoteOff o di un MIDI Control Change per il controller 7 – Channel Volume) Obiettivo: minimizzare gli artefatti transienti ed eliminare quelli indefiniti, ma senza trasmissione di pacchetti di acknowledgment dal destinatario al mittente Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Formato del payload RTP MIDI Il payload è la parte estensibile di un pacchetto RTP. Ciò che caratterizza il protocollo RTP MIDI è il payload. Il formato del payload mappa uno stream di comandi MIDI su uno stream RTP 16 voice channels system commands In generale, il payload è strutturato nel seguente modo: header MIDI list, ossia coppie (Delta Time, comando), eventualmente con codifica Running status Recovery Journal (opzionale) Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Formato del payload RTP MIDI: campo LEN Il campo LEN ha lunghezza variabile e specifica la lunghezza della MIDI list. La sua lunghezza dipende dal flag B (vedi slide successiva) Se ha un valore non nullo, questo è il numero di ottetti (ossia di gruppi di 8 bit = 1 byte) che compongono la MIDI list. Può essere nullo, in tal caso la MIDI list è vuota. Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Formato del payload RTP MIDI: flag B se B = 0, allora LEN ha dimensione 4 bit e la MIDI list è fatta di massimo 15 ottetti Modalità pensata per applicazioni interattive: un comando MIDI per pacchetto minimizza la latenza di codifica se B = 1, allora LEN ha dimensione 12 bit e la MIDI list è fatta di massimo 4095 ottetti Modalità pensata per applicazioni di streaming, con molti comandi MIDI per pacchetto in modo da minimizzare gli overhead dell’header e del journal (vedi più avanti) Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Formato del payload RTP MIDI: MIDI list Strutturazione della MIDI list Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Codifica dei tempi delta tra comandi MIDI Il tempo delta fa riferimento al timestamp base del pacchetto RTP La codifica dei tempi delta tra comandi in un singolo pacchetto è una versione modificata della specifica SMF, usando da 1 a 4 ottetti per codificare valori su 32 bit. Un esempio di codifica e decodifica è mostrato alla slide successiva. Tutti gli istanti iniziali dei comandi nel pacchetto n devono precedere il timestamp del pacchetto n+1. Codifica comoda per trascrivere da SMF, meno per convertire da temporizzazione implicita (ad es. i comandi che passano su cavo DIN) Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Codifica dei tempi delta tra comandi MIDI Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)

Formato del payload RTP MIDI: flag Z Se Z = 1, la MIDI list è strutturata come una sequenza di coppie ordinate (Delta Time, Comando) se Z = 0, allora il primo campo Delta Time è assente dalla MIDI list e il primo comando viene eseguito al tempo del timestamp RTP Il caso Z = 0 è tipico quando si codifica un singolo comando MIDI per pacchetto. In tal caso è sufficiente il timestamp. Programmazione MIDI (Prof. Luca A. Ludovico) 15. RTP MIDI (parte 1)