Componenti e tecnologie multimediali Andrea Vituzzi Cersi – Centro Ricerca Sistemi Informativi

Segnali multimediali Un segnale è una funzione che restituisce informazioni ed è in genere caratterizzata da trasformazioni spazio-temporali: temporali: - Segnale che varia nel tempo: Suono - Segnale che varia nello spazio: Immagine - Segnale in evoluzione spazio temporale: Video

Il multimediale con il termine“multimediale” si intende la possibilità di generare e percepire segnali contenenti informazioni di natura diversa I media più comuni sono il testo, il suono, la grafica, l’immagine fissa o in movimento Sistema multimediale distribuito è un sistema costituito da più calcolatori collegati tra di loro attraverso una rete di telecomunicazione che permette la cooperazione multimediale tra utenti remoti.

Real time streaming determinati media, come audio e video implicano una presentazione che si sviluppa lungo un certo intervallo temporale, tali media vengono per questo detti dinamici o real- time. Le tecnologie di streaming si preoccupano di risolvere i problemi relativi alla trasmissione di dati multimediali con caratteristiche real-time su Internet. il protocollo HTTP, non è nato per consentire la riproduzione di filmati in streaming ma solamente per servire file testuali e grafici I protocolli che supportano specificamente la trasmissione live di contenuti audio/video sono tre: l'RTSP (Real Time Streaming Protocol), l'RTP (Real Time Protocol) e l'RTCP (Real Time Control Protocol)

Servizi interattivi bidirezionali Scenari applicativi Servizi interattivi bidirezionali VoiP: trasmissione di voce in tempo reale su di una rete IP, conosciuta anche come Voice over IP (VoIP), -consente di effettuare chiamate internazionali al costo di una chiamata locale -software facilmente reperibile esempi di software VoIP sono: Microsoft NetMeeting, e VocalTec, Videoconferenza: connessione "dal vivo" tra persone che si trovano in luoghi diversi, - coinvolge sistemi audio e video - consente una comunicazione interattiva

Scenari applicativi Broadcasting Live (Webcasting) trasmissione via Internet di contenuti audio/video in diretta - es.: trasmissioni radio e tv sulla rete - problemi causati da ritardi, qualità audio scadente, Servizi on-demand consentono di visualizzare, contenuti multimediali che risiedono su di un server collegato ad Internet - es.: archivio filmati in rete

Streaming - live: trasmissione in diretta tecnologia in continua evoluzione che consente l’accesso a contenuti multimediali video/audio attraverso il Web Tipologie di streaming - live: trasmissione in diretta - on-demand: trasm. su richiesta

Streaming Software Microsoft Media Player Real Networks Apple Quicktime Darwin

Standard IETF Internet Engineering Task Force (IETF) fornisce agli sviluppatori una serie di specifiche standard ed open per la creazione delle applicazioni di streaming UDP Traffico real-time Nessuna ritrasmissione Fruizione dei dati man mano che arrivano a destinazione

Standard IETF RTP (Real Time Protocol) fornisce un supporto specifico per la trasmissione di flussi dati multimediali associa le informazioni relative alla temporizzazione ai dati trasportati, permettendo la ricostruzione alla destinazione del segnale audio e video. RTCP definito per verificare la qualità del servizio offerto insieme a RTP registra alcuni dati relativi alla trasmissione fornisce i mezzi per effettuare l'analisi della qualità del collegamento

Standard IETF RTSP (Real-Time Streaming Protocol) sviluppato da RealNetworks, Netscape Communications, e la Columbia University controlla i dati con funzionalità simili concettualmente a quelle di un videoregistratore Play, fast-forward, pause, stop, e record

Sincronizzazione In un sistema multimediale la Sincronizzazione si riferisce alle relazioni temporali tra oggetti di differenti tipi di media. Es: presentazione di slide in sincronia con il filmato di una lezione. Es: sincronizzazione fra audio e video in un filmato In presenza di più file multimediali diventa indispensabile effettuare la sincronizzazione ordinare temporalmente i file.

SMIL (Synchronized Multimedia Integration Language) Sviluppato dal W3C prima versione è stata rilasciata nel 1998 Il suo compito è, l'integrazione nelle pagine Web di suoni, filmati e testi in modo da manipolarli agendo grazie a specifici marcatori Come Html e Xml, Smil è un linguaggio a marcatori (e quindi non può essere definito un vero linguaggio di programmazione). Sintassi basata su XML

Trasmissione di Segnali multimediali I sistemi di telecomunicazione trasferiscono le informazioni da una sorgente ad una destinazione L‘informazione viene trasportata sotto forma elettrica Serve un trasduttore, alla sorgente, per trasformare l’informazione in un segnale elettrico (es. microfono) e a destinazione per effettuare l’operazione inversa (es. altoparlante) I fenomeni fisici reali generano segnali continui

Segnali multimediali Segnali analogici (continui): variano in maniera continua nel tempo Segnali digitali (numerici): insieme finito di valori presi a diversi istanti temporali Per consentire l’elaborazione da parte degli elaboratori elettronici occorre trasformare i segnali continui in segnali numerici Ali numeric

Segnali multimediali Le fasi per la trasformazione analogico->digitale sono: - Campionamento - Quantizzazione Campionamento: - consente la rappr. di un segnale continuo tramite un insieme di valori discreti - si misura il livello di ogni campione ad intervalli discreti. - il numero di campioni in un intervallo di tempo è detto sampling rate (ed è una frequenza,ovvero si misura in numero di volte al secondo).

Segnali multimediali Quantizzazione: - il campionamento genera valori di precisione virtualmente infinita - la quantizzazione arrotonda i valori introducendo perdita di informazione “rumore di quantizzazione” Es:

Produzione e percezione Segnali vocali Produzione e percezione Gli organi di fonazione comprendono i polmoni, le corde vocali e il tratto vocale; a seconda della loro posizione vengono prodotti diversi tipi di suoni. se le corde vocali non sono tese vengono emessi suoni sordi; se le corde vocali sono invece tese l’aria non riesce a fuoriuscire se non quando la pressione prodotta dai polmoni non riesca a vincere l’azione di chiusura dei muscoli che tendono le corde vocali.

Segnali vocali Tale azione crea vibrazioni la cui frequenza è misurabile con il numero di oscillazioni al sec (Hz) La frequenza Udibile (da orecchio umano): va da 20 Hz a 22 KHz Il parlato copre un sottoinsieme dell’udibile in particolare quello che va (circa) da 600 a 5 KHz

Segnali vocali Codifica La codifica audio rappresenta un insostituibile mezzo per la trasmissione e l’elaborazione di un qualunque segnale audio, la qualità di un segnale audio presente su un supporto digitale è proporzionale alla memoria occupata.

Approccio parametrico Segnali vocali Approccio parametrico utilizza le conoscenze della struttura del segnale vocale. Al lato di emissione avviene un’estrazione e codifica di opportuni parametri del segnale originario, una volta trasmessi consentono al lato ricezione di generare un segnale sintetico dotato di caratteristiche le più simili possibili a quelle del segnale originario. Es. GSM

Codificatori analisi per sintesi Segnali vocali Codificatori analisi per sintesi capaci di mantenere la qualità del discorso a bassi bit-rate (<10 kbit/sec e <4.8 kbit/sec) La voce passa attraverso un filtro che modella lo spettro del rumore, in modo da concentrarne la potenza alle frequenze centrali dello spettro del segnale vocale, mascherando così il rumore.

Segnali audio I suoni sono vibrazioni meccaniche che si propagano attraverso l'aria. La propagazione avviene sottoforma di un'onda longitudinale di compressioni e rarefazioni dell'aria. L’audio è un media continuo media continuo e dunque la digitalizzazione richiede il campionamento e la quantizzazione Il segnale campionato e quantizzato deve essere ricostruito per poter essere riprodotto.

Segnali audio - Campionamento Esiste una frequenza di campionamento (detta valore di Nyquist) che garantisce la ricostruzione fedele del segnale. Teorema Nyquist : Il segnale può essere ricostruito se è stato campionato ad una frequenza maggiore del doppio della frequenza della componente del segnale di frequenza più alta l’orecchio umano è in grado di percepire frequenze tra i 20Hz e i 22 KHz la frequenza di , campionamento massima per l’audio (limite di Nyquist) si pone attorno ai 44 KHz.

Segnali audio - Quantizzazione I campioni sono rappresentati da un valore I valori tipici per i livelli nel suono sono: 8 bit per valore pari a 256 valori e 16 bit per valore pari a 65536 valori (qualità CD) Il media è continuo, quindi la misura è in bps

Segnali audio Es. la musica Frequenza massima 22,05 kHz Si raddoppia (teorema Nyquist) 16 bit di codifica x ogni campione (2 byte) Considerando 2 canali si ottiene: 44100*16*2=1411200 bps =176400 Bps

Segnali audio Compressione Un brano di circa 3 minuti quindi occupa circa 35 MB. Per facilitare la trasmissione in rete di flussi multimediali (sia audio e che video) si ricorre ad algoritmi di compressione tipo source encoding e lossy

Segnali audio – MP3 sistemi di compressione (lossy source encoding) di particolare successo sono quelli proposti da MPEG (Moving Pictures Experts Group) con MPEG Audio si indicano gli algoritmi di compressione audio, che si distinguono in tre livelli (layer I, II e III) Il layer III è comunemente detto MP3. MP3 è un algoritmo di compressione con perdite

Segnali audio – MP3 lo scopo è : quello di produrre un segnale che suoni come l’originale, pur essendo differente come forma d’onda. riduce la risoluzione dei campioni e non lavora sulla frequenza di campionamento Si avvale di operazioni losses (codifica Huffman) e di altre lossy (mascheramento, sfruttamento ridondanze stereo, bit rate variabile)

Segnali audio – MP3 Mascheramento: Elimina le informazioni non necessarie in quanto non udibili dall’uomo Sfruttamento ridondanze stereo: elimina le ridondanze tra i due canali stereo Bit rate variabile: consente di scegliere il livello di compressione da applicare (da 16 bps a 300 Kbps) 128 Kbps è il più usato

Le immagini - Rappresentazione Segnale che varia nello spazio Un immagine digitale può essere rappresentata : - per punti Immagine rappresentata come una griglia di punti Il valore di ogni pixel memorizzato singolarmente - in formato vettoriale descritta da un insieme di linee e forme

Immagini - Bitmap Le immagini bitmap sono costituite da una matrice di punti ciascuno dei quali è associato ad un colore. I punti sono denominati pixel. Le immagini bitmap sono caratterizzate da: Risoluzione spaziale Risoluzione cromatica La risoluzione numero di punti per pollice ( Il dot per inch, dpi)

Immagini vettoriali Le immagini vettoriali sono costruite da descrizioni matematiche di uno o più elementi grafici. I vettori sono definiti da: - un punto di partenza, un punto di partenza, - una lunghezza - una direzione; Nessuna informazione va perduta nelle trasformazioni non possono essere usati facilmente per codificare immagini reali

Immagini - Formati TIFF (Tagged Image File Format): formato bitmap supportato da quasi tutte le applicazioni grafiche, molto utilizzato perché consente di scambiare file tra programmi e piattaforme diverse. JPEG (Joint Photographic Experts Group) formato con compressione lossy. 24 bit x pixel true color. Indicato per memorizzare immagini fotografiche GIF (Graphic Interchange Format) Metodi di colore: 256 colori con palette non adatto a immagini di tipo fotografico PNG utilizza stessa compressione di GIF ma con versione non brevettata consente true color

Codifica DCT (Trasformata Discreta del Coseno ) Alla base della compressione JPEG Non comporta perdite di informazione significative Rientra nella categoria della codifica a blocchi, l’immagine viene codificata analizzando un intero blocco, generalmente di 8  8 pixel

Video – Compensazione del moto La compensazione del moto è la principale tecnica di compressione dello standard MPEG. Sfrutta le somiglianze esistenti tra frame successivi (ridondanza temporale) trova per ogni macroblocco la sua migliore predizione (best match) nel frame di riferimento

Video - MPEG Lo standard MPEG video ente che sviluppa MP3 (Moving Picture Experts Group) . versioni: MPEG-1 1988 MPEG-2 1990 MPEG-4 1998 MPEG-7 2000...

Video – MPEG 1 La compressione è effettuata rimuovendo: Ridondanza spaziale compressione dei singoli fotogrammi (JPEG) Ridondanza temporale: compressione che sfrutta le relazioni tra i diversi fotogrammi, per rimuovere informazioni ridondanti qualità del filmato paragonabile a quella di un videoregistratore VHS.

Video – MPEG 2 E’ scalabile: prevede diversi profili con diverse qualità adatti ad applicazioni differenti e diversi livelli di compressione per ciascun profilo. Offre la possibilità di gestire differenti aspect-ratio (tra cui il 16:9 WideScreen) E’ adatto alla trasmissione streaming. Mantiene informazioni sull’origine del materiale video

Video – MPEG 4 Introduce il concetto di VOP (Video Object Planes), in cui ogni parte della sequenza video di ingresso viene divisa in un numero di regioni con immagini di forma arbitraria. Il singolo oggetto audiovisivo può essere sia sintetico che naturale. Ogni oggetto può essere manipolato dall'utente in ogni sua caratteristica La codifica di ogni oggetto riporta le sue caratteristiche essenziali

Compressione Huffman Ideato nel 1952 dal matematico D.A. Huffman Metodo di compressione senza perdita gli elementi che si ripetono frequentemente sono identificati da un codice breve,gli elementi rari nel file originale ricevono nel file compresso una codifica lunga è tanto più efficace quanto più ampie sono le differenze di frequenza degli elementi del file originale,

Compressione Huffman Albero di Huffman - alla base gli elementi più rari - elementi frequenti vicini alla radice - il codice ident. di ogni elemento è, partendo dalla radice, 0 se si va verso il figlio di sinistra e 1 se si va verso quello di destra - es..: b=01

Compressione LZW è il risultato delle modifiche apportate nel 1984 da Terry Welch ai due algoritmi sviluppati nel 1977 e nel 1978 da Jacob Ziv e Abraham Lempel, permette di comprimere archivi di dati sfruttando la ricorsivita' delle stringhe relative alle informazioni in essi contenute. Viene creato un dizionario delle stringhe di simboli ricorrenti nel file, costruito in modo tale che ad ogni nuovo termine aggiunto al dizionario sia accoppiata in modo esclusivo un'unica stringa. Esiste un dizionario di partenza costituito dai 256 simboli

Qualità di servizio (QoS) I servizi dei sistemi multimediali possono essere misurati in base a certe caratteristiche che essi forniscono, con lo scopo di offrire servizi flessibili e personalizzati. In generale la QoS definisce quanto buoni sono i servizi offerti. La rete di trasmissione dati offre qualità di servizio quando è in grado di trattare il traffico prodotto da particolari applicazioni in maniera tale da soddisfarne le richieste.

Qualità di servizio (QoS) La qualità di servizio permette quindi di offrire a flussi di dati diversi una gestione diversa . La qualità di servizio deve essere presente lungo l’intero percorso del flusso dati (end to end).

Qualità di servizio (QoS) Parametri QoS Ritardo della creazione di connessione Probabilità di fallimento nella creazione di una connessione Capacità (Throughput): numero di byte trasferiti in un secondo Ritardo di trasmissione (Transit Delay): tempo trasmissione-ricezione

Qualità di servizio (QoS) Tipologie di servizi in base a differenti QoS Guaranteed Guaranteed Forniscono garanzie di QoS in base ai valori di certi specifici parametri considerati Predictable Predictable Services In alcuni casi non si è in grado di fornire garanzie ma si può comunque offrire una stima dei valori dei parametri di QoS Best effort Service Non sono fornite garanzie oppure solo garanzie parziali. Non vengono specificati i parametri di QoS.