Fondamenti di elaborazione multimediale

Scopo del modulo Introdurre aspetti concettuali e tecnici dei sistemi di elaborazione di dati multimediali

Sistema multimediale Un insieme di componenti hardware e software che consentono la produzione integrata di più media di diverso tipo.

Multimediale Multimediale: un sistema che si avvale di diversi tipi di media I sistemi multimediali digitali sono capillarmente diffusi, per esempio i DVD

Proprietà Proprietà di base dei media digitali: Facilmente riproducibili Alta qualità che si mantiene nel tempo Supporti di dimensioni piccole e facilmente trasportabili

Analogico Una grandezza analogica può assumere, in un dato intervallo, qualsiasi valore numerico. Es. teperatura

Digitale Una grandezza digitale può assumere, in un dato intervallo, solo determinati valori e non altri Termometro digitale o analogico?

Digitalizzazione - 1 Tutti i media per essere elaborati da un computer devono essere trasformati da quella che è la loro forma naturale, (analogica), in forma "digitale". Questo complesso processo è detto "digitalizzazione".

Digitalizzazione - 2 La digitalizzazione consente a segnali reali di essere convertiti in una sequenza di cifre manipolabili da un computer Per contro, l’apparato digitale deve ritrasformare la sequenza di cifre in una forma percepibile dall’uomo (forma analogica).

Digitalizzazione - 3

Media e percezione Ogni media è fisicamente esprimibile come un segnale: ci sono meccaniche fisiche di generazione, propagazione... Ci interessa capire come deve essere rappresentato un segnale per poter essere ricostruito in modo fedele. Ogni media è destinato all’uomo, che ha un sistema sensoriale specifico (che può essere sfruttato)

Media e percezione Tra tutti i media considerati nella composizione di un multimedia, il testo è quello che più facilmente si presta ad una rappresentazione digitale. Tutti gli altri media sono invece in maniera nativa analogici e dunque ci dovremo occupare di come trasformarli in versione digitale e viceversa.

Media Discreti I media discreti sono indipendenti dal tempo e possono essere scomponibili in sequenze di sotto-elementi che non sono temporizzabili. Il numero di byte necessari a memorizzare un media discreto non ha relazioni con la sua durata. Es: testo

Media continui I media continui sono dipendenti dal tempo. Es: audio, video, animazioni Il segnale varia con il tempo Il flusso di informazioni corrispondente ad un certo media digitale si misura in bit al secondo (bps, bits per secondo).

Segnali I media sono rappresentati da segnali, funzioni matematiche del tempo o dello spazio. Un esempio di segnale che varia sia nello spazio che nel tempo è quello che rappresenta il video, Per esempio dalla funzione f(x,y,t), dove x e y sono le coordinate spaziali e t è il tempo.

Digitalizzazione La digitalizzazione è il processo che trasforma un segnale analogico in segnale digitale. Le operazioni proprie della digitalizzazione sono essenzialmente due: il campionamento la quantizzazione.

Campionamento Per digitalizzazione di un segnale continuo, si intende la misurazione del valore assunto dal segnale ad intervalli discreti, ricavandone ogni volta un campione. Il numero di campioni in un intervallo di tempo è detto sampling rate, che esprime quante volte al secondo il campionamento è eseguito (frequenza).

Esempi di Frequenze

Valori reali e valori possibili I valori possibili per i segnali multimediali nel mondo reale sono infiniti (o comunque troppi) Es: quante tonalità di blu ci sono nel cielo? Quando un media viene digitalizzato i valori disponibili sono una quantità finita Ogni segnale digitale è rappresentato da valori "approssimati".

Quantizzazione Fissare i possibili valori di un segnale digitale. I livelli di quantizzazione devono essere fissati in modo tale da non alterare in modo sensibile il segnale originale. Es: Se scegliessimo di rappresentare il suono di una ottava di un piano con solo 8 valori, non potremmo rappresentare bemolli/diesis...

Audio: la quantizzazione

Frequenza e Ampiezza I segnali continui sono onde, descritti da frequenza e ampiezza A e B sono picchi, la frequenza misura il numero di picchi per secondo (Hertz) Ampiezza misura l'energia (A-B)

Valore di Nyquist È una frequenza di campionamento Garantisce una ricostruzione fedele (per un essere umano) solo se il segnale è stato campionato ad una frequenza maggiore del doppio della frequenza della componente del segnale di frequenza più alta". Esempio: se una certa onda ha una frequenza massima di 1.000 Hz, allora campionando al doppio, ovvero 2.000 volte al secondo

Sottocampionamento Sottocampionare, ovvero campionare a frequenza minore del valore di Nyquist, significa perdere informazioni e ottenere una ricostruzione del segnale imprecisa. Le conseguenze sulla percezione finale dipendono dalla natura del segnale nelle immagini si ottengono bordi confusi, nel video si nota il fenomeno di movimenti a strappi.

Sottoquantizazzione L’uso di un insufficiente numero di livelli di quantizzazione corrisponde all’incapacità di rappresentare tutte i possibili valori delle ampiezze. Nelle immagini annulla le differenze tra i colori della figura.

Compressione L’obiettivo è quello di generare un file compresso che abbia una dimensione minore del file originale. Compressione con perdita Compressione senza perdita

Suoni

Suoni Vibrazioni che si propagano nell’aria sotto forma di onde. Il numero delle vibrazioni che si propagano al secondo è la frequenza In base alla frequenza: Infrasuoni: da 0 a 20 Hz Udibile: da 20 Hz a 22 KHz Ultrasuoni: da 22 KHz a 1 GHz Ipersuoni: da 1 GHz a 10 THz

Digitalizzazione La scheda sonora è un dispositivo che: in input, collegata ad un microfono, campiona i suoni dall’esterno trasformando il segnale audio analogico in segnale audio digitale. in output, collegata alle casse, è in grado di riprodurre audio trasformando il segnale digitale in segnale analogico.

Input/Output audio digitale

La digitalizzazione dell’audio Il campionamento (o sampling) avviene misurando il segnale audio analogico ad intervalli discreti. Il numero dei campioni è detto sampling rate.

Esempi di Frequenze

Audio: la quantizzazione La quantizzazione consiste nel rappresentare ogni campione con un valore prefissato Più grande è il numero di valori numerici possibili (per ogni un campione) e più grande sarà il numero di bit necessari per rappresentarlo.

Audio: la quantizzazione

Dimensioni: la voce Le frequenze per la voce sono comprese in un intervallo di circa 4.000 Hz; dobbiamo campionare ad una frequenza che sia pari almeno al doppio, cioè a 8.000 Hz, quindi dobbiamo misurare il segnale 8.000 volte al secondo.

Dimensioni: la musica Consideriamo che le frequenze per la musica sono tutte quelle udibili comprese in un intervallo di circa 22.050 Hz; secondo il teorema di Nyquist dobbiamo campionare ad una frequenza che sia pari almeno al doppio e cioè a 44.100 Hz, ovvero dobbiamo misurare il segnale 44.100 volte al secondo.

Supporti digitali (a tecnologia ottica) I supporti di tipo ottico sono utilizzati per la memorizzazione di dati e sono di grande ausilio come supporti audio e video data la loro enorme capacità di memorizzazione dei dati. Le informazioni in essi contenute vengono memorizzate sottoforma di incisioni su uno strato di materiale in grado di riflettere la luce.

CD I Compact Disc (CD) sono supporti ottici di media capacità, disponibili su mercato a partire dagli anni ottanta e largamente utilizzati per memorizzare audio. Le informazioni possono essere memorizzate soltanto su uno solo dei due lati del CD. La capacità tipicamente offerta da questo tipo di supporto è di circa 650 Mbyte, ciò che serve a contenere circa 70 minuti di musica.

Compressione Le onde udibili sono in un intervallo di 22KHz Nyquist: dobbiamo campionare almeno 44KHz Quantizziamo a 16 bit (8 sono troppo pochi) In un CD (700M) ci stanno 70 minuti di musica Risulta evidente che i file audio hanno dimensioni molto elevate. Necessità di applicare una forma di compressione, per risparmiare spazio.

MPEG MPEG (Moving Picture Experts Group), si occupa di sviluppare algoritmi di compressione sia per i file audio che per i file video. Compressione percettiva (lossy) elimina informazione che influisce scarsamente sulla qualità della digitalizzazione Vari livelli di compressione: MP3 è il terzo di essi

Immagini

Immagini La grafica digitale può essere resa in due differenti modalità: Le immagini bitmap sono memorizzate attraverso griglie (o matrici) di punti colorati denominati pixel. Le immagini vettoriali sono invece rappresentate attraverso descrizioni matematiche degli elementi grafici che le compongono

Bitmap L’immagine digitale in formato bitmap è memorizzata come una griglia di NxM di punti La qualità dell'immagine dipende da: la sua risoluzione spaziale, che specifica la dimensione della griglia. la sua risoluzione cromatica, che definisce quanti e quali colori sono utilizzati.

Risoluzione spaziale Numero di punti per pollice (dpi, dot per inch) Più è elevato, più è fedele Es: 72dpi

Risoluzione cromatica 1 bit per pixel: monocromia 1 byte per pixel: palette di 256 colori 3 byte per pixel: true color (16 milioni)

Immagini vettoriali Le immagini vettoriali sono rappresentazioni grafiche definite attraverso descrizioni matematiche degli elementi che le costituiscono. Gli elementi di base della grafica vettoriale bidimensionale sono sostanzialmente elementi geometrici quali: punti, rette, poligoni e curve “particolari”.

Immagini vettoriali - esempi

Le trasformazioni

Bitmap v.s. Vettoriale – 1 Bitmap: si presta meglio alla visualizzazione su video in quanto il monitor è formato da una griglia Bitmap: rende con qualità maggiore immagini con un numero elevato di colori (fotografie) Bitmap: produce immagini piccole solo se si riduce la definizione o il numero di colori, ma proporzionalmente diminuisce anche la qualità

Bitmap v.s. Vettoriale - 2 Vettoriale: è più definita e di qualità maggiore Vettoriale: rende i file molto compatti, ma richiedono calcoli complessi per essere ricomposte. Bitmap: cambiando le dimensioni la qualità peggiora Vettoriale: cambiando le dimensioni di la qualità si conserva perché le immagini vettoriali sono scalabili senza perdite.

Video

Video - 1 Sistema di riproduzione di immagini in movimento. L’occhio umano percepisce una sequenza sufficientemente veloce di immagini statiche come se fosse un movimento continuo a causa di un fenomeno di persistenza delle immagini sulla retina, detto Persistence of Vision .

Video - 2 Nel digitalizzare il video si ripresentano tutte le tematiche relative alla digitalizzazione delle immagini: Per ogni fotogramma si devono definire risoluzione spaziale e risoluzione cromatica. Deve essere digitalizzato un numero di immagini al secondo sufficiente per sfruttare la P.O.V.

Video - 3 Alla traccia video è solitamente associata almeno una traccia audio e dunque vanno in realtà prese in considerazione anche le problematiche relative alla digitalizzazione dell’audio, in termini di campionamento e quantizzazione.

Frequenza di framing Teleconferenza: 10 frame al secondo. Il video è lento, con movimenti a scatti. Film muto: 16 frame al secondo. Il movimento non è fluido, con scarsa continuità. Televisione: 25-30 frame al secondo. Movimento fluido. Televisione ad alta definizione: 50-60 frame al secondo. Movimento fluido.

Compressione MPEG La compressione è effettuata su entrambe le dimensioni del video rimuovendo: la ridondanza spaziale la ridondanza temporale

Ridondanza spaziale Comprimere i singoli fotogrammi in modo che si riduca la quantità di byte necessaria a memorizzarli. La riduzione della ridondanza spaziale avviene attraverso meccaniche lossy (ovvero con perdita), basate su considerazioni di tipo percettivo. l’occhio umano è maggiormente sensibile alle variazioni di luce (dunque di luminanza) piuttosto che a quelle di colore (ovvero di crominanza),

La ridondanza temporale

DVD Il DVD (Digital Versatile/Video Disk) è un supporto digitale di tipo ottico molto più capiente rispetto al CD: può raggiungere infatti una capacità di 17 GByte, contro i 750 MByte offerti dal CD. Ciò grazie ad incisioni più fitte sulla superficie riflettente, alla possibilità di incidere su entrambi i lati e su due livelli, di diversa profondità, in modo tale che il laser possa focalizzarli entrambi.

Regional Code I DVD Video sono emessi con un codice, detto Regional Code che consente di controllarne la distribuzione, identificando l’area geografica in cui vengono venduti. I DVD prodotti con un certo Regional Code possono essere letti soltanto dai lettori DVD che vengono venduti nell’area geografica corrispondente. ll Regional Code 0 (zero) è leggibile in tutte le aree geografiche

Blu Ray Con l’avvento delle nuove tecnologie video ad alta definizione anche il DVD è stato superato, dal Blu-ray Disc, un supporto proposto originalmente da Sony (nel 2002) ed ora sostenuto da molti produttori Una singola superficie registrabile (ogni layer di ogni faccia) può contenere 25 GByte.

Flussi multimediali su Internet

Come fruire file multimediali in rete Esiste un primo gruppo di applicazioni che richiedono o che comunque privilegiano il download completo delle risorse multimediali Esistono applicazioni che non necessitano dello scaricamento completo delle risorse o che addirittura in alcuni casi non possono realizzarlo.

Streaming è utilizzato per la trasmissione di audio e video. l’applicazione ricevente comincia a mostrare il media continuo prima di averlo ricevuto completamente

Come funziona lo streaming L’applicazione sorgente inizia la trasmissione del flusso L’applicazione destinazione riceve il primo pacchetto dalla sorgente e prima di farlo ascoltare o di farlo vedere all’utente aspetta un certo periodo durante il quale accumula pacchetti che arrivano a destinazione. Terminato il periodo d’attesa, l’applicazione destinazione comincia il playout dei pacchetti che ha accumulato

Distribuzione di file multimediali su Internet

P2P una parte significativa della distribuzione di contenuti multimediali attraverso Internet avviene attraverso applicazioni P2P le applicazioni di rete possono essere basate su due modelli architetturali diversi: sistemi client/server Sistemi P2P

File Sharing L’utente reperisce la risorsa multimediale chiedendola ai peer che la possiedono e ne produce una copia locale Lo scaricamento può avvenire in parallelo da diversi peer

P2P: vantaggi tecnici la memorizzazione delle risorse si distribuisce tra i pari Le risorse vengono replicate e dunque se una copia non è più a disposizione è possibile trovarne un’altra equivalente altrove.

P2P I sistemi P2P rappresentano una modalità di reperimento di risorse multimediali a costi nulli o minimi che compete con le modalità tradizionali Dal punto di vista del diritto d’autore, questo tipo di copie è quasi sempre vietato Questo tipo di applicazione si è diffusa capillarmente e ha radicalmente cambiato il consumo globale di media digitali

Prima generazione: Napster Napster fu il primo sistema P2P usato in modo massivo per la distribuzione di file multimediali, ed in particolare di musica in formato MP3. Napster non usava un P2P puro ma utilizzava un sistema di server centrali che mantenevano la lista dei pari connessi e dei file condivisi. Le scambio di file avveniva invece direttamente tra pari.

Seconda generazione: Gnutella Gnutella, un P2P puro in cui non esiste server centrale e ogni pari, per individuare gli altri nodi e le risorse a disposizione, invia un messaggio di richiesta a tutti i suoi vicini. Ciascuno di questi rimbalza la richiesta a sua volta sui suoi vicini. Questo meccanismo, detto di diffusione limitata, si ripete fino a 7 volte.

Seconda generazione: Gnutella In considerazione della perdita economica derivante dal file sharing sono stati inaspriti i controlli nei confronti dei singoli utenti che condividono i file e questi hanno sentito l’esigenza di maggior anonimato nelle transazioni.

Terza generazione: Kadmlia e Freenet La terza generazione di sistemi P2P si propone di superare queste criticità della seconda generazione, modificando i meccanismi di base usati per la memorizzazione e la distribuzione delle informazioni tra i pari.

Freenet Un protocollo progettato per massimizzare l’anonimato dei pari che prevede una indicizzazione dei contenuti indipendente dalla loro localizzazione fisica. Rende impossibile determinare l’origine e la destinazioni dei dati che passano attraverso un pari e dunque quale pari ha fornito o ha scaricato un certo contenuto. E’ molto affidabile dal punto di vista dell’anonimato, ma poco efficiente in termini di velocità di trasmissione.

Bittorrent è un sistema di file sharing P2P ibrido progettato per rendere molto efficiente la distribuzione dei file. Il file non viene distribuito come unico elemento, ma come un insieme di tanti blocchi della stessa dimensione. Il trasferimento avviene un blocco per volta e l’applicazione Bittorrent che scarica si occupa di ricostruire il contenuto nella sua completezza.

Podcast Podcasting, è neologismo formato a partire dalle parole: iPod , il lettore MP3 portatile della Apple. In realtà non è assolutamente necessario utilizzare un iPod per fare podcasting Broadcasting , inteso come il tipo di trasmissione multimediale proprio della TV e della radio, il quale prevede un sistema trasmittente centrale che comunica in modo unidirezionale ad un insieme di sistemi riceventi non definito a priori.