Formati video

Video come sequenza di immagini Un segnale video può essere visto come la rapida successione di immagini statiche Se le immagini vengono visualizzate con una cadenza sufficientemente rapida, il moto degli oggetti appare fluido

Standard televisivi Un qualsiasi filmato è costituito da molte fotografie (fotogrammi o frame) messe in rapida sequenza. I classici televisori (ed anche i monitor per PC) hanno un rapporto larghezza/altezza dell’immagine (aspect ratio) 4:3. Ogni immagine trasmessa in TV è costituita da 30 (o 29.97 per i dispositivi a colori) frame al secondo (fps) se lo standard usato è NTSC (America del Nord e Giappone) o 25 fps se lo standard è PAL (Europa, Africa Orientale, India, Australia, Cina).

Standard televisivi Ogni singolo frame è interlacciato, ovvero costituito da due ‘mezze immagini’ (half frame o campi) che appaiono e si combinano molto velocemente formando l’intero fotogramma; ogni half frame è costituito da righe alternate, uno contenente le righe dispari, l’altro quelle pari.

Standard televisivi I recenti schermi panoramici hanno un rapporto larghezza/altezza 16:9 ed una più ampia superfice visiva orizzontale (1920 punti-immagine o pixel). Nelle TV 4:3 l’altezza dell’immagine è costituita da 480 linee visibili (NTSC) o 576 (PAL).

Pellicole cinematografiche Per i film di Hollywood sono usate pellicole da 35 mm con aspect ratio 4:3 ad altissima risoluzione, sulle quali sono impressi 24 fotogrammi al secondo. Per vedere su TV NTSC un film girato a 24 fps bisogna modificare il suo framerate in 30 fps. Questo processo si chiama 3:2 pulldown e viene effettuato tramite una macchina chiamata Telecine  Il procedimento inverso (NTSC/PAL a FILM) per creare video a 24 fps è detto Inverse Telecine.

Compressione dati video Per la visualizzazione di dati video compressi è sufficiente avere a disposizione un decoder Per la creazione di bitstream, è necessario avere a disposizione un encoder Per garantire l’interoperabilità, ovvero che lo stesso bitstream possa essere letto correttamente da più dispositivi, si definisce uno standard

Compressione dati video In assenza di compressione, la dimensione dei file video è notevole. Ad esempio: video a scansione interallacciata (ad. es TV): 720 punti / linea 576 linee (288 linee pari, 288 linee dispari) 50 semiquadri al secondo 3 byte / pixel (RGB) 720 x 288 x 50 x 3 = 31.104.000 byte / sec  c.a. 31 Mbyte/sec  c.a. 250 Mbps

Compressione dati video 2h di film occupano (se non compressi): 2x60x60x31 = 223.200 Mbyte  c.a. 223 Gbyte Un DVD ha una capacità di c.a. 4.5 GB  per memorizzare un film a risoluzione standard su DVD c’è la necessità di un fattore di compressione pari a 223 / 4.5 = 50

Compressione dati video Codifica intra-frame: codifico ogni frame come un immagine fissa E’ la tecnica usata da molte fotocamere compatte, che salvano i filmati ripresi in formato Motion-JPEG (ogni frame è compresso con JPEG) Si è in grado di ottenere rapporti di compressione dell’ordine 10-20 senza eccessiva perdita di qualità Per mettere un film su DVD abbiamo bisogno di un rapporto di c.a. 50...

Compressione dati video Codifica inter-frame: codifico ogni frame utilizzando la conoscenza delle immagini precedenti Frame consecutivi in una sequenza di immagini sono simili l’uno all’altro Codifico solo ciò che c’è di nuovo in un frame rispetto al frame precedente E’ possibile ottenere rapporti di compressione di 50:1 fino a anche a 100:1 senza un degrado eccessivo della qualità

Codifica inter-frame

Video codec I codec che hanno trovato maggiore diffusione sono stati sviluppati da due organismi di standardizzazione: MPEG(Movie Picture Expert Group) ITU-T(International Telecomunication Union -Telecommunication StandardizationSector) Sia MPEG e ITU-T hanno sviluppato nel corso degli ultimi 20 anni diversi standard, con l’obiettivo di massimizzare la compressione per un certo livello di qualità dell’immagine. Ciascuno standard definisce una “lingua” con una sua sintassi ben precisa, che può essere compresa solo da un decoder che la supporti.

MPEG: suddivisioni Ogni standard MPEG è suddiviso in parti, e ogni parte è suddivisa a sua volta in livelli (layer). Ogni parte corrisponde ad un documento, che tratta aspetti specifici dello standard. Le prime cinque parti degli standard MPEG-1 ed MPEG-2 sono identiche; MPEG-2 aggiunge ulteriori cinque parti, risultando suddiviso in totale in dieci parti.

MPEG: standard Standard MPEG MPEG-1: (1992) MPEG-2: (1994) VideoCD (l’equivalente digitale del VHS), supportato dalla maggior parte dei lettori DVD MPEG-2: (1994) DVD, SVideoCD, TV broadcasting (satellitare, terrestre, cavo) MPEG-4 Part 2(1998) Internet streaming, broadcast DivX, Xvid, FFMpeg sono diverse implementazioni software di MPEG-4 Part 2

MPEG: standard MPEG-4 Part 10 (2003) Noto comunemente come AVC (Advanced Video Coding) oppure H.264 Tenderà a sostituire tutti gli standard precedenti Adottato in innumerevoli prodotti commerciali: BlueRay Disc, iPhone, PSP, QuickTime, etc.

ITU-T: standard Standard ITU-T H.261: (1990) H.263: (1996) Sistemi obsoleti di video-conferenza su reti telefoniche H.263: (1996) Video conferenza, Videotelefonia, video streaming su internet H.264:(2003) E’ uguale a MPEG-4 Part 10

Codec proprietari Esistono poi codec proprietari, sviluppati individualmente da aziende private per i propri prodotti Microsoft WMV (Windows Media Video) WMV7,8,9 (Windows Media Player) VC-1 (BlueRay Disc) RealNetworks RealVideo Real Player Xiph.org foundation Theora Part of the Ogg project Open source, royalty free codec inspired to (and competing with) MPEG-4 ...

Multimedia container Il video è quasi sempre accompagnato dall’audio Il Container è un formato di file: Descrive cosa può essere immagazzinato nel file Definisce come viene codificato il suo contenuto (ma per lo stesso container, i dati possono essere codificati con codec diversi) Il Multimedia container (ad es. Il formato .AVI) descrive cosa può essere immagazzinato in un file: Dati video Dati audio Sottotitoli Ecc.

Multimedia container E’ possibile che un programma che sia in grado di aprire un file scritto in un certo formato non sia capace di decodificare i dati contenuti Capita, ad esempio che il lettore multimediale sia in grado di aprire un file, ma di riprodurre solo l’audio o il video. Ciò significa che un il lettore riconosce correttamente il tipo di file, lo apre, ma non ha a disposizione il codec in grado di interpretare i dati audio o video in esso contenuti.

Multimedia container I più comuni multimedia container sono: 3GP (.3gp, .3g2): usato nel campo della telefonia AVI (.avi): il formato standard nei sistemi operativi Windows MOV (.mov): usato da Apple Quick Time OGM: Ogg Media, standard video container usato dai codec Xiph.org RealMedia (.rm): usato da RealPlayer VOB (.vob): usato nei DVD DMF (.divx): DivX Media Format

MPEG: overview MPEG exploits temporal (i.e frame-to-frame) redundancy present in all video sequences. Two Categories: intra-frame and inter-frame encoding Intra: DCT based compression for the reduction of spatial redundancy Inter: Block-based motion compensation for exploiting temporal redundancy Causal (predictive coding) current picture is modeled as transformation of picture at some previous time Non-causal (interpolative coding) uses past and future picture reference

MPEG: motion representation Predictive and interpolative coding Good compression but requires storage Often makes sense for parts of an image and not the whole image. Each image is divided into areas called macro-blocks (motion compensation units) Choice of macro-block size is a tradeoff between gain from motion compensation and cost of motion estimation. In MPEG, each macro-block is partitioned into 16x16 pixels for luminance and 8x8 for each of the chrominance components.

MPEG: video processing MPEG stream includes 3 types of image coding: I-frames - Intra-coded frames - access points for random access, yields moderate compression P-frames - Predictive-coded frames - encoded with reference to a previous I or P frame. B-frames - Bi-directionally predictive coded frames - encoded using previous/next I and P frame, maximum compression Motivation for types of frames Fast random access More efficient coding scheme Temporal redundancies of both previous and subsequent pictures must be exploited

MPEG: video processing

MPEG: video decoding Using B-frames, the order of images in a MPEG-coded stream differs from the actual decoding order. Display Order: Type of frame: B B I B B P B B P Frame Number: 0 1 2 3 4 5 6 7 8 Decoding Order: Type of frame: I B B P B B P B B Frame Number: 2 0 1 5 3 4 8 6 7

MPEG: I-frames I-frames (intra-coded images) are self-contained without any references to other images  can be treated as still images. Need efficient compression scheme Compression must be executed in real-time  compression of individual frames must occur within a requested time interval. As only spatial compression is used low compression ratio when compared to other MPEG frames I-frames are points for random-access in an MPEG stream.

Compression for I-frames Use 8x8 blocks defined within a macro-block Perform DCT on these blocks Quantization is done by a constant value for all DCT coefficients.

MPEG: P-frames P-frames (Predictive Coded Frames) require information of the previous I-frame and/or previous P-frames for encoding and decoding. Motion estimation method at encoder: Methods that are computation intensive often give better results. Tradeoff b/w cost and video quality. MPEG does not specify a motion estimation method, it specifies the coding of the result.

MPEG: compression for P-frames

MPEG: compression for P-frames Look for match window within search window Match window corresponds to macro-block Search window corresponds to arbitrary window size Larger search window, better motion estimation

Matching methods Matching methods SSD (Sum of squared differences) subtract pixel by pixel square the residuals sum them find minimal SSD correlation among matching windows. SAD (Sum of absolute differences) correlation is absolute value of residuals can deal with outliers - In SSD, one bad point gives large difference which skews the decision of picking correct match windows.

MPEG: B-frames B-frames (Bidirectionally predictive coded frames) requires information of previous and following I and/or P frame