Audio e video 3D Roma, 3 dicembre 2013. Agenda Tecnica olofonicaTecnica olofonica Unità 3D VMS (Virtual Microphone System)Unità 3D VMS (Virtual Microphone.

Presentazione sul tema: "Audio e video 3D Roma, 3 dicembre 2013. Agenda Tecnica olofonicaTecnica olofonica Unità 3D VMS (Virtual Microphone System)Unità 3D VMS (Virtual Microphone."— Transcript della presentazione:

1 Audio e video 3D Roma, 3 dicembre 2013

2 Agenda Tecnica olofonicaTecnica olofonica Unità 3D VMS (Virtual Microphone System)Unità 3D VMS (Virtual Microphone System) 3D-VMS – Sperimentazioni3D-VMS – Sperimentazioni La Tecnologia 2D-VMS Il “Quadro Microfonico”La Tecnologia 2D-VMS Il “Quadro Microfonico” La ripresa stereoscopicaLa ripresa stereoscopica Il futuro della TVIl futuro della TV

3 Tecniche di ripresa multicanale Tecnica olofonica

4 4 STEREOFONIA Sin dagli albori dell’HIFI, si è utilizzata questa tecnica di ripresa sonora che ci restituiva un “fronte sonoro” ripreso da una coppia di microfoni che lavorassero “come le orecchie dell’uomo”. Poi sono stati riconosciuti tanti altri elementi che entrano nella percezione del suono, dai riverberi alla psicoacustica. Sono stati cercati sistemi che integrassero correzioni in grado di restituire al suono riprodotto quanto sembrava perso nel processo di ripresa e riproduzione. Si è lavorato sugli equalizzatori grafici e parametrici e su signal processor sempre più evoluti.

5 5 Holophone H2-PRO Le ricerche e le realizzazioni operative hanno cominciato a recepire l’esigenza da parte dei broadcaster di effettuare riprese sonore che potessero dare un risultato veramente spaziale, totale, dell’ambiente sonoro. Nascono gli array microfonici e la riproduzione multicanale. Tra le altre, l’azienda canadese Holophone® Microphone Systems, ha costruito vari modelli di array microfonici che utilizzano la teoria olofonica. RAI ha sperimentato in molteplici situazioni l’array microfonico H2-PRO 5.1 che è stato anche utilizzato, successivamente, : in trasmissione da molti broadcaster:, come Fox, NBC, ABC, CBS, CBC, e ESPN; per i videogiochi dalla EA Sports; da famosi artisti quali Elton John, Celine Dion e Iron Maiden; per riprese sportive dalla NBA Basketball, NFL Football e NHL Hockey.

6 6 H2-PRO 5.1 L’Holophone H2-PRO è un microfono professionale con sette capsule localizzate esternamente sul perimetro del supporto, definito testa, e una interna dedicata alla ripresa delle basse frequenze. Può produrre output su 5.1, 6.1 o 7.1 canali con suono surround. Tutti i suoni registrati tramite questo microfono sono discreti e ripresi in tempo reale, senza necessità di manipolazione da parte di mixer o altro, e ciò lo rende molto flessibile per l’utilizzo sia in studio che in situazioni esterne per la registrazione in formati surround e per tutti i formati, anche consumer, come Dolby, DTS e Circle Surround.

7 7 Diagramma polare delle capsule Le sette capsule esterne, come si è detto, sono disposte sulla superficie della testa, sul perimetro esterno: sono capsule omnidirezionali, modello “4060” della ditta danese DPA, e hanno la configurazione in figura. Le sette capsule montate esternamente hanno un range di frequenza da 20 Hz a 20 kHz, mentre quella interna da 20 Hz a 110 Hz. La sensibilità è di 20 mV/Pa a 1 kHz, con livello di pressione massima pari a 134 dBSPL prima del clipping. Il suono surround è riprodotto fedelmente anche prendendo le uscite dirette dal microfono e inviandole agli speaker

8 8 Sperimentazione nell’ Auditorium Rai a Torino La prima sperimentazione aveva lo scopo di verificare la “pulizia” dei suoni degli strumenti durante l’esecuzione di un’orchestra sinfonica. Si è effettuata una registrazione presso l’Auditorium Rai “A. Toscanini” di Torino e si è posizionato il microfono su un’asta all’altezza di circa 3,5 metri, rivolgendolo verso il centro del palcoscenico, alle spalle del direttore d’orchestra, durante le prove della sinfonia n. 2 in mi minore op. 27 di Sergej Rachmaninov diretta da Kwamé Ryan.

9 9 Sperimentazione allo Stadio Olimpico di Torino La sperimentazione successiva è consistita nella ripresa di una partita di calcio allo Stadio Olimpico di Torino La ripresa sonora è stata accompagnata da una ripresa video con una telecamera ad alta definizione Lo scopo era cercare di riprodurre l’effetto sonoro della folla in uno stadio di calcio

10 10 Si è ripetuta l’esperienza dello stadio, tornando ad effettuare una ripresa al Meazza di Milano La postazione audio era in tribuna, collegata al microfono tramite un multicavo a 25 metri di distanza, e il microfono era fissato ad una balaustra tramite un’asta rigida, posizionato in corrispondenza della linea di centro campo Gli effetti ottenuti sono “pieni”, con direzionalità riconoscibile nei momenti particolari della partita Sperimentazione allo Stadio Meazza di Milano

11 11 Studio radiofonico al CPTV di Milano Si è effettuata una sperimentazione in uno Studio Radiofonico presso la Sede del Centro di Produzione Rai di Milano Sono stati ripresi 6 sketch di un gruppo di musicisti e si è potuto direzionare e distanziare il microfono opportunamente durante le varie scene. La direzionalità è rispettata, come la qualità timbrica, soprattutto nella riproduzione del suono musicale e canoro

12 12 Sperimentazione in teatro Lo scopo era quello di riprendere la rappresentazione teatrale da un punto di diverso da quello classico dello spettatore seduto in platea, ma, visti i “giochi” di corse, rumori, andirivieni degli attori, effettuare la ripresa come se si fosse al centro della scena, mettendo in evidenza tutti questi movimenti anche dal punto di vista sonoro. La posizione ideale del microfono sarebbe stata sul soffitto del palcoscenico al centro della scena; non potendo logisticamente lavorare in tal modo, è stata effettuata una correzione in fase di post-produzione.

13 13 Codec in ripresa e in riproduzione Per poter registrare l’audio si è usato un codificatore della SRS Labs, il CSE-06P, che permette di codificare sei canali. I due canali codificati in uscita, Left Totale e Right Totale, sono stati inviati agli ingressi audio della telecamera. In regia, in fase di post-produzione, i sei canali audio sono stati “riestratti” decodificandoli con il decoder CSD-07. Il risultato, in questo caso, è stato molto soddisfacente per l’impressione che si è avuta sulla realtà degli effetti spaziali riprodotti.

14 Tecniche di ripresa multicanale Unità 3D VMS (Virtual Microphone System)

15 15 Tecnica Ambisonic Negli anni ’70 fu realizzata la prima sonda in grado di campionare pressione e velocità in un punto, sfruttando una disposizione tetraedrica di capsule microfoniche con direttività a cardioide più una capsula omnidirezionale al centro Disposizione a tetraedro delle capsule Diagramma polare dei segnali B-format

16 16 A-format e B-format La conversione dei segnali delle capsule, A-format, in quelli Ambisonic del 1° ordine, B-format (W, X, Y, Z), avviene tramite una semplice serie di somme e sottrazioni ottenendo una serie di segnali virtualmente provenienti da altre direzioni: W = C1+C2+C3+C4 X = C1+C2-C3-C4 Y = C1-C2+C3-C4 Z = C1-C2-C3+C4 L’approssimazione introdotta si traduce nel disallineamento tra le capsule in termini di tempo/fase che porta alla “colorazione” (filtraggio) dello spettro dei segnali B-format. Microfono SoundField

17 17 3D VMS (3D Virtual Microphone System) Il lavoro del Centro Ricerche della Rai e dell’A.I.D.A (Advanced Industrial Design in Acoustics), spin-off dell’Università di Parma, è cominciato con un progetto culminato nel brevetto di un sistema innovativo di ripresa e registrazione audio. Questo sistema è chiamato 3D Virtual Microphone System. Il sistema è in grado di sintetizzare fino a 7 microfoni virtuali partendo da una sonda microfonica sferica Il principio a cui fa riferimento è quello Ambisonic, partendo dall’idea di un campionamento più dettagliato dello spazio che circonda la sonda rispetto a quello del SoundField. Sonda microfonica sferica

18 Origini La sonda è costituita da 32 capsule ominidirezionali Le 32 capsule omnidirezionali sono ad electrete di alta qualità da ½ pollice, poste sulla superficie di una sfera del diametro di 8,4 cm, con risposta in frequenza con un range da 20 Hz a 20 kHz, sensibilità pari a 32 mV/Pa e dinamica di 135 dB prima di arrivare al clipping. All’interno della sfera ci sono i preamplificatori e i convertitori A/D delle 32 capsule. La sonda è connessa tramite un cavo ethernet ad un’interfaccia audio, EMIB (Eigenmike® Microphone Interface Box), a sua volta connessa ad una black box, che opera sul sistema filtraggio e calcoli, ottenendo come risultato i segnali di 7 microfoni virtuali equivalenti, sintetizzati come desiderato. Con un joystick o un mouse è possibile fissare la posizione azimutale e/o la posizione verticale, mediana, ed in più il diagramma polare dei microfoni virtuali sintetizzati dal sistema 3D VMS. EMIB 18

19 Disporre di microfoni “virtuali” con alta direttività, controllati da mouse e/o joystick per poter “inseguire” in tempo reale situazioni sonore dinamiche nella scena ripresa, in grado di modificare la loro direttività realizzando una sorta di “zoom acustico”. Consentire registrazioni in surround con microfoni che possono essere modificati (direttività, angoli, guadagni, ecc..) in tempo reale e in post-produzione. 19 Il Progetto RAI-AIDA

20 Riprese dal vivo e registrazione per post-produzione Nell’utilizzo live il sistema può essere equipaggiato con una piccola camera dedicata che inquadra la scena, portando l’immagine al sistema di controllo o verso un monitor dedicato. In questo modo è possibile seguire l’azione in scena e visualizzare sull’immagine le zone che indicano le “aperture focali” dei 7 microfoni sintetizzati, con una diminuzione sul bordo del cerchio che rappresenta il diagramma polare di 3 dB rispetto al centro. Il posizionamento mediano, azimutale e la scelta del diagramma polare dei 7 microfoni virtuali si possono ottenere dinamicamente ed in tempo reale con un impercettibile tempo di latenza. Le tracce in uscita sono disponibili o su un jack da 3,5” dall’uscita frontale dell’EMIB, o dall’uscita ottica ADAT sul lato posteriore dell’EMIB. Per registrare un evento sonoro e renderlo utilizzabile in post-produzione, non è necessario equipaggiare il sistema con la black box, ma saranno sufficienti l’interfaccia audio EMIB ed il sistema di elaborazione dati, il quale sarà utilizzato come registratore delle 32 tracce che arrivano dalla sonda microfonica. 20

21 3D-VMS - Sperimentazioni Tecniche di ripresa multicanale

22 Vantaggi dalla nuova tecnologia Alta direttività per ciascuno dei 7 microfoni virtuali. L’operatore può, attraverso un semplice controller, il mouse o un joystick, modificare direttamente in tempo reale e dinamicamente la posizione dei microfoni virtuali e effettuare lo zoom microfonico o “aprire” il campo sonoro senza perdita di qualità. Qualità del segnale audio compatibile con gli standard broadcast: segnali a 24 bit e 48 kHz. Uscite, attraverso una porta ADAT con cavo ottico, fino a 7 segnali inviati ad un mixer, o a un sistema di registrazione digitale. In post-produzione i 7, o nx7 canali audio, possono essere trattati come meglio si crede, decidendo dove porli nella scena e con quale diagramma polare. 22

23 Fattibilità semplificata di una ripresa multicanale Semplice sistema di utilizzo Vantaggio economico Elaborazione semplificata in post-produzione Possibilità di trasmissione codificata in surround con ovvi vantaggi per l’utente equipaggiato con un decoder surround Possibilità di effettuare “soggettive” audio associando la Sonda ad una telecamera in fase di ripresa Vantaggi per la Produzione 23

24 24 Sperimentazione in studio televisivo Il debutto di questo nuovo brevetto – tappa cruciale nel percorso strategico di miglioramento della qualità tecnica dell’audio in TV e Radio che la Direzione Strategie Tecnologiche Rai ha sviluppato dal 2005 – è stata la registrazione nel Centro di Produzione Tv Rai di Milano di Mise en abîme, una nuova composizione del Maestro Yuval Avital, creata per un organico strumentale e corale di massa che utilizza lo spazio come un elemento essenziale della partitura. Ad eseguirla, un ensemble strumentale unico nel suo genere, composto da 32 fisarmoniche, 2 fisarmoniche basse, 2 bassi tuba, 1 clarinetto basso, 1 soprano, 1 percussione e 1 didgeridoo, e un coro costituito da oltre 100 voci. La sonda è stata collocata al centro del cerchio formato da strumentisti e coristi

25 25 Sperimentazione in studio televisivo

26 26 Sperimentazione in studio televisivo

27 27 Progetto Piattaforma trasmissione audio 5.1 su Internet Il Progetto racchiude al suo interno due innovazioni sia nel campo della ripresa microfonica che nel campo della distribuzione agli utenti finali. Infatti si propone come nuovo "canale" per l'accesso alle opere di musica sinfonica, lirica e teatrali, rendendo possibile l’ascolto di un sonoro di qualità, avvolgente e coinvolgente ad alta fedeltà tramite sistemi surround e i nuovi Smart TV. Sono state trasmesse con risultati significativi sia dal punto di vista tecnico che psicoacustico verso utenza amica in audio 5.1 via WEB le ultime opere della Stagione Sinfonica 2011/ 2012 dall’Auditorium “Arturo Toscanini” della Rai di Torino e tutte quelle della Stagione 2012/2013. Presto sarà lanciato un “canale” apposito sul sito di Radi RAI.

28 La Tecnologia 2D-VMS Il “Quadro Microfonico” 28 Tecniche di ripresa multicanale

29 Array Planare Non ci si è limitati alla sonda sferica come modello microfonico. Il passo successivo è stato pensare alla ripresa, ad es., in uno studio televisivo, che non avesse come scopo la spazialità del suono surround, ma un miglioramento della direttività, per evitare l'utilizzo di radiomicrofoni a "collarino" sugli attori; questo costituirebbe una soluzione a problemi tecnici quali gli scrosci o lo spegnimento per batteria scarica, oltre a possibili timbri sonori falsati. Il nuovo array è stato chiamato 2D VMS, o Array Planare, o Quadro Microfonico. 29

30 Disposizione delle capsule Il microfono consiste in un pannello, di dimensioni ora ridotte a 0.3m x 0.5m, con 32 capsule microfoniche disposte sulla superficie in posizione pseudo-random e una ip-camera al centro. La disposizione pseudo-random delle capsule permette di avere tra di loro il minor effetto aliasing spaziale e un miglior rapporto "segnale-rumore". Cioè, il rapporto tra il massimo quando l'array è focalizzato nella direzione di esatta incidenza dell'onda e valori prossimi a zero quando l'array è focalizzato in tutte le altre direzioni dalle quali non arriva alcun segnale. 30

31 Array Cilindrico Ultimo array studiato, continuando a basarsi sempre sul Sistema VMS e ancora con 32 capsule, e l’Array Cilindrico. La sonda microfonica deve consentire la sintesi di microfoni a direttività variabile (zoom microfonico) che focalizzino a 360° sul piano orizzontale e permettano un’escursione in elevazione di circa 90° intorno l’asse centrale. L’idea è quella di avere più dettaglio orizzontale e meno verticale rispetto alle sonde precedenti, ossia una figura di ripresa non più sferica ma ellittica, con rapporto asse orizzontale/asse verticale di circa 1:3. I 32 microfoni sono posizionati anche qui in modo pseudorandom sulla superficie del cilindro lungo traiettorie non simmetriche, per massimizzare il rapporto segnale/rumore già definito. La ripresa di strumenti ravvicinati tra loro dovrebbe essere più accurata e selettiva. 31

32 Array Cilindrico Ultimo array studiato, continuando a basarsi sempre sul Sistema VMS e ancora con 32 capsule, e l’Array Cilindrico. La sonda microfonica deve consentire la sintesi di microfoni a direttività variabile (zoom microfonico) che focalizzino a 360° sul piano orizzontale e permettano un’escursione in elevazione di circa 90° intorno l’asse centrale. L’idea è quella di avere più dettaglio orizzontale e meno verticale rispetto alle sonde precedenti, ossia una figura di ripresa non più sferica ma ellittica, con rapporto asse orizzontale/asse verticale di circa 1:3. I 32 microfoni sono posizionati anche qui in modo pseudorandom sulla superficie del cilindro lungo traiettorie non simmetriche, per massimizzare il rapporto segnale/rumore già definito. La ripresa di strumenti ravvicinati tra loro dovrebbe essere più accurata e selettiva. L’array ha come punto di ripresa video uno specchio parabolico posto in cima al cilindro che permette alla ip-camera di riprendere un’immagine a 360° con elevazione di circa 70°. L’immagine video che si ricava è circolare. Per il posizionamento dei microfoni virtuali si applica un processo che rende l’immagine bidimensionale ed utilizzabile. 32

33 Array Cilindrico 33

34 La ripresa stereoscopica 34 Tecniche di ripresa video

35 35 Geometria della visione Geometria della visione – punto oggetto percepito “al di là” dello schermo

36 36 Geometria della visione Geometria della visione – punto oggetto percepito “al di qua” dello schermo

37 37 Geometria della visione Geometria della visione – punti oggetto percepiti “al di qua e al di là” dello schermo

38 38 Geometria della visione Geometria della visione – assi ottici paralleli

39 39 Geometria della visione Geometria della visione - Assi ottici convergenti

40 40 Tecniche di ripresa - Camcorder

41 41 Tecniche di ripresa – telecamere accoppiate

42 42 Tecniche di visualizzazione Scansione delle immagini televisive con sistema interallacciato. Scansione delle immagini televisive con sistema progressivo.

43 43 Tecniche di visualizzazione - Anaglifo Immagine anaglifa

44 44 Tecniche di visualizzazione - Anaglifo le due immagini costituenti la coppia stereoscopica sono colorate con colori complementari - attualmente si utilizza preferibilmente il rosso e il ciano – e vengono presentate sovrapposte e contemporaneamente. Osservando l’anaglifo con occhiali aventi come lenti dei filtri colorati corrispondenti ai colori usati per le immagini, ogni occhio vede solo l’immagine colorata con lo stesso colore del filtro postogli di fronte, mentre il colore complementare viene annullato (visto come nero) poiché assorbito dal filtro. In questo modo si riesce a far pervenire a ciascun occhio l’immagine corrispondente

45 45 Tecniche di visualizzazione - polarizzazione Nel tratto compreso tra il display e l’osservatore i segnali costituenti la coppia stereoscopica devono essere costituiti da segnali ottici. In questo tragitto si inseriscono dei filtri polarizzatori in modo tale che a valle di questi i due segnali siano trasportati contemporaneamente da onde elettromagnetiche con polarizzazioni ortogonali sovrapposte. Con occhiali le cui lenti siano dei filtri polarizzatori adatti ad oscurare l’immagine non corrispondente e a lasciare visibile quella diretta all’occhio corretto, si ottiene la separazione dei due canali e quindi un osservatore che li indossi percepisce l’effetto prospettico dato dalla visione stereoscopica

46 46 Tecniche di visualizzazione – Multiplex temporale

47 47 Tecniche di visualizzazione – Multiplex temporale Un multiplatore temporale viene alimentato contemporaneamente con i due segnali televisivi costituenti la coppia stereoscopica, e per ciascuno di essi ne registra un quadro (o semiquadro) per volta. Per semplificare l’elaborazione, conviene che i segnali in ingresso siano sincronizzati (con un segnale di genlock), quindi temporalmente coincidenti. In uscita riproduce i quadri (o semiquadri) memorizzati, alternando i canali col conseguente raddoppio della frequenza di quadro. Questo sistema è tradizionalmente associato agli occhiali attivi detti occhiali shutter. Al posto delle lenti, questi occhiali hanno dei piccoli pannelli LCD che, a seconda del valore di un apposito segnale di controllo, sono trasparenti od opachi. Il segnale di controllo è generato dalla circuiteria contenuta nella montatura degli occhiali ed è asservito al segnale di sincronismo trasmesso dal monitor agli occhiali tramite collegamento ad infrarossi

48 48 Tecniche di visualizzazione - autostereoscopia Tecniche nuove alla ricerca di sistemi per eliminare gli occhiali aggiuntivi per la visione stereoscopica. Si basano su complessi sistemi di elaborazione delle schermate video o sul posizionamento di microlenti sulla superficie degli schermi che ingannano l’occhio. I risultati al momento non sono soddisfacenti per una visione qualitativamente elevata.

49 Il futuro della TV 49 Tecniche di ripresa video

50 50 Il 4K, o Super HD è uno standard emergente per la risoluzione della televisione digitale, del cinema digitale e per la computer grafica.standardrisoluzionetelevisione digitalecinema digitalecomputer grafica Il nome "4K" deriva dall'inglese 4kilo (in italiano "4 mila") che indica l'approssimazione dei suoi circa quattromila pixel orizzontali di risoluzione; il fatto che il nome ne descriva la risoluzione orizzontale è l'esatto contrario dei suoi predecessori: il 720p e il 1080p (i quali erano stati denominati tali per convenzione) indicano infatti il numero di pixel sull'asse verticale.pixel720p1080p Tecniche ripresa video – 4K

51 51 Lo standard definisce una serie di formati di immagine che arrivano fino a 4096 pixel di risoluzione orizzontale, corrispondenti a circa 4 volte l’altezza dello schermo. Va evidenziato che la corretta distanza dallo schermo per apprezzare i miglioramenti del 4k è dimezzata rispetto a quella ideale per l’HD. Da 3 volte l’altezza dello schermo, passiamo a 1,5 x l’altezza, consentendo una maggiore immersione nell’esperienza multimediale allo spettatore. La trasmissione del segnale 4k avviene attraverso un transport stream di 4 flussi 2K (1920x1080)sincronizzati. Il bit-rate associato, opportunamente codificato, è compatibile con la capacità offerta dagli standard DVB di seconda generazione (DVB-S2 e DVB-T2). Tecniche ripresa video – 4K

52 52 Tecniche ripresa video – 8K Super Hi-Vision A partire dal 2007, su iniziativa dell’EBU, i centri di ricerca delle televisioni pubbliche italiana, inglese, giapponese, tedesca, austriaca e svizzera hanno costituito il Gruppo Broadcast Technology Futures (BFT). La SHV (Super Hi- Vision), nata inizialmente dal Laboratorio di Ricerca della giapponese NHK è uno dei progetti del BFT. Il formato d’immagine è 16:9, come quello dell’HDTV, ma i pixel in orizzontale sono 7680 (quasi 8000, ovvero 8K) e 4320 quelli in verticale: il numero di pixel totale dell’immagine 8K è 16 volte superiore a quella della HDTV. La maturazione delle tecnologie 8K richiederà ancora alcuni lustri. e il bit-rate associato, opportunamente codificato, è compatibile con la capacità offerta dagli standard DVB di seconda generazione (DVB-S2 e DVB-T2).

53 Riferimenti giovannimaria.dettori@rai.it leonardo.scopece@rai.it mario.muratori@rai.it daniele airola@rai.it valerio.santoro@rai.it