Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque-Enver Sangineto Sistemi per lInterazione Locale e Remota Marzo 2009

Outline Mixed Reality (MR) Virtual Reality (VR) Augmented Reality (AR) Augmented Virtuality (AV)

Mixed Reality Mixed Reality (MR) è un termine che viene usato per rappresentare un intero spettro di situazioni che spaziano dallambiente reale allambiente virtuale.

Mixed Reality Continuum Mixed reality includes augmented reality, augmented virtuality, and other mixed configurations. Mixed Reality (MR)

Caratteristiche dei sistemi di MR –Reproduction Fidelity: misura la qualità della generazione delle immagini –Extent of Presence Metaphor: misura il livello di immersioni dellutente dentro la scena –Extent of World Knowledge: livello di accuratezza nella sincronizzazione degli oggetti virtuali e mondo reale

What is Virtual Reality ? –Brooks (1999) definisce come: unesperienza.. nella quale lutente è immerso in un mondo virtuale capace di reagire alla sua presenza … –Sherman and Craig (2003) definisce come: un mezzo composto da simulazioni interattive tramite computer che percepiscono la posizione e le azioni dellutente e sostituiscono o aumentano il feedback di uno o più sensi, dando limpressione di essere mentalmente immersi o presenti nella simulazione (virtual world)

Performance of VR systems In un sistema VR è importante poter produrre immagini 3D realistiche ad alta risoluzione, in real-time e senza evidenti flicker. –Hardware capability –Software capability

Four Key Elements in Experiencing VR –Un ambiente virtuale –Immersione (fisica e mentale): dà un senso di presenza nellambiente virtuale; questo può essere uno stato puramente mentale o realizzato con mezzi fisici –Feedback: sensoriale visivo/auditivo/tattile/… inviato allutente. –Interattivita: in unesperienza di realtà virtuale, i partecipanti si possono muovere e cambiare punto di vista.

Four Crucial Technologies for VR Visual displays: immersione dellutente nel mondo virtuale Graphics rendering system: che genera da 20 a 30 frames per secondi Tracking system: rileva continuamente la posizione e lorientamento della testa e della mano dellutente (ritardi di ms nessun problema, >0.1 s, effetto negativo) World modeling system: per la costruzione e laggiornamento dei dettagli dei modelli realistici del mondo virtuale

Presence and Immersion Immersion immerso nellambiente: realizzato tipicamente mediante HMD o sistemi multi- display Self Presence senso di 3D relativo allambiente: I am there Object Presence gli oggetti sono 3D rispetto allutente: it is there

The Technology of Immersion Stereoscopic display: dà la profondità del campo visivo dellutente Head tracking: dà illusione allutente di guardarsi attorno. 3D computer graphics: riempie lambiente con gli oggetti virtuali 3D interaction: dà la sensazione allutente di interagire con oggetti reali

Criteria of Immersion Totale illusione di essere circondato da oggetti virtuali Lambiente dovrebbe reagireallutente. Gli oggetti devono avere un senso di presenza Non è richiesto un modello del mondo reale Non sono importanti foto realistiche

Typical Components of VR Sistema Base: –Computer –Head-Mounted Display (HMD) –Hand-tracked device (VR Glove or Wand) –3D graphics rendering system Inoltre: –3D sound, spaceball, etc.

Typical Computer used for VR SGIs Onyx 2 (4 CPUs, 2 Infinite Reality Pipelines)

Head-Mounted Display (HMD) –Piccoli display montati sulla testa, completamente immersivi, hanno bisogno di un tracker per tracciare la posizione e lorientazione della testa.

Head-Mounted Display (HMD) -supported Floor Display

Stereoscopy Stereoscopia è una tecnica capace di creare lillusione della profondita in unimmagine. Lillusione della profondita in una foto, film, o altre immagini 2D e creata tramite due immagini leggermente diverse per ogni occhio.

VR Glove

Wand

3D Tracking Paradigm Uno o più sensori determinano la posizione e lorientamento rispetto ad una sorgente Il sensore(i) capta un segnale proveniente dalla sorgente e stabilisce sia la posizione che lorientamento Sorgente e sensore possono essere fissi o mobili Diverse tecnologie: Ultrasuoni, Elettromagnetici, Ottici

Localization by Ultrasound Una sorgente (emittente) emette un segnale (ultrasuono) verso il guanto, che contiene 2-3 ricevitori. Il tempo che intercorre tra lemissione e la ricezione determina la distanza emittente-ricevente

Localization by Ultrasound Emitter Ultrasound wave Finger flexion sensor Spatial position sensor

Ultrasonic Tracking Advantages and Disadvantages Vantaggi Basso costo Facile da realizzare Svantaggi Nessun ostacolo tra emittente e ricevente Range molto corto (few feet) Fortemente dipendente dalla temperatura e dallumidità dellaria

Localization by Electromagnetic (EM) Pulses Tre antenne emettono impulsi radio in sequenza Tre antenne ricevono gli impulsi e determinano la potenza del segnale lungo gli assi La potenza globale delle tre receventi darà la distanza dalla sorgente emittente

Localization by EM Pulses Electronic box output to the host computer Receiver weak signal Emitter strong signal

EM Advantages and Disadvantages Vantaggi Facilità nella gestione del tracking Possono esserci ostacoli tra sorgente e sensore Tecnologia matura Svantaggi Errori nel tracking Range corto Fortemente sensibile al campo magnetico e oggetti metallici nellambiente

Localization by Optical Correlation Analisi stereoscopica, correlazione pixels comuni a due immagini riprese da due telecamere I punti correlati permettono la triangolazione delle posizioni (3D) La triangolazione si basa sulla corrispondenza di punti simili presi su due immagini diverse

Localization by Optical Correlation

Optical Advantages and Disadvantages Vantaggi Qualità molto buona del segnale di tracking Uno dei metodi più precisi Svantaggi Nessun ostacolo tra emittente e receivente Ingombrante e difficile da realizzare

Cave Automatic Virtual Environment (CAVE) Sistemi basati sulla proizione: proiezione diretta o con retro-proizione, lutente è completamente circondato da immagini proiettate su grandi schermi. Crea un senso di elevata immersione

CAVE Completely immersive Maximum cost solution Centralized facility Not Mobile

The desire for higher-resolution color images and good surround vision without geometric distortion Less sensitivity to head-rotation induced errors The ability to mix virtual reality imagery with real devices (like one's hand, for instance) The need to guide and teach others in a reasonable way in artificial worlds Goals that inspired CAVE Engineering

CAVE Demo

Cave Demos CAVE project: Sf6bJjwSCE Sf6bJjwSCE Quake with CAVE: WzGifU&feature=related WzGifU&feature=related

Cave Applications architectural walk-through evaluation of engineering designs (virtual prototyping) driving simulators training for dangerous situations and other scenarios molecular modeling virtual reconstruction of archeological sites medical and biological visualization artistic expression of ideas, and more...

Cave Applications

Distributed Architectures: Idea of the Future Present way of Teaching Super Computer (Flow data, Visualization computation) visualization data user commands Ultra Net Future way of Teaching CAVE A (ELG 5121) CAVE B Prof. El Saddik

Blue-c System Blue-c system by ETH institutes: collaborative virtual reality

Blue-c System

Workbenches Banchi di lavoro: schermi piatti che presentano immagini in modalita stereo. Possono essere montati anche in orizzontale/inclinati. Immersione parziale, alto senso di presenza delloggetto

–Interagire piu efficaciamente con I mondi virtuali: Manipulation Wayfinding –Modellare I mondi efficientemente Modeling the existing world Modeling non-existing worlds –Misurare lillusione della presenza e la sua efficacia operazionale Hot Open Challenges

Augmented Reality (AR) A differenza della virtual reality, augmented reality si riferisce a situazioni nelle quali lobiettivo è integrare la percezione dellutente di un mondo reale attraverso laggiunta di oggetti virtuali

Augmented Reality AR e una tecnologia o un ambiente dove linformazione aggiuntiva, generata da un computer, e inserita nella visione dellutente di una scena del mondo reale.

Augmented Reality Linformazione aggiuntiva puo consistere in: –oggetti virtuali posti nellambiente o –nella visualizzazione di informazione relativa ad oggetti esistenti tipo la temperatura nella stanza

Augmented Reality

Sistemi di AR spesso fanno uso di head mounted displays (HMD) Ci sono due principali catagorie di sistemi HMD-based AR: –Optical See-Through Augmented Reality –Video-based Augmented Reality Altri sistemi AR fanno uso di proiettori o altri tipi di display.

Optical see-through Combinatori ottici parzialmente trasparenti sono posti di fronte agli occhi, permettono di vedere in essi il riflesso di immagini virtuali rappresentate su piccoli display

Video-based Fa uso di piccole video-camere per catturare la visione del mondo reale che sarebbe vista dagli occhi. Le immagini reali sono combinate con quelle virtuali, create dal computer, per creare immaginidi AR che vengono visualizzate su un classico HMD (non see-through).

Esempio: il sistema MRCVE Mixed Reality-based collaborative virtual environment (MRCVE) (Wang et al. 2003): –Modeling computer: Running AutoCAD or other modeling software. –MR computer: Running the Mixed Reality viewing software. –Camera-attached head mounted display (HMD)

Augmented Reality The Process of Video-Based Marker Detection and Overlay of Virtual Objects

MRCVE Scenarios Mixed Reality view through head- mounted display MRCVE collaboration scenario

AR-based Videoconferencing

Demo ARQuake Project:

Some Issues in AR –Focalizzazione: e desiderabile avere gli oggetti virtuali visualizzati ad una distanza focale corrispondente alla loro relativa profondità nel mondo reale. –Portabilità: in VR, la portabilita e optional. In AR, lutente se vuole cambiare la sua posizione nel mondo reale, ha bisogno della portabilita.

…Some Issues in AR –Qualita dellimmagine: in VR, lambiente virtuale deve essere modellato, renderizzato e visualizzato. In AR, unaccurata visione del mondo reale e fornita for free. Il display ha solo bisogno di manipolare la visualizzazione degli oggetti virtuali, che può essere realizzata in modo soddisfacente con un campo visuale piu piccolo, ridotto range di colori, e/o bassa risoluzione.

…Some Issues in AR Tracking and Registration: In VR, non e richiesta una registrazione accurata degli oggetti, che possono essere difficili da rilevare e non hanno importanza. In AR, la registrazione accurata e critica. Ogni minimo errore nella registrazione saraimmediatamente visibile, ed molto difficile da evitare o superare.

Augmented Virtuality (AV) AV descrive tutti quei casi in cui un oggetto (entità) reale e inserito in un ambiente generato dal computer. I sistemi di AV tipicamente includono un input reale multi- sensoriale, che integra lambiente virtuale presentato Esempi AV –Dirigere il profumo di caffe verso un utente quando questo passa vicino ad una macchina del caffe virtuale posta in un ambiente virtuale. –Accendere una lampada calda su un utente quando si avvicina ad un punto nellambiente virtuale esposto al sole. –Accendere una ventola di fronte allutente quando si avvicina a un punto nellambiente virtuale esposto al vento

AV-based videoconferencing

Fine…