La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

HCI e Sistemi multimodali. 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle interazione uomo- machina e elaborazione di interfacce informaticheHCI.

Presentazioni simili


Presentazione sul tema: "HCI e Sistemi multimodali. 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle interazione uomo- machina e elaborazione di interfacce informaticheHCI."— Transcript della presentazione:

1 HCI e Sistemi multimodali

2 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle interazione uomo- machina e elaborazione di interfacce informaticheHCI Design : studi delle interazione uomo- machina e elaborazione di interfacce informatiche HCI Paradigm : Paradigma o modello di riferimento dinterfacce informaticheHCI Paradigm : Paradigma o modello di riferimento dinterfacce informatiche Concetti Chiave (HCI – Human-Computer Interaction )

3 PrimaPrima Ogni azione dellutente è esplicita e si riduce a un atto di commando Dopo (…ora)Dopo (…ora) Lutente deve accedere allinformazione in modo naturale come lo farebbe con un altro uomo Cambiamento di paradigma

4 Interfacce portatili, sensibili e integrate nellambienteInterfacce portatili, sensibili e integrate nellambiente Nuovo paradigma (HCI – Human-Computer Interaction ) Ubiquitous computing [Weiser] Ambient intelligence [Shadbolt] Pervasive Intelligence [Hansmann]

5 WIMP

6 Wimp Oggi, le interfacce più usate sono le interfacce grafiche (Graphical user interfaces – GUIs)Oggi, le interfacce più usate sono le interfacce grafiche (Graphical user interfaces – GUIs) Adottano il paradigm chiamato WIMP i.e. Windows, Icons, Menus con un Pointing DeviceAdottano il paradigm chiamato WIMP i.e. Windows, Icons, Menus con un Pointing Device

7 Wimp Le interfacce WIMP sono diventate prevalente perché:Le interfacce WIMP sono diventate prevalente perché: permettono di organizzare con efficienza le zone di lavoro ( workspaces ), i documenti e le possibilità per modificarli. permettono di organizzare con efficienza le zone di lavoro ( workspaces ), i documenti e le possibilità per modificarli. Lanalogia dei documenti con i fogli di carta ( spreadsheet ) o le cartelle ( folder ) le rendono accessibili al più grande numero di utenti. Lanalogia dei documenti con i fogli di carta ( spreadsheet ) o le cartelle ( folder ) le rendono accessibili al più grande numero di utenti.

8 Wimp Le interfacce WIMP sono diventate prevalente perché:Le interfacce WIMP sono diventate prevalente perché: la rappresentazione come regione rettangolare su uno schermo 2D piatto ( 2D flat screen ) facilita la programmazione la rappresentazione come regione rettangolare su uno schermo 2D piatto ( 2D flat screen ) facilita la programmazione La loro generalità (generality) le rende perfetto ( suitable ) per une ambiente multi-tasking ( multitasking work environments ) La loro generalità (generality) le rende perfetto ( suitable ) per une ambiente multi-tasking ( multitasking work environments )

9 La metafora della scrivania ( desktop ) Il paradigmo WIMP è utilizzato per implementare la metafora molto diffusa della scrivania ( desktop ), un concetto unificante per le interface grafiche ( GUI ).Il paradigmo WIMP è utilizzato per implementare la metafora molto diffusa della scrivania ( desktop ), un concetto unificante per le interface grafiche ( GUI ).

10 La metafora della scrivania ( desktop ) La desktop metaphor considera lo schermo ( monitor ) di un computer ( computer ) come la scrivania di un utente ( user ), sopra quale oggetti, come documenti e cartelle possono essere disposti. La desktop metaphor considera lo schermo ( monitor ) di un computer ( computer ) come la scrivania di un utente ( user ), sopra quale oggetti, come documenti e cartelle possono essere disposti. Un documento può essere aperto dentro una finestra che rappresenta la copia spostata sulla scrivaniaUn documento può essere aperto dentro una finestra che rappresenta la copia spostata sulla scrivania Piccole applicazione chiamate accessorie sono a disposizione (es. calcolatrice, quaderno – notepad )Piccole applicazione chiamate accessorie sono a disposizione (es. calcolatrice, quaderno – notepad )

11 11 Il ruolo dell informazione Talvolta l informazione è troppa…

12 Post-WIMP

13 Post-WIMP Le interfacce WIMP non sono ottimizzate per compiti complessi (es. computer-aided design ) o per applicazione che richiedono paradigmi di interazione più naturale (es. giochi interrativi).Le interfacce WIMP non sono ottimizzate per compiti complessi (es. computer-aided design ) o per applicazione che richiedono paradigmi di interazione più naturale (es. giochi interrativi).

14 Post-WIMP Il scopo delle interfacce post-WIMP è di oltrepassare questi problemi (compiti complessi e interazioni naturali)Il scopo delle interfacce post-WIMP è di oltrepassare questi problemi (compiti complessi e interazioni naturali) includono sistemi di realtà virtuale, interfacce utente (grafiche) basate sui gesti, la parola e il controllo fisico. includono sistemi di realtà virtuale, interfacce utente (grafiche) basate sui gesti, la parola e il controllo fisico. integrano input da una varietà di canali sensoriali e producono output multimediali ( multimedia output ) integrano input da una varietà di canali sensoriali e producono output multimediali ( multimedia output )

15 Post-WIMP Le interfacce post-WIMP sono basate sui modelli e teorie della psicologia, fisiologia, biomeccanica, neuroscienze, cognitive e scienze sociale e si ispiranno a teorie umanistiche. Come tale, si avvalgono:Le interfacce post-WIMP sono basate sui modelli e teorie della psicologia, fisiologia, biomeccanica, neuroscienze, cognitive e scienze sociale e si ispiranno a teorie umanistiche. Come tale, si avvalgono: delle caratteristiche del sistema sensoriale umano delle caratteristiche del sistema sensoriale umano dei canali sensoriali multipli dei canali sensoriali multipli del interconnessione tra canali sensoriali del interconnessione tra canali sensoriali delle capacità di communicazione non-verbale delle capacità di communicazione non-verbale delle emozione delle emozione Sfruttano le caratteristiche del sistema sensoriale umano Sfruttano le caratteristiche del sistema sensoriale umano Sfruttano Sfruttano

16 Interfacce multimodali ( Multimodal interfaces ) Le interfacce post-WIMP sono spesso delle interfacce multimodali ( multimodal interfaces ) perché si avvalgono delle modalità sensoriale multiple.Le interfacce post-WIMP sono spesso delle interfacce multimodali ( multimodal interfaces ) perché si avvalgono delle modalità sensoriale multiple. 3 parole chiave ( keywords )3 parole chiave ( keywords ) Modalità sensoriale ( sensory modality ) Modalità sensoriale ( sensory modality ) Fase ( mode ) Fase ( mode ) Multimodale Multimodale

17 Interfacce multimodali ( Multimodal interfaces ) Modalità sensoriale ( sensory modality ): il canale sensoriale tramite quale linformazione è percepitta. Se riferisce al tipo ci canale di communicazione ( communication channel ) usato per trasferrire o acquisire linformazione Modalità sensoriale ( sensory modality ): il canale sensoriale tramite quale linformazione è percepitta. Se riferisce al tipo ci canale di communicazione ( communication channel ) usato per trasferrire o acquisire linformazione Fase ( mode ): uno stato che determina come linformazione è interprettata per estrarre o trasferrire il suo significato. Fase ( mode ): uno stato che determina come linformazione è interprettata per estrarre o trasferrire il suo significato. Multimodale se riferisce allintegrazione dellinformazione proveniente da diversi canali sensoriali Multimodale se riferisce allintegrazione dellinformazione proveniente da diversi canali sensoriali

18 Interfacce multimodali ( Multimodal interfaces ) Modalità sensoriale ( sensory modality ): il canale sensoriale tramite quale linformazione è percepitta. Se riferisce al tipo ci canale di communicazione ( communication channel ) usato per trasferrire o acquisire linformazione Modalità sensoriale ( sensory modality ): il canale sensoriale tramite quale linformazione è percepitta. Se riferisce al tipo ci canale di communicazione ( communication channel ) usato per trasferrire o acquisire linformazione Fase ( mode ): uno stato che determina come linformazione è interprettata per estrarre o trasferrire il suo significato. Fase ( mode ): uno stato che determina come linformazione è interprettata per estrarre o trasferrire il suo significato. Multimodale se riferisce allintegrazione dellinformazione proveniente da diversi canali sensoriali Multimodale se riferisce allintegrazione dellinformazione proveniente da diversi canali sensoriali

19 Interfacce multimodali ( Multimodal interfaces ) Modalità sensoriale ( sensory modality ): il canale sensoriale tramite quale linformazione è percepitta. Se riferisce al tipo ci canale di communicazione ( communication channel ) usato per trasferrire o acquisire linformazione Modalità sensoriale ( sensory modality ): il canale sensoriale tramite quale linformazione è percepitta. Se riferisce al tipo ci canale di communicazione ( communication channel ) usato per trasferrire o acquisire linformazione Fase ( mode ): uno stato che determina come linformazione è interprettata per estrarre o trasferrire il suo significato. Fase ( mode ): uno stato che determina come linformazione è interprettata per estrarre o trasferrire il suo significato. Multimodale se riferisce allintegrazione dellinformazione proveniente da diversi canali sensoriali Multimodale se riferisce allintegrazione dellinformazione proveniente da diversi canali sensoriali

20 Microphones Videocameras Sound / Speech Body posture Gaze Facial expressions Head movements Physiological measurements Physiological indicators Gesture Full-Body movement Interfacce multimodali ( Multimodal interfaces )

21 Multimodalità al livello neuro-fisiologico ?

22 Modalità sensoriali (overview)

23 Sistemi Multimodali, definizioni standard

24 Sistemi Multimodali ( Multimodal systems ) I sistemi multimodali sono : systems that support a user communicating with an application by using different modalities such as voice (in a human language), gesture, handwriting, typing, audio- visual speech, etc.I sistemi multimodali sono : systems that support a user communicating with an application by using different modalities such as voice (in a human language), gesture, handwriting, typing, audio- visual speech, etc. W3C Multimodal Interaction Working Group, Multimodal Interaction Requirements, W3C NOTE 8 January W3C is The World Wide Web Consortium

25 Sistemi Multimodali ( Multimodal systems ) A multimodal HCI system is simply one that responds to inputs in more than one modality or communication channel (e.g., speech, gesture, writing, and others).A multimodal HCI system is simply one that responds to inputs in more than one modality or communication channel (e.g., speech, gesture, writing, and others). (Jaimes, A., Sebe, N., Multimodal human–computer interaction: A survey. Computer Vision and Image Understanding, 108 : 116–134, Elsevier)

26 Sistemi Multimodali ( Multimodal systems ) Luttente fornisce ( provide ) un input in una o più modalità e riceve un output in una o più modalità sensoriale.Luttente fornisce ( provide ) un input in una o più modalità e riceve un output in una o più modalità sensoriale.

27 INPUT (classificazione) Un input può essere classificato comeUn input può essere classificato come Sequenziale: linput è ricevuto su una singola modalità, anche se questa modalità può cambiare Sequenziale: linput è ricevuto su una singola modalità, anche se questa modalità può cambiare Simultaneo: linput è ricevuto sulle diverse modalità, e trattato separatamente in ogni di queste modalità Simultaneo: linput è ricevuto sulle diverse modalità, e trattato separatamente in ogni di queste modalità [Composite: linput è ricevuto sui diverse modalità nello stesso tempo e trattato come un unico input composite.] [Composite: linput è ricevuto sui diverse modalità nello stesso tempo e trattato come un unico input composite.]

28 INPUT processing I tipi di trattamento dellinput è chiamato input processingI tipi di trattamento dellinput è chiamato input processing Es. Input della parola (speech input) pu essere un input per un sistema di riconoscimento della parola (e.g., richiede uninterpretazione semantica per estrare linformazione significante (es. Rappresentazione semantiche)

29 INPUT processing Attenzione ! un input simultaneo e composite possono essere in conflitto nel senso che linterpretazione dellinput può essere contraditorio (es. Luttente dice si e cliccano) un input simultaneo e composite possono essere in conflitto nel senso che linterpretazione dellinput può essere contraditorio (es. Luttente dice si e cliccano)

30 INPUT processing Il comportamento sincrono di un applicazione descriveIl comportamento sincrono di un applicazione descrive (i) il modo in cui linput trasmesso in una modalità si riflette nelloutput di unaltra modalità (i) il modo in cui linput trasmesso in una modalità si riflette nelloutput di unaltra modalità (ii) il modo in cui linput si combina attraverso le diverse modalità (coordinazione) (ii) il modo in cui linput si combina attraverso le diverse modalità (coordinazione)

31 OUTPUT Loutput generato da un sistemo multimodale può prendere diverse forme: audio, visuale, haptic feedback, luceLoutput generato da un sistemo multimodale può prendere diverse forme: audio, visuale, haptic feedback, luce

32 Sistemi Multimodali ( Multimodal systems ) In riasunto, I sistemi multimodali sono sistemi computazionali che:In riasunto, I sistemi multimodali sono sistemi computazionali che: (INPUT & INPUT PROCESSING) (INPUT & INPUT PROCESSING) Osservano lutente e raccogliono, analisano e integrano informazione da diverse modalità sensoriale Osservano lutente e raccogliono, analisano e integrano informazione da diverse modalità sensoriale Creano rappresentazione interne dellutente (es. in termine di stati cognitivi o emozionali) Creano rappresentazione interne dellutente (es. in termine di stati cognitivi o emozionali)

33 Sistemi Multimodali ( Multimodal systems ) In riasunto, I sistemi multimodali sono sistemi computazionali che:In riasunto, I sistemi multimodali sono sistemi computazionali che: (OUTPUT & OUTPUT PROCESSING) Producono una risposta (feedback) multimedia in tempo reale per lutente, basato sullanalisi dellinput, il modello interno e il compito che sta realizzando lutente Producono una risposta (feedback) multimedia in tempo reale per lutente, basato sullanalisi dellinput, il modello interno e il compito che sta realizzando lutente Forniscono allutente un interfaccia multimodale per realizzare compiti complessi che richiedono interazioni naturali Forniscono allutente un interfaccia multimodale per realizzare compiti complessi che richiedono interazioni naturali

34 Sistemi Multimodali specifici ( Specific Multimodal systems ) Perceptual User Interface (PUIs)Perceptual User Interface (PUIs) Basata sulle tecniche di interazione che combinano una comprensione delle capacità umane (communicative, motore, conative e percettuale, e luso di dispositivi computazionali I/O e sistemi dintelligenza artificiale Basata sulle tecniche di interazione che combinano una comprensione delle capacità umane (communicative, motore, conative e percettuale, e luso di dispositivi computazionali I/O e sistemi dintelligenza artificiale

35 Sistemi Multimodali specifici ( Specific Multimodal systems ) Attentive InterfacesAttentive Interfaces Sono interfacce sensibili al contesto, che si basano sulle capacità attenzionale della personna.Cercano di cogliere il momento piu opportuno per esporre linformazione allutente e communicare con lui. Sono interfacce sensibili al contesto, che si basano sulle capacità attenzionale della personna.Cercano di cogliere il momento piu opportuno per esporre linformazione allutente e communicare con lui.

36 Sistemi Multimodali specifici ( Specific Multimodal systems ) Enactive InterfacesEnactive Interfaces Aiuta lutente a communicare tramite una forma di conoscenza prattica detta enactive e non più solo simbolica. Si basano sulla partecipazione attiva, fisica (mani, corpo) dellutente. Aiuta lutente a communicare tramite una forma di conoscenza prattica detta enactive e non più solo simbolica. Si basano sulla partecipazione attiva, fisica (mani, corpo) dellutente.

37 Sistemi Multimodali specifici ( Specific Multimodal systems ) Affective InterfacesAffective Interfaces Queste interfacce si avvalgano delle emozione, o di maniera più generale, dellespressività dellutente per rendere linterazione più naturale. Si basano sullanalisi del contenuto espressivo communicato dallutente tramite diversi canali sensoriali. Queste interfacce si avvalgano delle emozione, o di maniera più generale, dellespressività dellutente per rendere linterazione più naturale. Si basano sullanalisi del contenuto espressivo communicato dallutente tramite diversi canali sensoriali.

38 Problemi per cambiare di paradigmi ?

39

40 Sistemi multimediali

41 Sistemi Multimediali ( Multimedia systems ) MediumMedium Il mezzo usato per trasmettere linformazione (es. Stampa, video, audio, s…) Il mezzo usato per trasmettere linformazione (es. Stampa, video, audio, s…) Sistemi multimedia ( multimedia systems )Sistemi multimedia ( multimedia systems ) Un sistema che raccoglie e produce linformazione usando diversi media Un sistema che raccoglie e produce linformazione usando diversi media Codice ( code ) e codifica ( encoding )Codice ( code ) e codifica ( encoding ) Insieme di convenzione usate per rappresentare linformazione. Insieme di convenzione usate per rappresentare linformazione. es. La stampa (= un medium) può contenere diversi codici come le immagine, diagrammi, testo. es. La stampa (= un medium) può contenere diversi codici come le immagine, diagrammi, testo.

42 Multimediali vs Multimodali Sistemi multimediali e multimodaliSistemi multimediali e multimodali Usano diversi media e canali di communicazione.. Usano diversi media e canali di communicazione.. Sistemi multimodali ( multimodal systems ) Sistemi multimodali ( multimodal systems ) Cercano di capire e processare il significato sottostante dellinformazione. Cercano di capire e processare il significato sottostante dellinformazione. Sistemi multimedia ( multimedia systems )Sistemi multimedia ( multimedia systems ) Si focalizzano sul medium, i.e., sulla tecnologia più che sullutente ( application level ) Si focalizzano sul medium, i.e., sulla tecnologia più che sullutente ( application level )

43 Motivazione per la multimodalità

44 ma prima, ricordiamoci…

45 The Mother of All Demos A research center for augmenting human intellect ( Doublas Engelbart)

46 1. Communicazione tra uomini ( human- human communication ) è multimodale Uomini usano diversi canali per communicareUomini usano diversi canali per communicare La parola è spesso accompagnata dai gesti e movimenti del corpo. La parola è spesso accompagnata dai gesti e movimenti del corpo. Lo sguardo e il contatto visivo è molto importante nella communicazione Lo sguardo e il contatto visivo è molto importante nella communicazione Lespressione faciale o la prosodia contribuiscono alla comprensione di un messaggio. Lespressione faciale o la prosodia contribuiscono alla comprensione di un messaggio.

47 McGurk effects (1976)

48 Gesto espressivo, Multimodalità e Teorie motorie della Percezione Il nostro sistema percettivo è legato alle nostre capacità motorie Johnson on rhythm perception (range between extremes) Johnson on rhythm perception (range between extremes) McGurk effects (1976) McGurk effects (1976) Hearing lips and seeing voicesHearing lips and seeing voices

49 2. Scegliere gli input / output più efficienti Alcuni tipi di contenuto sono più facilmente espressi con modalità non-verbali (es. disegnare I bordi di unarea). Anche se per alcune informazione, la communicazione verbale conviene meglio (es. la parte sinistra del fiume).Alcuni tipi di contenuto sono più facilmente espressi con modalità non-verbali (es. disegnare I bordi di unarea). Anche se per alcune informazione, la communicazione verbale conviene meglio (es. la parte sinistra del fiume).

50 3. Adattarsi allambiente Interfacce multimodali permettono un adattazione rapida allambiente (changing environment), usando la modalità più adequata o perche riesce a combinare diverse modalitàInterfacce multimodali permettono un adattazione rapida allambiente (changing environment), usando la modalità più adequata o perche riesce a combinare diverse modalità

51 4. Task performance and user preference Molte studi empiriche mostrano che le interfacce multimodali migliorano le prestazione (task performance) e sono preferite alle interfacce unimodali:Molte studi empiriche mostrano che le interfacce multimodali migliorano le prestazione (task performance) e sono preferite alle interfacce unimodali: Clear advantages over unimodal speech for map-based tasks (Oviatt, 1996); Clear advantages over unimodal speech for map-based tasks (Oviatt, 1996); Faster than GUI for map-based task (Cohen et al., 1998); Faster than GUI for map-based task (Cohen et al., 1998); Faster than GUI for drawing application (Nishimoto et al., 1995); Faster than GUI for drawing application (Nishimoto et al., 1995); User preference for speech and gesture in object manipulation task (Hauptmann, 1989). User preference for speech and gesture in object manipulation task (Hauptmann, 1989).

52 5. Riduzione dellerrore ( Error handling ) Le interfacce multimodale permettono di ridurre lerrore:Le interfacce multimodale permettono di ridurre lerrore: Mode switching: utilizzo di modalità alternativa per uscire dalla spirali di errore commesse in una modalità (es. Parlare e puntare) Mode switching: utilizzo di modalità alternativa per uscire dalla spirali di errore commesse in una modalità (es. Parlare e puntare) Cross-modal compensation: utilizzo dellinformazione fornita da una modalità per compensare gli errori fatti in unaltra modalità (es. compensare linformazione audio con quella visuale per localizzare lutente) Cross-modal compensation: utilizzo dellinformazione fornita da una modalità per compensare gli errori fatti in unaltra modalità (es. compensare linformazione audio con quella visuale per localizzare lutente) Multimodal confirmation: utilizzo dellinformazione di una modalità per confermare i risultati ottenuti dallanalisi dei dati proveniente da un altra modalità Multimodal confirmation: utilizzo dellinformazione di una modalità per confermare i risultati ottenuti dallanalisi dei dati proveniente da un altra modalità

53 Motivazione per la multimodalità Table by Michael Johnston, AT&T Labs-Research, 2006.

54 1.Communicazione tra uomini ( human-human communication ) è multimodale 2.Scegliere gli input / output più efficienti 3.Adattarsi allambiente 4.Task performance and user preference 5.Riduzione dellerrore (Error handling) Motivazione per la multimodalità

55 Migrazione del Human Computer interface (HCI) – via dalla scrivania…

56 Dispositivi piccoli e portatili (PDA, organizers, smartphone Dispositivi piccoli e portatili (PDA, organizers, smartphone Wall-size displays Wall-size displays Multi-touch displays Multi-touch displays In vehicle applications In vehicle applications Public kiosks Public kiosks Migrazione del Human Computer interface (HCI) – via dalla scrivania…

57 Virtual reality, augmented reality, mixed reality Virtual reality, augmented reality, mixed reality Pervasive computing, ubiquitous computing, disappearing computing, ambient intelligence Pervasive computing, ubiquitous computing, disappearing computing, ambient intelligence Context-aware computing Context-aware computing Human-robot interaction Human-robot interaction Wearable computing Wearable computing Smart environments Smart environments Tangible interfaces Tangible interfaces Migrazione del Human Computer interface (HCI) – via dalla scrivania…

58 The experience of Casa Paganini – InfoMus:The experience of Casa Paganini – InfoMus: Applications to cultural heritage Applications to cultural heritage Applications to performing arts Applications to performing arts Migrazione del Human Computer interface (HCI) – via dalla scrivania…

59 Lesperienza di Casa Paganini – InfoMus:Lesperienza di Casa Paganini – InfoMus: Applications to therapy and rehabilitation Applications to therapy and rehabilitation Applications to mobile devices Applications to mobile devices Migrazione del Human Computer interface (HCI) – via dalla scrivania…

60 Ambienti reali e virtuali Ambienti reali ( real environments ) : ambienti governati dalle legge della fisicaAmbienti reali ( real environments ) : ambienti governati dalle legge della fisica Ambienti virtuali ( virtual environments ) – VEs ambienti artificiali che possono simulare un ambiente ficio esistente o no. I VEs non sono governati dalle legge della fisica.Ambienti virtuali ( virtual environments ) – VEs ambienti artificiali che possono simulare un ambiente ficio esistente o no. I VEs non sono governati dalle legge della fisica.

61 Ambienti reali e virtuali Realtà virtuale (virtual reality) – VR condizione in cui il partecipante è totalmente immerso in un mondo artificiale (es. in una cantina – cave, o portando un schermo montato sulla testa ( Head-Mounted Displays – HMD)Realtà virtuale (virtual reality) – VR condizione in cui il partecipante è totalmente immerso in un mondo artificiale (es. in una cantina – cave, o portando un schermo montato sulla testa ( Head-Mounted Displays – HMD)

62 Ambienti reali e virtuali La distinzione tra ambienti reali e virtuali non è sempre ovvia:La distinzione tra ambienti reali e virtuali non è sempre ovvia: Le immagine catturate da una video camera e dopo e riprodottte sono reali o virtuali? Le immagine catturate da una video camera e dopo e riprodottte sono reali o virtuali? Le reproduzioni visivi dei dati del mondo reale sono reali o virtuali? Le reproduzioni visivi dei dati del mondo reale sono reali o virtuali?

63 Ambienti reali e virtuali Milgram E Kishino, 1994 propongono 3 criteri per distinguere le due ambienti.Milgram E Kishino, 1994 propongono 3 criteri per distinguere le due ambienti. Oggetti reali vs virtuali ( real vs virtual objects ) Oggetti reali vs virtuali ( real vs virtual objects ) Osservazione diretta vs indiretta ( direct vs non-direct viewing ) Osservazione diretta vs indiretta ( direct vs non-direct viewing ) Immagini reali vs virtuali ( real vs virtual images ) Immagini reali vs virtuali ( real vs virtual images )

64 Oggetti reali vs virtuali Oggetti reali: oggetti che hanno un esistenza obiettivaOggetti reali: oggetti che hanno un esistenza obiettiva Gli oggetti reali possono essere osservati direttamenti o possono essere campionati e ri-produtti tramite dispositivi visivi. Gli oggetti reali possono essere osservati direttamenti o possono essere campionati e ri-produtti tramite dispositivi visivi. Oggetti virtuali: oggetti che esistono in essenzia ma non atttualizzati (possono esistere nel mondo reale ma non nel contesto attuale)Oggetti virtuali: oggetti che esistono in essenzia ma non atttualizzati (possono esistere nel mondo reale ma non nel contesto attuale) Gli oggetti virtuali devono essere simulati. Questa necessita luso di un modello di loro, una loro descrizione formale. Gli oggetti virtuali devono essere simulati. Questa necessita luso di un modello di loro, una loro descrizione formale.

65 Milgram, P., and Kishino, A. F., Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77- D(12), pp Ambienti reali e virtuali

66 Osservazione diretta vs indiretta Oggetti reali: possono essere visti direttamenteOggetti reali: possono essere visti direttamente Possono anche essere visti indirettamente (via video captazione + riproduzione tramite media)Possono anche essere visti indirettamente (via video captazione + riproduzione tramite media) Oggetti virtuali: possono soltanto essere sintetizzati e quindi essere visti indirettamente. Anche se possono sembrare realistici, non vuole dire che sono reali.Oggetti virtuali: possono soltanto essere sintetizzati e quindi essere visti indirettamente. Anche se possono sembrare realistici, non vuole dire che sono reali.

67 Immagini reali vs virtuali Immagini reali: Sono immagini che hanno una certa luminosità nella locazione dove appaiono.Immagini reali: Sono immagini che hanno una certa luminosità nella locazione dove appaiono. Questa definizione copre quello che è percepitto tramite losservazione diretta di un oggetto reale e anche limmagine su un display. Questa definizione copre quello che è percepitto tramite losservazione diretta di un oggetto reale e anche limmagine su un display. Immagini virtuali: sono immagini che non hanno specifica luminosità nella locazione dove appaiaiono.Immagini virtuali: sono immagini che non hanno specifica luminosità nella locazione dove appaiaiono. es. Ologrammi, display stereoscopisci (immagini di destra e sinistra sono reali la la loro fusione è virtuale) es. Ologrammi, display stereoscopisci (immagini di destra e sinistra sono reali la la loro fusione è virtuale)

68 Very important…

69 The Mixed Reality Continuum Ambienti reali e virtuali non sono antiteci. Sono le due estreme di un continum di ambienti di realtà composta( mixed reality )Ambienti reali e virtuali non sono antiteci. Sono le due estreme di un continum di ambienti di realtà composta( mixed reality ) Milgram, P., and Kishino, A. F., Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77- D(12), pp

70 Realtà aumenta e virtualità Realtà aumentata (augmented reality): un ambiente reale è aumentato con oggetti e soggetti sintetici/artificiali.Realtà aumentata (augmented reality): un ambiente reale è aumentato con oggetti e soggetti sintetici/artificiali. Ambienti di realtà aumentata sono ambienti di realtà mescolata vicini al mondo reale Ambienti di realtà aumentata sono ambienti di realtà mescolata vicini al mondo reale Virtualità aumentata: un ambiente virtuale è aumentata con oggetti e soggetti reali.Virtualità aumentata: un ambiente virtuale è aumentata con oggetti e soggetti reali. Ambienti di virtualità aumentata sono ambienti di realtà mescolata vicini al mondo virtuale. Ambienti di virtualità aumentata sono ambienti di realtà mescolata vicini al mondo virtuale.

71 Realtà aumenta e virtualità Nel centro del continuum di mixed reality, realtà e virtualità non possono più essere distinti (idealmente)Nel centro del continuum di mixed reality, realtà e virtualità non possono più essere distinti (idealmente)

72 Realtà composta ( mixed reality ) La mixed reality ( MR ) è nata per risolvere problemi come la mancazza di realismo dei mondi virtuali completamenti sintetizzati.La mixed reality ( MR ) è nata per risolvere problemi come la mancazza di realismo dei mondi virtuali completamenti sintetizzati. Ambienti di mixed reality integrano elementi del mondo virtuale e reale (oggetti e soggetti)Ambienti di mixed reality integrano elementi del mondo virtuale e reale (oggetti e soggetti) In questi ambienti, soggetti reali possono communicare con soggetti virtuali e con lambiente tramite => interfacce multimodali interfacce multimodali <=

73 Mixed Reality e modalità sensoriali La mixed reality spesso si basa sulla modalità visuale.La mixed reality spesso si basa sulla modalità visuale. Ci sono ambienti di mixed reality ( MR environments ) alternativi:Ci sono ambienti di mixed reality ( MR environments ) alternativi: Auditory AR : synthetic spatialized sounds mixed with natural sounds from the immediate real environment (e.g., Cohen et al., 1993). Auditory AR : synthetic spatialized sounds mixed with natural sounds from the immediate real environment (e.g., Cohen et al., 1993). Haptic AR : synthetically generated tactile information delivered by sensorized gloves (e.g., Brooks et al., 1990). Haptic AR : synthetically generated tactile information delivered by sensorized gloves (e.g., Brooks et al., 1990). Vestibular AR : synthesized information about acceleration of the participants body (e.g., flight simulators). Vestibular AR : synthesized information about acceleration of the participants body (e.g., flight simulators).

74 Mixed Reality : una tassonomia Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di mixed reality ( mixed realtiy environments )Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di mixed reality ( mixed realtiy environments ) La classificazione si basa su 3 dimensione:La classificazione si basa su 3 dimensione: Estenzione della conoscenza del mondo ( Extent of World Knowledge) Estenzione della conoscenza del mondo ( Extent of World Knowledge) Fedeltà nella riproduzione ( Reproduction Fidelity ) Fedeltà nella riproduzione ( Reproduction Fidelity ) Estensione della Presenza ( Extent of Presence) Estensione della Presenza ( Extent of Presence) Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolataAbbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolata

75 Realtà mescolata : una tassonomia Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di realtà mescolata (mixed realtiy environments)Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di realtà mescolata (mixed realtiy environments) La classificazione si basa su 3 dimensione:La classificazione si basa su 3 dimensione: Estenzione della conoscenza del mondo ( Extent of World Knowledge) Estenzione della conoscenza del mondo ( Extent of World Knowledge) Fedeltà nella riproduzione ( Reproduction Fidelity ) Fedeltà nella riproduzione ( Reproduction Fidelity ) Estensione della Presenza ( Extent of Presence) Estensione della Presenza ( Extent of Presence) Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolataAbbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolata

76 Estenzione della conoscenza del mondo Fedeltà nella riproduzione Estensione della Presenza Realtà mescolata : una tassonomia

77 Estenzione della conoscenza del mondo ( Extent of world Knowledge ) Definisce quanto il sistema di mixed reality conosce degli oggetti e del mondo in cui questi oggetti sono mostrati. Definisce quanto il sistema di mixed reality conosce degli oggetti e del mondo in cui questi oggetti sono mostrati. Es., a un estremo, niente è conosciuto, nellaltro estremo, mondo è completamente modellato per poter mostrare un mondo virtuale totale. Es., a un estremo, niente è conosciuto, nellaltro estremo, mondo è completamente modellato per poter mostrare un mondo virtuale totale.

78 Fedeltà nella riproduzione ( Reproduction Fidelity ) Se riferisce alla qualità relativa con quale il media ( synthesizing display ) riesce a riprodurre limagine attuale degli oggetti.Se riferisce alla qualità relativa con quale il media ( synthesizing display ) riesce a riprodurre limagine attuale degli oggetti. Concerne oggetti reali e virtuali. Quando la qualità massima è raggi)nta, sarebbe impossible distinguere oggetti dal mondo reale da quelli del mondo virtuale (punto centrale del MR continuum) Concerne oggetti reali e virtuali. Quando la qualità massima è raggi)nta, sarebbe impossible distinguere oggetti dal mondo reale da quelli del mondo virtuale (punto centrale del MR continuum)

79 Estensione della Presenza ( Extent of Presence ) Lasse dellestensione della metafora della presenza ( Extent of Presence Metaphor – EPM ) se riferisce a quando losservatore pensa di sentirci in presenza dei oggeti /soggetti a lui presentati.[legato alla nozione di immersività]Lasse dellestensione della metafora della presenza ( Extent of Presence Metaphor – EPM ) se riferisce a quando losservatore pensa di sentirci in presenza dei oggeti /soggetti a lui presentati.[legato alla nozione di immersività] Questa dimensione è strettamente legata ai dispositivi visivi usati. Il massimo corrisponde al momento dove non cè differenza tra losservazione diretta e mediatizzata. Questa dimensione è strettamente legata ai dispositivi visivi usati. Il massimo corrisponde al momento dove non cè differenza tra losservazione diretta e mediatizzata.

80 Approci complementari |alternativi al MR Aldila della realtà aumentata ( augmented reality ) e della virtualità ( virtualità ), altri approci alternativi | complementari includono:Aldila della realtà aumentata ( augmented reality ) e della virtualità ( virtualità ), altri approci alternativi | complementari includono: Mixed reality Boundaries (Confinare la realtà composta) : cerca di strutturare nello spazio, tramite chiusuri fisici (boundaries) i rapporti tra ambienti reali e virtuali. Mixed reality Boundaries (Confinare la realtà composta) : cerca di strutturare nello spazio, tramite chiusuri fisici (boundaries) i rapporti tra ambienti reali e virtuali. Tangible Bits : gli utenti possono afferrare e manipulare (grasp and manipulate ) i bits, perchè questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits diventano tangibili ( tangible ), facendo da ponte tra mondi reali e virtuali. Tangible Bits : gli utenti possono afferrare e manipulare (grasp and manipulate ) i bits, perchè questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits diventano tangibili ( tangible ), facendo da ponte tra mondi reali e virtuali.

81 Mixed Reality Boundaries Mixed reality boundaries (Benford et al, 1998). d/ Mixed reality boundaries (Benford et al, 1998). d/ Trasmitte informazione tra ambienti reali e virtuali per dare la sensazione che sono aggiacenti ma che costituiscono due parte distinti di un spazio combinato. Trasmitte informazione tra ambienti reali e virtuali per dare la sensazione che sono aggiacenti ma che costituiscono due parte distinti di un spazio combinato.

82 Mixed Reality Boundaries Una caratteristica distintiva di questa approcio basato sulla nozione di confine |limite | frontiera ( boundary ) è labilità a mettere insieme diversi spazi sintettici (virtuali) e fisici (reali) in un unico insieme composite ( tessellated mixed reality )Una caratteristica distintiva di questa approcio basato sulla nozione di confine |limite | frontiera ( boundary ) è labilità a mettere insieme diversi spazi sintettici (virtuali) e fisici (reali) in un unico insieme composite ( tessellated mixed reality ) Si concentra sui problemi al livello macro (costruire strutture larghe di mixed reality )Si concentra sui problemi al livello macro (costruire strutture larghe di mixed reality )

83 Mixed Reality Boundaries : proprietà Permeability : come le frontiere influenzano linformazione sensoriale che passa tra I spazi legati. IncludePermeability : come le frontiere influenzano linformazione sensoriale che passa tra I spazi legati. Include Visibility: che informazione visiva è permesso attraverso la frontiera Visibility: che informazione visiva è permesso attraverso la frontiera Audibility Che informazione audio è permesso attraverso la frontiera Audibility Che informazione audio è permesso attraverso la frontiera Solidity: labilità di traversare la frontiera, es estendere metaforicamente un membro attraverso la frontiera, spingere un oggetto attraverso la frontierea, passare attraverso la frontiere e assumere il controllo di un avatar sullaltro latto (side) Solidity: labilità di traversare la frontiera, es estendere metaforicamente un membro attraverso la frontiera, spingere un oggetto attraverso la frontierea, passare attraverso la frontiere e assumere il controllo di un avatar sullaltro latto (side)

84 Mixed Reality Boundaries : proprietà Il potential per combinare diversi effetti di visibilità e audibilità, con vari gradi di solidità permettono di definire un largha varietà di tipi di frontiere (boundary type)Il potential per combinare diversi effetti di visibilità e audibilità, con vari gradi di solidità permettono di definire un largha varietà di tipi di frontiere (boundary type) Frontiera fisiche abituale : finestra, muri, enclos, barrières, specchi, linee sulla terra Frontiera fisiche abituale : finestra, muri, enclos, barrières, specchi, linee sulla terra Nuovi : che non hanno nessun contreparte fisiche commune Nuovi : che non hanno nessun contreparte fisiche commune

85 Mixed Reality Boundaries : proprietà Situazione: concerne la relatione spaziale tra le frontiere MR, I spazi fisici e virtuali, I partecipanti e gli oggetti:Situazione: concerne la relatione spaziale tra le frontiere MR, I spazi fisici e virtuali, I partecipanti e gli oggetti: Localizazione: la posizione della frontiera negli spazi connessi (es verticale vs orizontale) Localizazione: la posizione della frontiera negli spazi connessi (es verticale vs orizontale) Alignment: lorientamento della frontiera rispetto ai partecipanti e oggetti Alignment: lorientamento della frontiera rispetto ai partecipanti e oggetti Mobility: se la frontiera è statica o si muovo nello spazio e nel tempo Mobility: se la frontiera è statica o si muovo nello spazio e nel tempo Segmentazione: se la frontiera e costituta da un o diversi segmenti Segmentazione: se la frontiera e costituta da un o diversi segmenti Spatial consistency: come le coordinate spaziale di un sistema sono connessi al laltro. Spatial consistency: come le coordinate spaziale di un sistema sono connessi al laltro.

86 Mixed Reality Boundaries : proprietà Dynamics: concerne le proprietà temporale della frontiera, includeDynamics: concerne le proprietà temporale della frontiera, include Lifetime: se riferisce al quando e per quanto tempo la frontiera esistera Lifetime: se riferisce al quando e per quanto tempo la frontiera esistera Configurability : descrive come dinamicamente le varie caratteristiche della frontiere possano cambiare Configurability : descrive come dinamicamente le varie caratteristiche della frontiere possano cambiare Symmetry : se riferisce a quanto le caratteristiche delle frontiere sono configurate segondo il spazio cossiderrato da entrambi le parte Symmetry : se riferisce a quanto le caratteristiche delle frontiere sono configurate segondo il spazio cossiderrato da entrambi le parte Rappresentazione: describe come la proprietà delle frontiere sono resi visibili ai partecipanti, e che mezzi di rappresentazione sono usate. Rappresentazione: describe come la proprietà delle frontiere sono resi visibili ai partecipanti, e che mezzi di rappresentazione sono usate.

87 Tangible Bits Lapprocio sviluppato da Ishii et al. al MIT Media Lab (Ishii & Ullmer, 1997)Lapprocio sviluppato da Ishii et al. al MIT Media Lab (Ishii & Ullmer, 1997) Tangible Bits : gli utenti possono afferrare e manipulare (grasp and manipulate ) i bits, perchè questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits diventano tangibili ( tangible ), facendo da ponte tra mondi reali e virtuali. Tangible Bits : gli utenti possono afferrare e manipulare (grasp and manipulate ) i bits, perchè questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits diventano tangibili ( tangible ), facendo da ponte tra mondi reali e virtuali. Gli utenti diventano coscienti anche dellinformazione contenuta nel loro ambito ( backgrounds bits ) perchè possono usare come media la luce, il suono, I correnti daria o I movimenti dellacquaGli utenti diventano coscienti anche dellinformazione contenuta nel loro ambito ( backgrounds bits ) perchè possono usare come media la luce, il suono, I correnti daria o I movimenti dellacqua

88 Tangible Bits Tangible Bits sono stati il primo approcio dei Tangible User Interfaces (TUIs), dando I primi concetti di base per molti interfacci attualiTangible Bits sono stati il primo approcio dei Tangible User Interfaces (TUIs), dando I primi concetti di base per molti interfacci attuali Physical instantiation of GUI elements in TUI (Ishii and Ullmer, 1997)

89 Tangible Bits: Prototypes metaDESK (Ishii and Ullmer, 1997) ambientROOM (Ishii and Ullmer, 1997) Phicons transBOARD (Ishii and Ullmer, 1997)

90 Esempi di MR Applications Medical applications Simulators The Internet Foyer (Benford et al., 1998) (Mixed Reality Boundaries) Museum and cultural applications

91 Esempi di MR Devices Head-Mounted Display (HMD) Computer Aided Virtual Environment (CAVE) adopted by Miele for the development of their products Data gloves

92 Quadro concettuale ( Conceptual Framework ) Diversi quadri concettuali sono stati proposti per creare sistemi multimodali.Diversi quadri concettuali sono stati proposti per creare sistemi multimodali. Non sono archittetturi, ma livelli di astrazione superiore allarchittetturaNon sono archittetturi, ma livelli di astrazione superiore allarchittettura Non indicano come I componenti devono essere allocati ai dispositivi hardware ne parlano della communicazione tra dispositiviNon indicano come I componenti devono essere allocati ai dispositivi hardware ne parlano della communicazione tra dispositivi Quadri concettuali sono stati sviluppati per sistemi multimodali dedicati alla communicazione verbale o non- verbale.Quadri concettuali sono stati sviluppati per sistemi multimodali dedicati alla communicazione verbale o non- verbale.


Scaricare ppt "HCI e Sistemi multimodali. 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle interazione uomo- machina e elaborazione di interfacce informaticheHCI."

Presentazioni simili


Annunci Google