HCI e Sistemi multimodali

Presentazione sul tema: "HCI e Sistemi multimodali"— Transcript della presentazione:

1 HCI e Sistemi multimodali

2 Concetti Chiave (HCI – Human-Computer Interaction)
HCI Design : studi delle interazione uomo- machina e elaborazione di interfacce informatiche HCI Paradigm : Paradigma o modello di riferimento d’interfacce informatiche

3 Cambiamento di paradigma
Prima Ogni azione dell’utente è esplicita e si riduce a un atto di commando Dopo (…ora) L’utente deve accedere all’informazione in modo naturale come lo farebbe con un altro uomo

4 Nuovo paradigma (HCI – Human-Computer Interaction)
Interfacce portatili, “sensibili” e integrate nell’ambiente Ubiquitous computing [Weiser] Ambient intelligence [Shadbolt] Pervasive Intelligence [Hansmann]

5 WIMP

6 Wimp Oggi, le interfacce più usate sono le interfacce grafiche (Graphical user interfaces – GUIs) Adottano il paradigm chiamato WIMP i.e. Windows, Icons, Menus con un Pointing Device

7 Wimp Le interfacce WIMP sono diventate prevalente perché:
permettono di organizzare con efficienza le zone di lavoro (workspaces), i documenti e le possibilità per modificarli. L’analogia dei documenti con i fogli di carta (spreadsheet) o le cartelle (folder) le rendono accessibili al più grande numero di utenti.

8 Wimp Le interfacce WIMP sono diventate prevalente perché:
la rappresentazione come regione rettangolare su uno schermo 2D piatto (2D flat screen) facilita la programmazione La loro generalità (generality) le rende perfetto (suitable) per une ambiente multi-tasking (multitasking work environments)

9 La metafora della scrivania (desktop)
Il paradigmo WIMP è utilizzato per implementare la metafora molto diffusa della scrivania (desktop), un concetto unificante per le interface grafiche (GUI).

10 La metafora della scrivania (desktop)
La desktop metaphor considera lo schermo (monitor) di un computer (computer) come la scrivania di un utente (user), sopra quale oggetti, come documenti e cartelle possono essere disposti. Un documento può essere aperto dentro una finestra che rappresenta la copia spostata sulla scrivania Piccole applicazione chiamate accessorie sono a disposizione (es. calcolatrice, quaderno –notepad)

11 Il ruolo dell’informazione
Talvolta l’informazione è troppa…

12 Post-WIMP

13 Post-WIMP Le interfacce WIMP non sono ottimizzate per compiti complessi (es. computer-aided design) o per applicazione che richiedono paradigmi di interazione più naturale (es. giochi interrativi).

14 Post-WIMP Il scopo delle interfacce post-WIMP è di oltrepassare questi problemi (compiti complessi e interazioni naturali) includono sistemi di realtà virtuale, interfacce utente (grafiche) basate sui gesti, la parola e il controllo fisico. integrano input da una varietà di canali sensoriali e producono output multimediali (multimedia output)

15 Post-WIMP Sfruttano le caratteristiche del sistema sensoriale umano
Le interfacce post-WIMP sono basate sui modelli e teorie della psicologia, fisiologia, biomeccanica, neuroscienze, cognitive e scienze sociale e si ispiranno a teorie umanistiche. Come tale, si avvalgono: delle caratteristiche del sistema sensoriale umano dei canali sensoriali multipli del interconnessione tra canali sensoriali delle capacità di communicazione non-verbale delle emozione Sfruttano le caratteristiche del sistema sensoriale umano Sfruttano

16 Interfacce multimodali (Multimodal interfaces)
Le interfacce post-WIMP sono spesso delle interfacce multimodali (multimodal interfaces) perché si avvalgono delle modalità sensoriale multiple. 3 parole chiave (keywords) Modalità sensoriale (sensory modality) Fase (mode) Multimodale

17 Interfacce multimodali (Multimodal interfaces)
Modalità sensoriale (sensory modality): il canale sensoriale tramite quale l’informazione è percepitta. Se riferisce al tipo ci canale di communicazione (communication channel) usato per trasferrire o acquisire l’informazione Fase (mode): uno stato che determina come l’informazione è interprettata per estrarre o trasferrire il suo significato. Multimodale se riferisce all’integrazione dell’informazione proveniente da diversi canali sensoriali

18 Interfacce multimodali (Multimodal interfaces)
Modalità sensoriale (sensory modality): il canale sensoriale tramite quale l’informazione è percepitta. Se riferisce al tipo ci canale di communicazione (communication channel) usato per trasferrire o acquisire l’informazione Fase (mode): uno stato che determina come l’informazione è interprettata per estrarre o trasferrire il suo significato. Multimodale se riferisce all’integrazione dell’informazione proveniente da diversi canali sensoriali

19 Interfacce multimodali (Multimodal interfaces)
Modalità sensoriale (sensory modality): il canale sensoriale tramite quale l’informazione è percepitta. Se riferisce al tipo ci canale di communicazione (communication channel) usato per trasferrire o acquisire l’informazione Fase (mode): uno stato che determina come l’informazione è interprettata per estrarre o trasferrire il suo significato. Multimodale se riferisce all’integrazione dell’informazione proveniente da diversi canali sensoriali

20 Interfacce multimodali (Multimodal interfaces)
Microphones Videocameras Sound / Speech Body posture Gaze Facial expressions Head movements Physiological measurements indicators Gesture Full-Body movement

21 Multimodalità al livello neuro-fisiologico ?

22 Modalità sensoriali (overview)

23 Sistemi Multimodali, definizioni “standard”

24 Sistemi Multimodali (Multimodal systems)
I sistemi multimodali sono : “systems that support a user communicating with an application by using different modalities such as voice (in a human language), gesture, handwriting, typing, audio- visual speech, etc.” W3C Multimodal Interaction Working Group, Multimodal Interaction Requirements, W3C NOTE 8 January W3C is The World Wide Web Consortium

25 Sistemi Multimodali (Multimodal systems)
“A multimodal HCI system is simply one that responds to inputs in more than one modality or communication channel (e.g., speech, gesture, writing, and others).” (Jaimes, A., Sebe, N., Multimodal human–computer interaction: A survey. Computer Vision and Image Understanding, 108 : 116–134, Elsevier)

26 Sistemi Multimodali (Multimodal systems)
L’uttente fornisce (provide) un input in una o più modalità e riceve un output in una o più modalità sensoriale.

27 INPUT (classificazione)
Un input può essere classificato come Sequenziale: l’input è ricevuto su una singola modalità, anche se questa modalità può cambiare Simultaneo: l’input è ricevuto sulle diverse modalità, e trattato separatamente in ogni di queste modalità [Composite: l’input è ricevuto sui diverse modalità nello stesso tempo e trattato come un unico input composite.]

28 INPUT processing I tipi di trattamento dell’input è chiamato input processing Es. Input della parola (speech input) pu essere un input per un sistema di riconoscimento della parola (e.g., richiede un’interpretazione semantica per estrare l’informazione significante (es. Rappresentazione semantiche)

29 INPUT processing Attenzione !
un input simultaneo e composite possono essere in conflitto nel senso che l’interpretazione dell’input può essere contraditorio (es. L’uttente dice “si” e clicca “no”)

30 INPUT processing Il comportamento sincrono di un applicazione descrive
(i) il modo in cui l’input trasmesso in una modalità si riflette nell’output di un’altra modalità (ii) il modo in cui l’input si combina attraverso le diverse modalità (coordinazione)

31 OUTPUT L’output generato da un sistemo multimodale può prendere diverse forme: audio, visuale, haptic feedback, luce

32 Sistemi Multimodali (Multimodal systems)
In riasunto, I sistemi multimodali sono sistemi computazionali che: (INPUT & INPUT PROCESSING) Osservano l’utente e raccogliono, analisano e integrano informazione da diverse modalità sensoriale Creano rappresentazione interne dell’utente (es. in termine di stati cognitivi o emozionali)

33 Sistemi Multimodali (Multimodal systems)
In riasunto, I sistemi multimodali sono sistemi computazionali che: (OUTPUT & OUTPUT PROCESSING) Producono una risposta (feedback) multimedia in tempo reale per l’utente, basato sull’analisi dell’input, il modello interno e il compito che sta realizzando l’utente Forniscono all’utente un interfaccia multimodale per realizzare compiti complessi che richiedono interazioni naturali

34 Sistemi Multimodali specifici (Specific Multimodal systems)
Perceptual User Interface (PUIs) Basata sulle tecniche di interazione che combinano una comprensione delle capacità umane (communicative, motore, conative e percettuale, e l’uso di dispositivi computazionali I/O e sistemi d’intelligenza artificiale

35 Sistemi Multimodali specifici (Specific Multimodal systems)
Attentive Interfaces Sono interfacce sensibili al contesto, che si basano sulle capacità attenzionale della personna.Cercano di cogliere il momento piu opportuno per esporre l’informazione all’utente e communicare con lui.

36 Sistemi Multimodali specifici (Specific Multimodal systems)
Enactive Interfaces Aiuta l’utente a communicare tramite una forma di conoscenza “prattica” detta enactive e non più solo simbolica. Si basano sulla partecipazione attiva, fisica (mani, corpo) dell’utente.

37 Sistemi Multimodali specifici (Specific Multimodal systems)
Affective Interfaces Queste interfacce si avvalgano delle emozione, o di maniera più generale, dell’espressività dell’utente per rendere l’interazione più naturale. Si basano sull’analisi del contenuto espressivo communicato dall’utente tramite diversi canali sensoriali.

38 Problemi per cambiare di paradigmi ?

39

40 Sistemi multimediali

41 Sistemi Multimediali (Multimedia systems)
Medium Il mezzo usato per trasmettere l’informazione (es. Stampa, video, audio, s…) Sistemi multimedia (multimedia systems) Un sistema che raccoglie e produce l’informazione usando diversi media Codice (code) e codifica (encoding) Insieme di convenzione usate per rappresentare l’informazione. es. La stampa (= un medium) può contenere diversi codici come le immagine, diagrammi, testo.

42 Multimediali vs Multimodali
Sistemi multimediali e multimodali Usano diversi media e canali di communicazione.. Sistemi multimodali (multimodal systems) Cercano di capire e processare il significato sottostante dell’informazione. Sistemi multimedia (multimedia systems) Si focalizzano sul medium, i.e., sulla tecnologia più che sull’utente (application level)

43 Motivazione per la multimodalità

44 ma prima, ricordiamoci…

45 The Mother of All Demos A research center for augmenting human intellect (Doublas Engelbart)

46 1. Communicazione tra uomini (human-human communication) è multimodale
Uomini usano diversi canali per communicare La parola è spesso accompagnata dai gesti e movimenti del corpo. Lo sguardo e il contatto visivo è molto importante nella communicazione L’espressione faciale o la prosodia contribuiscono alla comprensione di un messaggio.

47 McGurk effects (1976)

48 Gesto espressivo, Multimodalità e Teorie motorie della Percezione
Il nostro sistema percettivo è legato alle nostre capacità motorie Johnson on rhythm perception (range between extremes) McGurk effects (1976) “Hearing lips and seeing voices”

49 2. Scegliere gli input / output più efficienti
Alcuni tipi di contenuto sono più facilmente espressi con modalità non-verbali (es. disegnare I bordi di un’area). Anche se per alcune informazione , la communicazione verbale conviene meglio (es. la parte sinistra del fiume).

50 3. Adattarsi all’ambiente
Interfacce multimodali permettono un adattazione rapida all’ambiente (changing environment), usando la modalità più adequata o perche riesce a combinare diverse modalità

51 4. Task performance and user preference
Molte studi empiriche mostrano che le interfacce multimodali migliorano le prestazione (task performance) e sono preferite alle interfacce unimodali: Clear advantages over unimodal speech for map-based tasks (Oviatt, 1996); Faster than GUI for map-based task (Cohen et al., 1998); Faster than GUI for drawing application (Nishimoto et al., 1995); User preference for speech and gesture in object manipulation task (Hauptmann, 1989).

52 5. Riduzione dell’errore (Error handling)
Le interfacce multimodale permettono di ridurre l’errore: Mode switching: utilizzo di modalità alternativa per uscire dalla “spirali di errore commesse in una modalità (es. Parlare e puntare) Cross-modal compensation: utilizzo dell’informazione fornita da una modalità per compensare gli errori fatti in un’altra modalità (es. compensare l’informazione audio con quella visuale per localizzare l’utente) Multimodal confirmation: utilizzo dell’informazione di una modalità per confermare i risultati ottenuti dall’analisi dei dati proveniente da un altra modalità

53 Motivazione per la multimodalità
Table by Michael Johnston, AT&T Labs-Research, 2006.

54 Motivazione per la multimodalità
Communicazione tra uomini (human-human communication) è multimodale Scegliere gli input / output più efficienti Adattarsi all’ambiente Task performance and user preference Riduzione dell’errore (Error handling)

55 Migrazione del Human Computer interface (HCI) – via dalla scrivania…

56 Migrazione del Human Computer interface (HCI) – via dalla scrivania…
Dispositivi piccoli e portatili (PDA, organizers, smartphone Wall-size displays Multi-touch displays In vehicle applications Public kiosks

57 Migrazione del Human Computer interface (HCI) – via dalla scrivania…
Virtual reality, augmented reality, mixed reality Pervasive computing, ubiquitous computing, disappearing computing, ambient intelligence Context-aware computing Human-robot interaction Wearable computing Smart environments Tangible interfaces

58 Migrazione del Human Computer interface (HCI) – via dalla scrivania…
The experience of Casa Paganini – InfoMus: Applications to cultural heritage Applications to performing arts

59 Migrazione del Human Computer interface (HCI) – via dalla scrivania…
L’esperienza di Casa Paganini – InfoMus: Applications to therapy and rehabilitation Applications to mobile devices

60 Ambienti reali e virtuali
Ambienti reali (real environments) : ambienti governati dalle legge della fisica Ambienti virtuali (virtual environments) – VEs ambienti artificiali che possono simulare un ambiente ficio esistente o no. I VEs non sono governati dalle legge della fisica.

61 Ambienti reali e virtuali
Realtà virtuale (virtual reality) – VR condizione in cui il partecipante è totalmente immerso in un mondo artificiale (es. in una “cantina” – cave, o portando un schermo montato sulla testa (Head-Mounted Displays – HMD)

62 Ambienti reali e virtuali
La distinzione tra ambienti reali e virtuali non è sempre ovvia: Le immagine catturate da una video camera e dopo e riprodottte sono reali o virtuali? Le reproduzioni visivi dei dati del mondo reale sono reali o virtuali?

63 Ambienti reali e virtuali
Milgram E Kishino, 1994 propongono 3 criteri per distinguere le due ambienti. Oggetti reali vs virtuali (real vs virtual objects) Osservazione diretta vs indiretta (direct vs non-direct viewing) Immagini reali vs virtuali (real vs virtual images)

64 Oggetti reali vs virtuali
Oggetti reali: oggetti che hanno un esistenza obiettiva Gli oggetti reali possono essere osservati direttamenti o possono essere campionati e ri-produtti tramite dispositivi visivi. Oggetti virtuali: oggetti che esistono in essenzia ma non atttualizzati (possono esistere nel mondo reale ma non nel contesto attuale) Gli oggetti virtuali devono essere simulati. Questa necessita l’uso di un modello di loro, una loro descrizione formale.

65 Ambienti reali e virtuali
Milgram, P., and Kishino, A. F., Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77-D(12), pp

66 Osservazione diretta vs indiretta
Oggetti reali: possono essere visti direttamente Possono anche essere visti indirettamente (via video captazione + riproduzione tramite media) Oggetti virtuali: possono soltanto essere sintetizzati e quindi essere visti indirettamente. Anche se possono sembrare realistici, non vuole dire che sono reali.

67 Immagini reali vs virtuali
Immagini reali: Sono immagini che hanno una certa luminosità nella locazione dove appaiono. Questa definizione copre quello che è percepitto tramite l’osservazione diretta di un oggetto reale e anche l’immagine su un display. Immagini virtuali: sono immagini che non hanno specifica luminosità nella locazione dove appaiaiono. es. Ologrammi, display stereoscopisci (immagini di destra e sinistra sono reali la la loro fusione è virtuale)

68 Very important…

69 The Mixed Reality Continuum
Ambienti reali e virtuali non sono antiteci. Sono le due estreme di un continum di ambienti di realtà composta(mixed reality) Milgram, P., and Kishino, A. F., Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77-D(12), pp

70 Realtà aumenta e virtualità
Realtà aumentata (augmented reality): un ambiente reale è aumentato con oggetti e soggetti sintetici/artificiali. Ambienti di realtà aumentata sono ambienti di realtà mescolata “vicini” al mondo reale Virtualità aumentata: un ambiente virtuale è aumentata con oggetti e soggetti reali. Ambienti di virtualità aumentata sono ambienti di realtà mescolata “vicini” al mondo virtuale.

71 Realtà aumenta e virtualità
Nel centro del continuum di mixed reality, realtà e virtualità non possono più essere distinti (idealmente)

72 Realtà composta (mixed reality)
La mixed reality(MR) è nata per risolvere problemi come la mancazza di realismo dei mondi virtuali completamenti sintetizzati. Ambienti di mixed reality integrano elementi del mondo virtuale e reale (oggetti e soggetti) In questi ambienti, soggetti reali possono communicare con soggetti virtuali e con l’ambiente tramite => interfacce multimodali <=

73 Mixed Reality e modalità sensoriali
La mixed reality spesso si basa sulla modalità visuale. Ci sono ambienti di mixed reality (MR environments) alternativi: Auditory AR : synthetic spatialized sounds mixed with natural sounds from the immediate real environment (e.g., Cohen et al., 1993). Haptic AR : synthetically generated tactile information delivered by sensorized gloves (e.g., Brooks et al., 1990). Vestibular AR : synthesized information about acceleration of the participant’s body (e.g., flight simulators).

74 Mixed Reality: una tassonomia
Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di mixed reality (mixed realtiy environments) La classificazione si basa su 3 dimensione: Estenzione della conoscenza del mondo (Extent of World Knowledge) Fedeltà nella riproduzione (Reproduction Fidelity) Estensione della Presenza (Extent of Presence) Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolata

75 Realtà mescolata : una tassonomia
Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di realtà mescolata (mixed realtiy environments) La classificazione si basa su 3 dimensione: Estenzione della conoscenza del mondo (Extent of World Knowledge) Fedeltà nella riproduzione (Reproduction Fidelity) Estensione della Presenza (Extent of Presence) Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolata

76 Realtà mescolata : una tassonomia
Estenzione della conoscenza del mondo Fedeltà nella riproduzione Estensione della Presenza

77 Estenzione della conoscenza del mondo (Extent of world Knowledge)
Definisce quanto il sistema di mixed reality conosce degli oggetti e del mondo in cui questi oggetti sono mostrati. Es., a un estremo, niente è conosciuto, nell’altro estremo, mondo è completamente modellato per poter mostrare un mondo virtuale totale.

78 Fedeltà nella riproduzione (Reproduction Fidelity)
Se riferisce alla qualità relativa con quale il media (synthesizing display) riesce a riprodurre l’imagine attuale degli oggetti. Concerne oggetti reali e virtuali. Quando la qualità massima è raggi)nta, sarebbe impossible distinguere oggetti dal mondo reale da quelli del mondo virtuale (punto centrale del MR continuum)

79 Estensione della Presenza (Extent of Presence)
L’asse dell’estensione della metafora della presenza (Extent of Presence Metaphor – EPM) se riferisce a quando l’osservatore pensa di sentirci in presenza dei oggeti /soggetti a lui presentati.[legato alla nozione di immersività] Questa dimensione è strettamente legata ai dispositivi visivi usati. Il massimo corrisponde al momento dove non c’è differenza tra l’osservazione diretta e mediatizzata.

80 Approci complementari |alternativi al MR
Aldila della realtà aumentata (augmented reality) e della virtualità (virtualità), altri approci alternativi | complementari includono: Mixed reality Boundaries (Confinare la realtà composta): cerca di strutturare nello spazio, tramite chiusuri fisici (boundaries) i rapporti tra ambienti reali e virtuali. Tangible Bits: gli utenti possono afferrare e manipulare (“grasp and manipulate”) i bits, perchè questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits diventano tangibili (tangible), facendo da ponte tra mondi reali e virtuali.

81 Mixed Reality Boundaries
Mixed reality boundaries (Benford et al, 1998). d/ Trasmitte informazione tra ambienti reali e virtuali per dare la sensazione che sono aggiacenti ma che costituiscono due parte distinti di un spazio combinato.

82 Mixed Reality Boundaries
Una caratteristica distintiva di questa approcio basato sulla nozione di confine |limite | frontiera (boundary) è l’abilità a mettere insieme diversi spazi sintettici (virtuali) e fisici (reali) in un unico insieme composite (tessellated mixed reality) Si concentra sui problemi al livello macro (costruire strutture larghe di mixed reality)

83 Mixed Reality Boundaries: proprietà
Permeability : come le frontiere influenzano l’informazione sensoriale che passa tra I spazi legati. Include Visibility: che informazione visiva è permesso attraverso la frontiera Audibility Che informazione audio è permesso attraverso la frontiera Solidity: l’abilità di traversare la frontiera, es estendere metaforicamente un membro attraverso la frontiera, spingere un oggetto attraverso la frontierea, passare attraverso la frontiere e assumere il controllo di un avatar sull’altro latto (side)

84 Mixed Reality Boundaries: proprietà
Il potential per combinare diversi effetti di visibilità e audibilità, con vari gradi di solidità permettono di definire un largha varietà di tipi di frontiere (boundary type) Frontiera fisiche abituale : finestra, muri, enclos, barrières, specchi, linee sulla terra Nuovi : che non hanno nessun contreparte fisiche commune

85 Mixed Reality Boundaries: proprietà
Situazione: concerne la relatione spaziale tra le frontiere MR, I spazi fisici e virtuali, I partecipanti e gli oggetti: Localizazione: la posizione della frontiera negli spazi connessi (es verticale vs orizontale) Alignment: l’orientamento della frontiera rispetto ai partecipanti e oggetti Mobility: se la frontiera è statica o si muovo nello spazio e nel tempo Segmentazione: se la frontiera e costituta da un o diversi segmenti Spatial consistency: come le coordinate spaziale di un sistema sono connessi al l’altro.

86 Mixed Reality Boundaries: proprietà
Dynamics: concerne le proprietà temporale della frontiera, include Lifetime: se riferisce al quando e per quanto tempo la frontiera esistera Configurability : descrive come dinamicamente le varie caratteristiche della frontiere possano cambiare Symmetry : se riferisce a quanto le caratteristiche delle frontiere sono configurate segondo il spazio cossiderrato da entrambi le parte Rappresentazione: describe come la proprietà delle frontiere sono resi visibili ai partecipanti, e che mezzi di rappresentazione sono usate.

87 Tangible Bits L’approcio sviluppato da Ishii et al. al MIT Media Lab (Ishii & Ullmer, 1997) Tangible Bits: gli utenti possono afferrare e manipulare (“grasp and manipulate”) i bits, perchè questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits diventano tangibili (tangible), facendo da ponte tra mondi reali e virtuali. Gli utenti diventano coscienti anche dell’informazione contenuta nel loro ambito (background’s bits) perchè possono usare come media la luce, il suono, I correnti d’aria o I movimenti dell’acqua

88 Tangible Bits Tangible Bits sono stati il primo approcio dei Tangible User Interfaces (TUIs), dando I primi concetti di base per molti interfacci attuali Physical instantiation of GUI elements in TUI (Ishii and Ullmer, 1997)

89 Tangible Bits: Prototypes
transBOARD (Ishii and Ullmer, 1997) metaDESK (Ishii and Ullmer, 1997) Phicons ambientROOM (Ishii and Ullmer, 1997)

90 Esempi di MR Applications
Simulators Medical applications Museum and cultural applications The Internet Foyer (Benford et al., 1998) (Mixed Reality Boundaries)

91 Head-Mounted Display (HMD)
Esempi di MR Devices Data gloves Head-Mounted Display (HMD) Computer Aided Virtual Environment (CAVE) adopted by Miele for the development of their products

92 Quadro concettuale (Conceptual Framework)
Diversi quadri concettuali sono stati proposti per creare sistemi multimodali. Non sono archittetturi, ma livelli di astrazione superiore all’archittettura Non indicano come I componenti devono essere allocati ai dispositivi hardware ne parlano della communicazione tra dispositivi Quadri concettuali sono stati sviluppati per sistemi multimodali dedicati alla communicazione verbale o non- verbale.