Seminari di Interazione Avanzata

Presentazione sul tema: "Seminari di Interazione Avanzata"— Transcript della presentazione:

1 Seminari di Interazione Avanzata
Metodi formali per la definizione di modelli di utente Paolo Bottoni Pictorial Computing Laboratory Dipartimento di Informatica

2 Componenti della modellazione Strutture dati per la modellazione
Argomenti Utenti e Sistemi Componenti della modellazione Strutture dati per la modellazione Il processo di classificazione dell’utente Applicazione al caso di studio Modelli Utente 22/09/2018

3 User’s model (o user mental model)
Utenti e sistemi User model Modello utilizzato dal sistema per caratterizzare l’utente corrente User’s model (o user mental model) Modello cognitivo utilizzato / supposto dall’utente Modelli Utente 22/09/2018

4 Architettura di riferimento
H. Bunt, M. Kipp, M. T. Maybury, W. Wahlster, FUSION AND COORDINATION FOR MULTIMODAL INTERACTIVE INFORMATION PRESENTATION. In Stock, O., Zancanaro, M. (eds.): Multimodal Intelligent Information Presentation. Kluwer, pp Modelli Utente 22/09/2018

5 Definizioni dei comportamenti
Basate sui task Basate sui linguaggi Basate sulle interazioni ammesse Modello del dialogo Macchine a stati finiti Strutture a eventi Modelli Utente 22/09/2018

6 Problema generale della modellazione dell’utente
Comportamento umano non strettamente dettato da leggi logiche. Assunzione di comportamento razionale degli utenti: obiettivi da realizzare utilizzano conoscenza per raggiungerli Possibile genericità degli obiettivi Creazione artistica, esplorazione di possibilità Supporto all’handicap, sostegno ad attività quotidiane Modelli Utente 22/09/2018

7 Adattamento fra utenti e sistemi
Adeguamento L’utente adatta le proprie modalità di lavoro alle caratteristiche del sistema Miglioramento Diverse versioni del sistema vengono generate a seguito di studi sull’utenza Adattabilità L’utente modifica esplicitamente caratteristiche del sistema interattivo Adattività Il sistema modifica alcune proprie caratteristiche in base all’osservazione delle azioni dell’utente Modelli Utente 22/09/2018

8 Modificabilità del sistema
Modulazione del contenuto Disponibilità di accesso alle azioni Layout Organizzazione delle strategie di completamento Modelli Utente 22/09/2018

9 Localizzazione del modello
Assente L’applicazione incorpora un modello di utente come definito dal progettista Separata File di configurazione Collezione statica di dati sull’utente Base di dati aggiornabile Base di dati deduttiva Modelli Utente 22/09/2018

10 Approccio di metamodello per gestione adattamento
Basato sulla nozione di Property Informazioni di diversa natura strutturate in package Definiscono interfaccia fra implementazioni specifiche e modello generale Modelli Utente 22/09/2018

11 Struttura del metamodello
UserModel TaskModel ContextModel DialogModel DomainModel MMContentModel LocationModel Resources Formalism Reference Description Control UM ClientModel <<derive>> AdaptationModel Selection Description Adaptation manager ha un proprio modello dell’adattamento e ottiene informazioni da altri modelli. I package definiscono dei template da istanziare in base alle caratteristiche dell’implementazione scelta. Tutti i package sono definiti a partire dal package Model Modelli Utente 22/09/2018

12 Model Package ConstraintsUpdate UpdateEvent UpdateAction
1..* UpdateEvent UpdateAction PropertyUpdate Constraints 1 1 1 ValueUpdate constrained {set} constraining {set} 1..* 1 1..* 1 Property Type 1..* 1 1 Base del modello è Property, derivato dalla Infrastructure di UML. Una property ha un tipo e un valore, un nome, una molteplicità. I modelli sono considerati come collezioni di proprietà, il cui valore è definito da una ValueSpecification. Proprietà sono in relazione e la loro presenza può essere vincolata a quella di altre proprietà. Le classi xxxUpdate modellano azioni di trasformazione di un modello Relationship 1 1 1..* Expression ValueSpecification 1 Modelli Utente 22/09/2018

13 ApplicationSpecificProperty
UserModel Package Property DemographicProperty InteractionProperty ApplicationSpecificProperty Un esempio di template: il package UserModel, senza istanziazione del modello. Diversi tipi di proprietà possono essere utilizzate. IndividualProperty CategoryProperty Mapping UM User Category * * Modelli Utente 22/09/2018

14 LocationModel Package (riferimento legato a NMEA)
Property PositionProperty coordinates[]:Number ReferenceSystem ThematicProperty ThematicMapping 1 * NMEA AddInfoProperty LocationProperty MovementProperty startTime:Time endTime:Time isMoving:boolean start end support Un esempio di modello specializzato: il modello di Localizzazione, instanziato sull’utilizzo di NMEA. Modelli Utente 22/09/2018

15 Modellazione di utenti
Livelli di competenza Definizione da teorie cognitive generali Belief, Desire, Intention Uso di data mining Cluster mining Association rule mining Sequential pattern mining Modelli Utente 22/09/2018

16 Definizione di classi di utente
Definizione di criteri da parte di esperti Apprendimento automatico Supervisionato (classi identificate a priori) Non supervisionato Vincolo su numero di classi Vincolo su criteri di raggruppamento Modelli Utente 22/09/2018

17 Componenti della modellazione
Domini Dati, Relazioni Rappresentazioni Elementi, Layout Task Generici, strutturati Categorie Accesso, Esperienza, Profili sociologici Individui Preferenze, Similarità, Comunità Modelli Utente 22/09/2018

18 Descrittori per profilazione utenti
Dati personali (e.g. età, genere, posizione, professione) Preferenze e interessi Conoscenze e interessi Pattern di comportamento Modelli Utente 22/09/2018

19 Profilazione utente Raccolta dati interazione (non intrusiva)
Log client Log server Valori introdotti durante sessione Preferenze esplicite (diversi livelli di intrusività) Raccolta di questionari Scelte Configurazioni Modelli Utente 22/09/2018

20 Fasi nell’uso dei dati estratti
da: M. Koutri, N. Avouris, S. Daskalaki. “A survey on web usage mining techniques for web-based adaptive hypermedia systems”. Modelli Utente 22/09/2018

21 Problemi del data mining su Web
Dati di navigazione non numerici Rumore e incompletezza dei dati Necessità di integrare i dati grezzi con altri, e.g. informazione lato client, dati di registrazione, eventi legati al prodotto specifico Misure convenzionali troppo semplici Modelli Utente 22/09/2018

22 Variabili osservabili
Web usage mining Tecniche relative a dati grezzi di accesso per rivelare pattern di uso. Structure mining Analisi della struttura del sistema ipermediale. Content mining Analsii del contenuto del sistema ipermediale. Modelli Utente 22/09/2018

23 Esempio di campo di log (IIS)
Modelli Utente 22/09/2018

24 Limitazioni del logging
Riferimenti a documenti mancanti (e caching) Identificazione dell’IP reale in caso di proxy Povertà dei dati di solo accesso Modelli Utente 22/09/2018

25 Forme di adattamento sul Web
Content selection Selezione automatica e prioritizzazione degli elementi più rilevanti Navigation support Manipolazione di hyperlink, e.g. hiding, sorting, annotating. Presentation Variazione forme di presentazione del contenuto di un documento web. Brusilovsky, P., Maybury, M. T. (2002). From adaptive hypermedia to the adaptive web. Communications of the ACM 45, 5, Modelli Utente 22/09/2018

26 Tecniche di clustering
Clustering di riferimenti a documenti Identifica collezioni di documenti legate al loro uso Clustering di visite Identifica sequenze tipiche di di riferimenti, pattern navigazionali Informazioni addizionali Tempo di permanenza Modelli Utente 22/09/2018

27 Tipi di clustering hard clusters overlapping clusters
Ogni oggetto appartiene a uno e un solo cluster overlapping clusters Un oggetto può appartenere a diversi cluster. Possono indicare interessi comuni a utenti diversi, o identificare documenti con contenuto non univoco. probabilistic clusters Ogni oggetto appartiene a ogni cluster con una probabilità (pi(o) = 1) fuzzy clusters Ogni oggetto appartiene a ogni cluster con un grado di appartenenza (max(pi(o)) = 1) Modelli Utente 22/09/2018

28 Estrazione di regole di associazione
Identificazione delle associazioni fra elementi. La presenza di un sottoinsieme di elementi implica la presenza anche di altri Regola di associazione: (AB,c,s) A  B = , 0c,s 1 c: confidence, c(A  B) = P(B | A)). s: support (support(A  B)=P(AB)) (e-class/asp_fundamentals.html  e_class/asp_examples.html, 0.7, 0.05) Modelli Utente 22/09/2018

29 Sequential pattern mining
Istanza: Problema: trovare tutti i pattern sequenziali con un supporto minimo specificato Supporto = numero di sequenze di dati che contengono il pattern 30% of users who placed an online order in book_store/book1.html have also placed an order in book_store/book5.html within 20 days Modelli Utente 22/09/2018

30 Conseguenze della profilazione
personal recommendation dynamic adjustment Highlighting, creazione di nuovi link static page/site adjustment in genere eseguito off-line Modelli Utente 22/09/2018

31 Modelli cognitivi computazionali
Long-term episodic memory. Memoria stabile di eventi significativi. Indirizzabile per contenuti. Episodi ritrovati da vari indizi, e.g. persona, posto, azione. Affective reflexive memory Associazioni istantanee e istintive. Formata filtrando esposizione ripetuta. Modelli Utente 22/09/2018

32 Strutture di memorizzazione per LTEM e ARM
Modelli Utente 22/09/2018

33 Valutazione di valenza affettiva
Dimensioni affettive Pleasure-Displeasure, e.g., feeling happy or un-happy; Arousal-Nonarousal, i.e., heightening one’s feelings; Dominance-Submissiveness, H. Liu P. Maes, What Would They Think? A Computational Model of Attitudes, Intelligent User Interfaces, 2004 Modelli Utente 22/09/2018

34 Agenti personali Imparano preferenze del loro proprietario
Acquisti on line, classificazione di , links seguiti Ricevono feedback su proposte fatte Possono scambiare informazioni con altri agenti Possono usare decisioni di agenti di utenti con profili simili a quelli del proprietario Predizioni su prossime mosse Presentazione di link correlati, suggerimenti di acquisti, azioni su Modelli Utente 22/09/2018

35 Assistenti personali Modelli Utente 22/09/2018

36 Modi di apprendimento Modelli Utente 22/09/2018

37 Agenti che raccomandano modifiche all’interfaccia
Agent mental state Domain ontology History of suggestions Effectiveness of the agent Negotiation set: cambi proposti al modello Utility function per correzioni di agente ai Protocol function Negotiation strategies Requirement metrics Modelli Utente 22/09/2018

38 Modelli BDI Rappresentano agenti o modelli di utente
Belief: conoscenza dell’agente sullo stato del mondo Insiemi di letterali Desire: obiettivi di lungo periodo, stati del mondo da fare diventare veri Piani per raggiungerli. Descritti da body, precondition, e invocation condition (trigger) Intention: impegno a portare avanti un’azione che trasforma lo stato del mondo Organizzati in stack, possibilmente paralleli Modelli Utente 22/09/2018

39 Sistemi logici per BDI Semantica in termini di mondi accessibili
Time tree indicano diramazioni del comportamento. Due mondi M1 e M2, possono essere uno sottoinsieme dell’altro e viceversa, essere identici o non confrontabili. Realismo: se un agente crede a una proposizione, desidererà che diventi vera Realismo forte: se un agente desidera ottenere una proposizione, crederà che essa sia una possibile scelta Realismo debole: se un agente desidera ottenere una proposizione non crederà che la sua negazione sia inevitabile. Modelli Utente 22/09/2018

40 Requisiti di razionalità
Mantenimento di coerenza fra credenze, desideri e intenzioni, ma non completezza. Credenze, desideri e intenzioni non devono essere chiusi sotto le implicazioni di ognuno degli altri. Modelli Utente 22/09/2018

41 Esempi di time tree Modelli Utente 22/09/2018

42 Obbligazione: Agente deve impegnarsi a portare avanti un obiettivo
Assiomatizzazione Inizializzazione:Differenze fra stato obiettivo e belief adottate come goal Terminazione: Comportamento agente indeterminato quando tutti obiettivi raggiunti Obbligazione: Agente deve impegnarsi a portare avanti un obiettivo Impegno comporta realizzare precondizioni per operatori adottati Goal adottati rimossi da quelli in attesa Modelli Utente 22/09/2018

43 Mantenimento del belief
Agente crede all’effetto degli operatori applicati Agente crede a osservazioni dello stato del mondo Modelli Utente 22/09/2018

44 Coevoluzione di modelli di utente e sistema
Modelli Utente 22/09/2018

45 Specifica del sistema Modelli Utente 22/09/2018

46 Specifica dell’utente
Espressa in termini di belief Informazioni legate allo stato del sistema Definizione delle azioni possibili Modelli Utente 22/09/2018

47 Conseguenze sul progetto
Modellazione di comportamenti utente Es. esplorazione casuale, ordine stretto Identificazione di comportamenti ottimali Definizione dell’interfaccia in modo da supportare comportamenti ottimali Rimozione di cause di errore Es. mantenere informazioni su link ancora da esplorare. Modelli Utente 22/09/2018

48 Modelli in Higher Order Logic
Architettura cognitiva Modelli di utente e di sistema Funzioni di history Permettono di accedere a informazioni sugli stati passati dell’utente o del sistema Modelli Utente 22/09/2018

49 Notazione per Higher Order Logic
Modelli Utente 22/09/2018

50 Relazioni per USER Modelli Utente 22/09/2018

51 Relazioni per USER Modelli Utente 22/09/2018

52 Modelli per verifica comportamenti
Proprietà di correttezza Per ogni possibile comportamento del sistema interattivo l’utente è in grado di raggiungere l’obiettivo principale associato allo stato L’utente deve essere in grado di completare tutti i task sussidiari generati nel raggiungimento dell’obiettivo Modelli Utente 22/09/2018

53 Post-completion error
Utente naive Al termine dell’interazione l’utente non recupera la carta Modelli Utente 22/09/2018

54 Identificazione di errori e revisione
Problema se utente seleziona servizio prima di inserire la carta Modelli Utente 22/09/2018

55 Revisione dei modelli di utente
Architettura cognitiva per utente sofisticato (uso di conoscenza sul task) Modelli Utente 22/09/2018

56 Possibilità di design più flessibili
Modelli Utente 22/09/2018

57 Applicazione al caso di studio
Categorizzazione dell’utente Turista, studioso, curatore Rappresentazione esplicita dei task Guide interattive Utilizzo di agenti Elicitazione di interessi, suggerimenti Adattamento al contesto Localizzazione, capacità dei dispositivi, contesto affettivo (?) Modelli Utente 22/09/2018

58 Riferimenti H. Bunt, M. Kipp, M. T. Maybury, W. Wahlster, “Fusion and coordination for multimodal interactive information presentation”, in O. Stock, M. Zancanaro, (eds.): Multimodal Intelligent Information Presentation, Kluwer, , 2005. M. Koutri, N. Avouris, S. Daskalaki. “A survey on web usage mining techniques for web-based adaptive hypermedia systems”. P. Brusilovsky, M. T. Maybury, “From adaptive hypermedia to the adaptive web”, Communications of the ACM 45(5): 30-33, 2002. H. Liu P. Maes, “What Would They Think? A Computational Model of Attitudes”, Intelligent User Interfaces, 2004 P. Curzon, R. Rukšėnas, A. Blandford, “Formal Verification In Human Error Modelling” R. H. Guttman, A. G. Moukas, P. Maes, “Agent-mediated Electronic Commerce: A Survey” S. M. Brown, E Santos Jr., S. B. Banks, M. E. Oxley, “Using Explicit Requirements and Metrics for Interface Agent User Model Correction”, P. Maes, “Agents that reduce work and information overload”, Communications of the ACM, 37(7): ,1994. Y. Shoham Agent-oriented programming Articial Intelligence Modelli Utente 22/09/2018