Seminari di Interazione Avanzata Metodi formali per la definizione di modelli di utente Paolo Bottoni bottoni@di.uniroma1.it Pictorial Computing Laboratory Dipartimento di Informatica

Componenti della modellazione Strutture dati per la modellazione Argomenti Utenti e Sistemi Componenti della modellazione Strutture dati per la modellazione Il processo di classificazione dell’utente Applicazione al caso di studio Modelli Utente 22/09/2018

User’s model (o user mental model) Utenti e sistemi User model Modello utilizzato dal sistema per caratterizzare l’utente corrente User’s model (o user mental model) Modello cognitivo utilizzato / supposto dall’utente Modelli Utente 22/09/2018

Architettura di riferimento H. Bunt, M. Kipp, M. T. Maybury, W. Wahlster, FUSION AND COORDINATION FOR MULTIMODAL INTERACTIVE INFORMATION PRESENTATION. In Stock, O., Zancanaro, M. (eds.): Multimodal Intelligent Information Presentation. Kluwer, pp. 325-340 Modelli Utente 22/09/2018

Definizioni dei comportamenti Basate sui task Basate sui linguaggi Basate sulle interazioni ammesse Modello del dialogo Macchine a stati finiti Strutture a eventi Modelli Utente 22/09/2018

Problema generale della modellazione dell’utente Comportamento umano non strettamente dettato da leggi logiche. Assunzione di comportamento razionale degli utenti: obiettivi da realizzare utilizzano conoscenza per raggiungerli Possibile genericità degli obiettivi Creazione artistica, esplorazione di possibilità Supporto all’handicap, sostegno ad attività quotidiane Modelli Utente 22/09/2018

Adattamento fra utenti e sistemi Adeguamento L’utente adatta le proprie modalità di lavoro alle caratteristiche del sistema Miglioramento Diverse versioni del sistema vengono generate a seguito di studi sull’utenza Adattabilità L’utente modifica esplicitamente caratteristiche del sistema interattivo Adattività Il sistema modifica alcune proprie caratteristiche in base all’osservazione delle azioni dell’utente Modelli Utente 22/09/2018

Modificabilità del sistema Modulazione del contenuto Disponibilità di accesso alle azioni Layout Organizzazione delle strategie di completamento Modelli Utente 22/09/2018

Localizzazione del modello Assente L’applicazione incorpora un modello di utente come definito dal progettista Separata File di configurazione Collezione statica di dati sull’utente Base di dati aggiornabile Base di dati deduttiva Modelli Utente 22/09/2018

Approccio di metamodello per gestione adattamento Basato sulla nozione di Property Informazioni di diversa natura strutturate in package Definiscono interfaccia fra implementazioni specifiche e modello generale Modelli Utente 22/09/2018

Struttura del metamodello UserModel TaskModel ContextModel DialogModel DomainModel MMContentModel LocationModel Resources Formalism Reference Description Control UM ClientModel <<derive>> AdaptationModel Selection Description Adaptation manager ha un proprio modello dell’adattamento e ottiene informazioni da altri modelli. I package definiscono dei template da istanziare in base alle caratteristiche dell’implementazione scelta. Tutti i package sono definiti a partire dal package Model Modelli Utente 22/09/2018

Model Package ConstraintsUpdate UpdateEvent UpdateAction 1..* UpdateEvent UpdateAction PropertyUpdate Constraints 1 1 1 ValueUpdate constrained {set} constraining {set} 1..* 1 1..* 1 Property Type 1..* 1 1 Base del modello è Property, derivato dalla Infrastructure di UML. Una property ha un tipo e un valore, un nome, una molteplicità. I modelli sono considerati come collezioni di proprietà, il cui valore è definito da una ValueSpecification. Proprietà sono in relazione e la loro presenza può essere vincolata a quella di altre proprietà. Le classi xxxUpdate modellano azioni di trasformazione di un modello Relationship 1 1 1..* Expression ValueSpecification 1 Modelli Utente 22/09/2018

ApplicationSpecificProperty UserModel Package Property DemographicProperty InteractionProperty ApplicationSpecificProperty Un esempio di template: il package UserModel, senza istanziazione del modello. Diversi tipi di proprietà possono essere utilizzate. IndividualProperty CategoryProperty Mapping UM User Category * * Modelli Utente 22/09/2018

LocationModel Package (riferimento legato a NMEA) Property PositionProperty coordinates[]:Number ReferenceSystem ThematicProperty ThematicMapping 1 * NMEA AddInfoProperty LocationProperty MovementProperty startTime:Time endTime:Time isMoving:boolean start end support Un esempio di modello specializzato: il modello di Localizzazione, instanziato sull’utilizzo di NMEA. Modelli Utente 22/09/2018

Modellazione di utenti Livelli di competenza Definizione da teorie cognitive generali Belief, Desire, Intention Uso di data mining Cluster mining Association rule mining Sequential pattern mining Modelli Utente 22/09/2018

Definizione di classi di utente Definizione di criteri da parte di esperti Apprendimento automatico Supervisionato (classi identificate a priori) Non supervisionato Vincolo su numero di classi Vincolo su criteri di raggruppamento Modelli Utente 22/09/2018

Componenti della modellazione Domini Dati, Relazioni Rappresentazioni Elementi, Layout Task Generici, strutturati Categorie Accesso, Esperienza, Profili sociologici Individui Preferenze, Similarità, Comunità Modelli Utente 22/09/2018

Descrittori per profilazione utenti Dati personali (e.g. età, genere, posizione, professione) Preferenze e interessi Conoscenze e interessi Pattern di comportamento Modelli Utente 22/09/2018

Profilazione utente Raccolta dati interazione (non intrusiva) Log client Log server Valori introdotti durante sessione Preferenze esplicite (diversi livelli di intrusività) Raccolta di questionari Scelte Configurazioni Modelli Utente 22/09/2018

Fasi nell’uso dei dati estratti da: M. Koutri, N. Avouris, S. Daskalaki. “A survey on web usage mining techniques for web-based adaptive hypermedia systems”. Modelli Utente 22/09/2018

Problemi del data mining su Web Dati di navigazione non numerici Rumore e incompletezza dei dati Necessità di integrare i dati grezzi con altri, e.g. informazione lato client, dati di registrazione, eventi legati al prodotto specifico Misure convenzionali troppo semplici Modelli Utente 22/09/2018

Variabili osservabili Web usage mining Tecniche relative a dati grezzi di accesso per rivelare pattern di uso. Structure mining Analisi della struttura del sistema ipermediale. Content mining Analsii del contenuto del sistema ipermediale. Modelli Utente 22/09/2018

Esempio di campo di log (IIS) Modelli Utente 22/09/2018

Limitazioni del logging Riferimenti a documenti mancanti (e caching) Identificazione dell’IP reale in caso di proxy Povertà dei dati di solo accesso Modelli Utente 22/09/2018

Forme di adattamento sul Web Content selection Selezione automatica e prioritizzazione degli elementi più rilevanti Navigation support Manipolazione di hyperlink, e.g. hiding, sorting, annotating. Presentation Variazione forme di presentazione del contenuto di un documento web. Brusilovsky, P., Maybury, M. T. (2002). From adaptive hypermedia to the adaptive web. Communications of the ACM 45, 5, 30-33. Modelli Utente 22/09/2018

Tecniche di clustering Clustering di riferimenti a documenti Identifica collezioni di documenti legate al loro uso Clustering di visite Identifica sequenze tipiche di di riferimenti, pattern navigazionali Informazioni addizionali Tempo di permanenza Modelli Utente 22/09/2018

Tipi di clustering hard clusters overlapping clusters Ogni oggetto appartiene a uno e un solo cluster overlapping clusters Un oggetto può appartenere a diversi cluster. Possono indicare interessi comuni a utenti diversi, o identificare documenti con contenuto non univoco. probabilistic clusters Ogni oggetto appartiene a ogni cluster con una probabilità (pi(o) = 1) fuzzy clusters Ogni oggetto appartiene a ogni cluster con un grado di appartenenza (max(pi(o)) = 1) Modelli Utente 22/09/2018

Estrazione di regole di associazione Identificazione delle associazioni fra elementi. La presenza di un sottoinsieme di elementi implica la presenza anche di altri Regola di associazione: (AB,c,s) A  B = , 0c,s 1 c: confidence, c(A  B) = P(B | A)). s: support (support(A  B)=P(AB)) (e-class/asp_fundamentals.html  e_class/asp_examples.html, 0.7, 0.05) Modelli Utente 22/09/2018

Sequential pattern mining Istanza: Problema: trovare tutti i pattern sequenziali con un supporto minimo specificato Supporto = numero di sequenze di dati che contengono il pattern 30% of users who placed an online order in book_store/book1.html have also placed an order in book_store/book5.html within 20 days Modelli Utente 22/09/2018

Conseguenze della profilazione personal recommendation dynamic adjustment Highlighting, creazione di nuovi link static page/site adjustment in genere eseguito off-line Modelli Utente 22/09/2018

Modelli cognitivi computazionali Long-term episodic memory. Memoria stabile di eventi significativi. Indirizzabile per contenuti. Episodi ritrovati da vari indizi, e.g. persona, posto, azione. Affective reflexive memory Associazioni istantanee e istintive. Formata filtrando esposizione ripetuta. Modelli Utente 22/09/2018

Strutture di memorizzazione per LTEM e ARM Modelli Utente 22/09/2018

Valutazione di valenza affettiva Dimensioni affettive Pleasure-Displeasure, e.g., feeling happy or un-happy; Arousal-Nonarousal, i.e., heightening one’s feelings; Dominance-Submissiveness, H. Liu P. Maes, What Would They Think? A Computational Model of Attitudes, Intelligent User Interfaces, 2004 Modelli Utente 22/09/2018

Agenti personali Imparano preferenze del loro proprietario Acquisti on line, classificazione di email, links seguiti Ricevono feedback su proposte fatte Possono scambiare informazioni con altri agenti Possono usare decisioni di agenti di utenti con profili simili a quelli del proprietario Predizioni su prossime mosse Presentazione di link correlati, suggerimenti di acquisti, azioni su email Modelli Utente 22/09/2018

Assistenti personali Modelli Utente 22/09/2018

Modi di apprendimento Modelli Utente 22/09/2018

Agenti che raccomandano modifiche all’interfaccia Agent mental state Domain ontology History of suggestions Effectiveness of the agent Negotiation set: cambi proposti al modello Utility function per correzioni di agente ai Protocol function Negotiation strategies Requirement metrics Modelli Utente 22/09/2018

Modelli BDI Rappresentano agenti o modelli di utente Belief: conoscenza dell’agente sullo stato del mondo Insiemi di letterali Desire: obiettivi di lungo periodo, stati del mondo da fare diventare veri Piani per raggiungerli. Descritti da body, precondition, e invocation condition (trigger) Intention: impegno a portare avanti un’azione che trasforma lo stato del mondo Organizzati in stack, possibilmente paralleli Modelli Utente 22/09/2018

Sistemi logici per BDI Semantica in termini di mondi accessibili Time tree indicano diramazioni del comportamento. Due mondi M1 e M2, possono essere uno sottoinsieme dell’altro e viceversa, essere identici o non confrontabili. Realismo: se un agente crede a una proposizione, desidererà che diventi vera Realismo forte: se un agente desidera ottenere una proposizione, crederà che essa sia una possibile scelta Realismo debole: se un agente desidera ottenere una proposizione non crederà che la sua negazione sia inevitabile. Modelli Utente 22/09/2018

Requisiti di razionalità Mantenimento di coerenza fra credenze, desideri e intenzioni, ma non completezza. Credenze, desideri e intenzioni non devono essere chiusi sotto le implicazioni di ognuno degli altri. Modelli Utente 22/09/2018

Esempi di time tree Modelli Utente 22/09/2018

Obbligazione: Agente deve impegnarsi a portare avanti un obiettivo Assiomatizzazione Inizializzazione:Differenze fra stato obiettivo e belief adottate come goal Terminazione: Comportamento agente indeterminato quando tutti obiettivi raggiunti Obbligazione: Agente deve impegnarsi a portare avanti un obiettivo Impegno comporta realizzare precondizioni per operatori adottati Goal adottati rimossi da quelli in attesa Modelli Utente 22/09/2018

Mantenimento del belief Agente crede all’effetto degli operatori applicati Agente crede a osservazioni dello stato del mondo Modelli Utente 22/09/2018

Coevoluzione di modelli di utente e sistema Modelli Utente 22/09/2018

Specifica del sistema Modelli Utente 22/09/2018

Specifica dell’utente Espressa in termini di belief Informazioni legate allo stato del sistema Definizione delle azioni possibili Modelli Utente 22/09/2018

Conseguenze sul progetto Modellazione di comportamenti utente Es. esplorazione casuale, ordine stretto Identificazione di comportamenti ottimali Definizione dell’interfaccia in modo da supportare comportamenti ottimali Rimozione di cause di errore Es. mantenere informazioni su link ancora da esplorare. Modelli Utente 22/09/2018

Modelli in Higher Order Logic Architettura cognitiva Modelli di utente e di sistema Funzioni di history Permettono di accedere a informazioni sugli stati passati dell’utente o del sistema Modelli Utente 22/09/2018

Notazione per Higher Order Logic Modelli Utente 22/09/2018

Relazioni per USER Modelli Utente 22/09/2018

Relazioni per USER Modelli Utente 22/09/2018

Modelli per verifica comportamenti Proprietà di correttezza Per ogni possibile comportamento del sistema interattivo l’utente è in grado di raggiungere l’obiettivo principale associato allo stato L’utente deve essere in grado di completare tutti i task sussidiari generati nel raggiungimento dell’obiettivo Modelli Utente 22/09/2018

Post-completion error Utente naive Al termine dell’interazione l’utente non recupera la carta Modelli Utente 22/09/2018

Identificazione di errori e revisione Problema se utente seleziona servizio prima di inserire la carta Modelli Utente 22/09/2018

Revisione dei modelli di utente Architettura cognitiva per utente sofisticato (uso di conoscenza sul task) Modelli Utente 22/09/2018

Possibilità di design più flessibili Modelli Utente 22/09/2018

Applicazione al caso di studio Categorizzazione dell’utente Turista, studioso, curatore Rappresentazione esplicita dei task Guide interattive Utilizzo di agenti Elicitazione di interessi, suggerimenti Adattamento al contesto Localizzazione, capacità dei dispositivi, contesto affettivo (?) Modelli Utente 22/09/2018

Riferimenti H. Bunt, M. Kipp, M. T. Maybury, W. Wahlster, “Fusion and coordination for multimodal interactive information presentation”, in O. Stock, M. Zancanaro, (eds.): Multimodal Intelligent Information Presentation, Kluwer, 325-340, 2005. M. Koutri, N. Avouris, S. Daskalaki. “A survey on web usage mining techniques for web-based adaptive hypermedia systems”. P. Brusilovsky, M. T. Maybury, “From adaptive hypermedia to the adaptive web”, Communications of the ACM 45(5): 30-33, 2002. H. Liu P. Maes, “What Would They Think? A Computational Model of Attitudes”, Intelligent User Interfaces, 2004 P. Curzon, R. Rukšėnas, A. Blandford, “Formal Verification In Human Error Modelling” R. H. Guttman, A. G. Moukas, P. Maes, “Agent-mediated Electronic Commerce: A Survey” S. M. Brown, E Santos Jr., S. B. Banks, M. E. Oxley, “Using Explicit Requirements and Metrics for Interface Agent User Model Correction”, P. Maes, “Agents that reduce work and information overload”, Communications of the ACM, 37(7):811-821,1994. Y. Shoham Agent-oriented programming Articial Intelligence Modelli Utente 22/09/2018