Corso interdipartimentale in Comunicazione, Innovazione, Multimedialità a.a. 2012/2013 Giustina Sacco Matricola n°

Affective Computing | Rosalind Picard 1/19 Fondatrice dellAffective Computing Research Group allinterno del MIT Entrò nel 1991 nel MIT Media Lab, grazie al quale ebbe un importante riconoscimento internazionale Ha pubblicato il pluripremiato libro «Affective computing», con cui ha inaugurato il nuovo campo di ricerca

Affective Computing | T erminologia ed evoluzione 2/19 Affective computing Scienze sociali Scienze informatiche «Informatica dellaffettività»

Affective Computing | T erminologia ed evoluzione 3/ , Picard I metodi di riconoscimento delle emozioni dei calcolatori sono simili a quelli umani. Essi capiscono le emozioni attraverso la voce e i gesti esattamente come luomo, oppure tramite sensori indossabili. Imparano a capire le preferenze delluomo, per poterle soddisfare. I computer migliorano le condizioni di vita delluomo. Problema autismo: i computer emotivamente competenti diventano un grande sostegno nellesternazione dellemotività da parte del soggetto.

Affective Computing | Riconoscimento informatico dellemozione 4/19 Scopo Ottenere uninterazione con la macchina quanto più naturale possibile 1.Riconoscimento basato sullelaborazione vocale 2.Riconoscimento basato sulle espressioni facciali 3. Riconoscimento basato sul movimento del corpo 3 tipologie

Affective Computing | Riconoscimento informatico dellemozione 5/19 Riconoscimento vocale Attenzione sulle proprietà fonetiche del linguaggio: intensità, intonazione, velocità di lettura e qualità della voce. È importante non cosa si dice, ma come viene detto Il riconoscimento si compone di tre parti: Elaborazione del segnale digitalizzazione e pre-elaborazione del potenziale acustico; Funzione di calcolo rileva le caratteristiche essenziali del segnale acustico rispetto alle emozioni; Funzione di classificazione si riportano su carta le caratteristiche dei vettori sulle classi di emozioni.

Affective Computing | Riconoscimento informatico dellemozione 6/19 Riconoscimento facciale Strategie di rilevamento del volto in base al tipo di input immagine. Il processo di estrazione delle espressioni facciali rileva la presenza e la posizione di caratteristiche come naso, occhi, narici bocca ecc. 2 approcci: Feature-base approaches le caratteristiche facciali vengono rilevate e monitorate, misurando le distanze tra queste; Appearence- based approaches alcune regioni sono trattate come un tutto e vengono registrati il movimento e il cambiamento nella struttura.

Affective Computing | Riconoscimento informatico dellemozione 7/19 Riconoscimento corporale Postura del corpo, gesti, movimenti 3 approcci: Motion-based utilizzano direttamente le informazioni del movimento senza alcuna informazione strutturale sul corpo fisico; Appearence- based basato su due dati dimensionali come colore/scala grigi; Model-based modellazione delle parti del corpo.

Affective Computing | Applicazioni dellaffettività 8/19 Applicazioni tramite : sistemi robotici Robot da intrattenimento pensati come giocattoli, controllabili a distanza e programmati per eseguire una serie di azioni. Sono creati sotto forma di animali. Affinché risultino interessanti dal punto di vista dellutente sono stati dotati di riconoscimento emotivo. Un prototipo è il Sony AIBO

Affective Computing | Applicazioni dellaffettività 9/19 computer games giochi emotivamente reattivi gli ostacoli presenti nei giochi si superano attraverso le emozioni positive o negative. Vengono esaminati gli elementi emotivi del discorso del giocatore attraverso sistemi di riconoscimento delle emozioni, influenzando il comportamento del personaggio nel gioco

Emotion ML| Evoluzione del linguaggio 10/19 Emotion Markup Language Progettato dallEmotion Incubator Group con lo scopo di essere utilizzato in contesti e applicazioni diversi, adattabile alle diverse teorie dellemozione. I concetti e le descrizioni delle scienze affettive vengono rese disponibili per luso in contesti tecnologici. È possibile trattare con una vasta gamma di stati emotivi

Emotion ML| Campi di applicazione 11/19 Differenti campi di applicazione: Opinion mining and sentiment analysis in Web 2.0, monitoraggio del comportamento dellutente nelle tecnologie del web come i blog; Affective monitoring, monitoraggio affettivo in applicazioni; Character design, controllo per i giochi e i mondi virtuali; Social robot, come robot di guida che coinvolgono i visitatori; Supporto per le persone portatrici di disabilità; Realizzazione del contesto emotivo.

Emotion ML| Elementi 12/19 2 categorie «Must have» «Should have» Elementi principali: Meta-information: Confidence Expressed-through Info

Emotion ML| Elementi 13/19 Elementi principali Descrive uno stato emotivo utilizzando appunto la categoria. È necessario e obbligatorio, poiché deve esplicitare il nome della categoria. È adoperato per descrivere uno stato affettivo secondo il vocabolario delle dimensioni di unemozione. Descrive lemozione in termini di valutazione Descrive degli stati affettivi secondo il vocabolario delle tendenze dazione

Emotion ML| Elementi 14/19 Meta-information Confidence indica il grado di affidabilità che ci si aspetta dalla parte di annotazione a cui è legato. Expressed-through definisce la modalità attraverso cui unemozione viene espressa. Info può essere utilizzato per annotare metadati arbitrari e può contenere strutture XML.

Emotion ML| Vocabolario delle emozioni 15/19 Gli elementi principali, per poter rispondere correttamente ai comandi, devono essere riferiti a uno o più vocabolari per rappresentare le emozioni e gli stati collegati ad esse. Il vocabolario viene allegato nelle singole annotazioni. «Big six» di Ekman; «Everyday emotion vocabulary» di Cowie; «OCC», di Ortony, Clore, Collins; «FSRE», di Fontaine, Scherer, Roesch, Ellsworth; «Frijda», di Frijda. «Mehrabian's PAD»; «FSRE»; «Intensity». «OCC»; «Scherer» di Scherer; «EMA» di Gratch e Marsella.

Esempi applicativi Emotion ML 16/19 Generazione di comportamento di un sistema di emozioni correlate Generazione del comportamento di un robot (W3C) Tag di apertura 1° elemento 2° elemento 3° elemento 4° elemento 5° elemento Tag di chiusura Configurazione dello stato globale: forte eccitazione con un potere limitato di influenzare la situazione Tendenze di azione del robot: predomina la volontà di ricaricare la batteria Individuazione e valutazione di un ostacolo indesiderato: imprevedibilità e sgradevolezza Generazione del comportamento: frustrazione con espressione facciale <emotionml xmlns=" xmlns:meta=" robbie the robot example <emotion category-set=" expressed-through="face">

Esempi applicativi Emotion ML 17/19 Generazione di comportamento di un sistema di emozioni correlate Tag di apertura 2° elemento 3° elemento Tag di chiusura Generazione del comportamento di un robot – Elaborazione personale 4° elemento 5° elemento 0 1° elemento Stato attuale del robot: senso di tristezza e di rabbia molto elevati. Tendenze di azione: prevale la volontà di superare lostacolo incontrato, piuttosto che le altre due azioni <emotionml xmlns=" Robbie, esempio n°2 <emotion category-set="../emotion-voc/emozioni-di-robbie.xml" expressed-through="voice"> Evviva! Ho superato lostacolo! Valutazione della strategia: Robbie stima la difficoltà, il comfort e la praticità della strategia da mettere in atto. Comportamento finale: è generata lemozione di felicità espressa attraverso voce.

Affective Computing| Conclusione18/19 Il computer riconosce ed esprime effettivamente le emozioni umane. Realizzazione di calcolatori emotivamente competenti. LEmotion ML come valida tecnologia per concretizzare e mettere in pratica i concetti sviluppati dallAffective Computing. Vantaggi Svantaggi I calcolatori emotivamente competenti potrebbero essere un peso nella vita quotidiana delluomo. Indagherebbero costantemente sulla sfera emotiva delluomo, anche nei casi in cui questi non voglia manifestare il proprio stato emotivo. Invasione dellinteriorità umana.

Affective Computing| Conclusione19/19 Sfruttare le opportunità dellAffective Computing in modo socialmente responsabile, nei casi di effettiva utilità: soggetti autistici e soggetti con disturbi di manifestazione dellemotività. Possibile soluzione