INTERFACCE MULTIMODALI BASATE SU EYE TRACKING: Università degli Studi di Pavia Dipartimenti di Giurisprudenza, Ingegneria Industriale e dell’Informazione, Scienze Economiche e Aziendali, Scienze Politiche e Sociiali, Studi Umanistici Corso di Laurea Interdipartimentale in COMUNICAZIONE, INNOVAZIONE, MULTIMEDIALITÀ INTERFACCE MULTIMODALI BASATE SU EYE TRACKING: VERSO L’INTEGRAZIONE DEL CANALE OCULARE CON GLI STRUMENTI ORDINARI DI INPUT Relatore: Prof. Marco Porta Correlatore: Prof. Paolo Costa Tesi di Laurea di Sara Elli A.A. 2013/2014

Obiettivo della tesi Le nuove interfacce multimodali basate su eye tracking costituiscono un’alternativa migliore alle interfacce tradizionali per tutti gli utenti?

Struttura del lavoro Eye Tracking Lo sguardo come canale di input Alcune interfacce multimodali basate su Eye Tracking

Che cos’è l’eye tracking Metodo di analisi oculare Movimento degli occhi Punto di osservazione

Eye tracking come canale di input Obiettivi Interazione più veloce Interazione più naturale Interazione senza l’utilizzo delle mani Problema “Tocco di Mida” Soluzione Interfacce multimodali

Eye tracking e input manuale MAGIC (Manual And Gaze Input Cascaded Tecnica combinata all’interno di interfacce GUI Sistema per l’acquisizione di un target a distanza EyePoint Sistema per il controllo di un drone

MAGIC Riduzione dei movimenti del cursore necessari per la Info from eye tracker MAGIC pointing procedure Info from manual i/p device Riduzione dei movimenti del cursore necessari per la selezione di un elemento dello schermo (target) Precisione garantita dall’utilizzo di un input manuale Spesso il cursore viene spostato in base ai movimenti involontari degli occhi

Tecnica combinata per interfacce GUI Mouse e sguardo Due metodi di aggiustamento: Automatico: click del mouse per spostare il cursore sul bottone più vicino al punto osservato Manuale: utilizzo del mouse per spostare manualmente il cursore

Sistema per l’acquisizione di un target a distanza Sguardo e dispositivo manuale simile ad uno smartphone Gesto manuale zoom area osservata selezione più accurata

EyePoint Tecnica di puntamento e selezione tramite eye tracking e tastiera Valutato migliore di un tradizionale mouse

Sistema per il controllo di un drone Velivolo pilotato a distanza tramite una telecamera 4 variabili controllate tramite sguardo e tastiera

Eye tracking e input vocale Sistema per la navigazione nel web Sistema per l’inserimento di un testo in Microsoft Word Sistema per il controllo di personaggi virtuali all’interno di un videogioco

Sistema per la navigazione nel web Sguardo e dispositivo di riconoscimento vocale L’utente pronuncia una frase per dar vita ad un comando che riguarda l’elemento fissato Diverse operazioni possibili (ad es. passare alla pagina successiva, cliccare un link, ecc.)

Sistema per l’inserimento di un testo in Word Selezione di un tasto tramite sguardo Conferma tramite comando vocale

Sistema per il controllo di personaggi virtuali nei videogiochi Sistema sperimentato in due diversi giochi Più coinvolgente rispetto all’uso di input tradizionali

Eye tracking e altri movimenti del corpo Sistema che integra eye tracking e “tooth-click” Sistema che integra eye tracking e movimenti della testa

Sistema che integra sguardo e “tooth-click” Tooth-click click generato stringendo i denti Tooth-clicker dispositivo in grado di intercettare il tooth-click

Sistema che integra sguardo e movimenti della testa Sguardo rapida selezione degli elementi Movimenti della testa Individuazione precisa di piccoli elementi

Conclusioni Le interfacce analizzate sono risultate migliori dei sistemi basati solo sullo sguardo, ma ancora troppo imprecise rispetto alle tradizionali interfacce (mouse e tastiera) Valida alternativa eye tracking in aggiunta a mouse o tastiera interazione veloce, intuitiva ed immediata

Conclusioni Possibile soluzione ai problemi rilevati Integrazione di un eye tracker all’interno di un’interfaccia ordinaria in qualsiasi momento In tempi brevi eye tracking ottima alternativa agli input tradizionali per tutti gli utenti

Grazie per l’attenzione