Sviluppo di un sistema di monitoraggio Corso di laurea in Interfacce e tecnologie della comunicazione Sviluppo di un sistema di monitoraggio dell’attenzione tramite l’uso di sensori Relatore Ornella Mich Laureando Nicola Bianchi Correlatore Nadia Mana Anno Accademico 2011/2012

Sommario Progetto CAT Lavori precedenti Modifiche audio-visive al software Integrazione di un tracker Test Conclusioni e sviluppi futuri

1. Progetto CAT Obiettivi L’obiettivo finale del progetto CAT consiste nella creazione di un software che, mediante l’uso di sensori, riesca a rilevare i cali di attenzione durante l’utilizzo di un software didattico e di riportarla su un compito mediante opportuni stimoli.

1. Progetto CAT L’attenzione L’attenzione è un processo cognitivo che permette la selezione di alcuni stimoli ambientali a discapito di altri. Selettiva Divisa Sostenuta Misurazione dell’attenzione tramite Test psicologici Sensori

2. Lavori precedenti Presentazione del software Erickson Aiutare i bambini da 8 a 12 anni a controllare le proprie capacità attentive. Composto da una serie di esercizi di allenamento, divisi in più aree, e un test finale di verifica. Le 5 aree: Vigilanza Inibizione Memoria di lavoro Interferenza Flessibilità

2. Lavori precedenti Scelta degli esercizi Creazione del software con Adobe Director 11.5 Trial Creazione di un Log File che riporta il tempo e ogni pulsante premuto dall’ utente Modifica di alcuni esercizi aggiungendo animazioni Rimozione della ritenzione della risposta alla presentazione di uno stimolo non target Entrambe le fasi sono state verificate in uno studio pilota con 4 bambini

3. Modifiche audio-visive al software Modifiche agli esercizi Rimozione delle animazioni da alcuni esercizi per non modificare il carico cognitivo. Randomizzazione di alcuni stimoli in modo da ottenere dalla sperimentazione dati precisi. Re-inserimento della ritenzione della risposta allo stimolo non target. Aggiunta della possibilità di ascoltare gli stimoli uditivi prima della presentazione dell’esercizio.

3.Modifiche audio-visive al software Re-incisione delle tracce audio Per fornire un’interazione più chiara e delle istruzioni più complete agli esercizi sono state re-incise le tracce audio. Rimozione della spiegazione di funzionalità non utilizzate nel prototipo. Modifica del nome dei pulsanti da premere, per dare un nesso maggiore con stimolo che rappresentano. Montaggio audio utilizzando Audacity per mantenere la durate delle registrazioni uguali alla versione originale

4. Integrazione di un tracker Studio della letteratura Analisi della direzione dello sguardo tramite eye-tracker (Sideny, 2005) Analisi della postura tramite sensori di pressione posizionati sulla seduta e sullo schienale (Mutlu, 2007) Tracker facciale per misurare i movimenti del volto (Joho, 2011) Sensori per il rilevamento di battito cardiaco e livello di ossigeno nel sangue (Hsu, 2012)

4. Integrazione di un tracker Presentazione di EngagementTracker È un software, originariamente sviluppato da FBK, per misurare il coinvolgimeto dell’ utente durante l’utilizzo del computer. (Cappelletti et al, 2012) Il software costruisce un modello del viso rilevato dalla webcam al quale applica 12 vettori di movimento. La misurazione dei movimenti avviene tramite il calcolo dello scostamento dei 12 vettori dal modello iniziale e sono riportate in un Log File testuale.

4. Integrazione di un tracker Collegamento con il prototipo Installazione del software sul Pc Calibrazione della webcam Sincronizzazione di accensione con il prototipo Output finale del sistema Log File elaborato dal prototipo software Log file riportante le grandezze dei 12 vettori Annotazioni sulle registrazioni del volto

5. Test Verifica del sistema Funzionamento dei software e di eventuali conflitti Strumentazione Regolazione della sedia e inclinazione dello schermo Struttura di sostegno per la fotocamera esterna Ambiente in cui si svolgerà la sperimentazione Parete senza ombre dietro l’utente per facilitare il riconoscimento del volto. Illuminiazione adeguata per non affaticare l’utente Analisi dei dati raccolti Grandezza dei video troppo elevata, sia per l’analisi che per l’archiviazione. Mancanza dei codec per i video registrato con Iphone, è stato necessario procurare un’altra fotocamera

6. Conclusioni e sviluppi futuri Questa tesi ha contribuito al progetto CAT nei seguenti punti Conclusione del prototipo grazie all’implementazione di ulteriori modifiche audio-visive Integrazione di un tracker per il rilevamento facciale Esecuzione di uno studio pilota per verificare l’effettiva efficacia ed efficienza del sistema

6. Conclusioni e sviluppi futuri Nuovi sensori Migrazione da PC a tablet Sensori di pressione per il rilevamento della postura Microfoni per l’analisi della voce con Praat Biofeedback per il monitoraggio del battito cardiaco e il livello d’ossigenazione nel sangue Pro Accelerometro per poter monitorare i movimenti riflessi della mano Maggior portabilità dell’intero sistema Contro Difficoltà a mantenere il volto inquadrato nel tracker

Grazie dell’ attenzione