Simulazione Anatomica di Muscoli Facciali per Volti Virtuali Generici Relatore Candidato Prof. Marco Schaerf Francesco Iannucci Correlatore Ing. Marco Fratarcangeli Anno Accademico 2005-2006

Le espressioni del volto Il volto umano è uno dei più importanti e complessi mezzi espressivi con il quale l’uomo può comunicare. È attraverso il viso che si riesce a trasmettere un particolare sentimento o stato d’animo. Diverse discipline coinvolte: la psicologia, la computer vision e la computer graphics. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Obiettivi A partire dal modello virtuale di un volto umano generare automaticamente la mappa anatomica dei muscoli mimici. Realizzare in real-time espressioni facciali realistiche modificando il modello virtuale di partenza per mezzo dei muscoli appena generati. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Anatomical Facial Muscle Simulator (AFMS) Modello VRML Facial Definition Points (FDP) Muscle’s Force File AFMS Volto simulato Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Il modello VRML FDP AFMS Modello VRML Muscle’s Force File Volto simulato Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Facial Definition Points (FDP) Modello VRML Muscle’s Force File FDP AFMS Volto simulato Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Facial Definition Points (FDP) in AFMS Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Task per la simulazione Per realizzare le espressioni facciali è stato necessario sviluppare i seguenti punti: Simulare la pelle del viso con le sue proprietà elastiche. Simulare la presenza del cranio. Implementare un modello muscolare anatomicamente vicino a quello reale. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Simulazione della pelle Per simulare la pelle è stato convertito l’intero sistema di poligoni del modello 3D in un sistema di masse e molle. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Simulazione della pelle La deformazione del modello è generata dall’applicazione delle forze muscolari sui nodi-massa. Il loro movimento induce delle forze interne che a loro volta fanno muovere i nodi-massa adiacenti. Il processo termina quando si raggiunge l’equilibrio tra le forze muscolari e quelle interne. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Simulazione della pelle Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Simulazione del cranio È stata aggiunta una forza di non compenetrazione del cranio Fskull, applicata a tutti i nodi interessati dal movimento, che gli permette di scivolare sul cranio. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Modello muscolare I muscoli mimici sono di due tipi: lineari (frontale, nasale, ecc.) circolari (orbicolare degli occhi e della bocca). Il modello muscolare implementato è quello di Kolja Kähler et al. I muscoli sono generati automaticamente. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Modello muscolare Il muscolo viene rappresentato come un insieme di fibre, ognuna delle quali ha una struttura di controllo costituita da un poligono lineare formato da segmenti. La contrazione del muscolo è controllata da un parametro che causa l’accorciamento e la deformazione della sua geometria. Tutte le contrazioni del muscolo vengono visualizzate istantaneamente. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Modello muscolare Per ciascun muscolo lineare si ha un punto di origine, un punto di inserzione e i suoi sarcomeri. Per il muscolo circolare invece c’è soltanto il suo centro di contrazione e i sarcomeri. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Modello muscolare Per ciascun muscolo viene definito un poligono di controllo P = {pi} che ne regola il comportamento. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Contrazione muscolare Ciascun muscolo viene deformato agendo progressivamente sul suo poligono di controllo. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Contrazione muscolare Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

La mappa muscolare Simulazione anatomicamente corretta del comportamento del muscolo. I muscoli sono stati posizionati sul modello in base agli MPEG-4 FDP. La mappa muscolare che si ottiene come risultato dipende molto dall’accuratezza con cui sono stati posti gli FDP. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

La mappa muscolare Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

La mappa muscolare Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

La mappa muscolare Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Anatomical Facial Muscle Simulator (AFMS) OpenGL visage|SDK MFC Microsoft Visual C++ 6.0 Windows Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Anatomical Facial Muscle Simulator (AFMS) Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Modelli virtuali Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Rappresentazione dei sarcomeri Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Risultati – mappe muscolari Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Risultati Felicità Tristezza Sorpresa Collera Paura Disgusto Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Risultati Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Risultati Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Risultati Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Risultati Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Possibili applicazioni Realtà virtuale (web, tools per il training medico, simulatori) Telecomunicazioni (videoconferenze on-line, videofonia) Insegnamento e apprendimento (apprendimento per bambini e/o disabili, tools per l’utilizzo di macchinari) Intrattenimento (cinema, animazione 3D, videogiochi) Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci

Conclusioni AFMS è un’applicazione interattiva e la simulazione avviene in tempo reale. È un’applicazione efficiente e abbastanza robusta. Controllo della contrazione muscolare. La mappa muscolare generata dipende fortemente dagli FDP. L’accuratezza della simulazione dipende da: La risoluzione del modello (numero dei vertici). La topologia dei vertici. Dipartimento di Informatica e Sistemistica - Università di Roma "La Sapienza" - F. Iannucci