VisMac 2006 La Visione delle Macchine Scuola di Dottorato Prof. Giuseppe Mastronardi Dipartimento di Elettrotecnica ed Elettronica Politecnico di Bari Metodologie e sequenza operativa per l’analisi del fondo retinico e dell’impronta palmare Palermo, 27 Agosto - 2 Settembre 2006 Giovedì 31 Agosto 2006 Sessione “Biometria”

è un dispositivo automatico per la verifica e l’identificazione personale mediante caratteristiche fisiologiche: retina, iride, palmo della mano, impronte digitali, volto caratteristiche comportamentali: timbro della voce e firma è utilizzato nei sistemi di controllo per la sicurezza accesso fisico in sedi governative, aeroporti, stazioni ferroviarie, porti, luoghi in generale ad alta frequentazione accesso logico a servizi e dati di un sistema informativo EVOLUZIONE DELLE TECNOLOGIE BIOMETRICHE SISTEMA BIOMETRICO VisMac 2006

Alla fine dell’800 le Forze di Polizia di tutto il mondo cominciarono ad acquisire e memorizzare in appositi archivi le impronte digitali di criminali, detenuti e sospetti. Inizialmente, le impronte erano “registrate” su supporto cartaceo, inchiostrando i polpastrelli dei soggetti in questione e realizzando il “timbro dell’impronta”. Oggi, in piena era digitale, le tecniche di riconoscimento biometrico sono sempre più utilizzate nelle attività giudiziarie e anticrimine, per la sicurezza stessa delle persone e nel controllo degli accessi. Entro il 2010 la maggior parte degli abitanti della Terra avrà a che fare, episodicamente o in maniera continua, con le tecniche di riconoscimento biometrico. Una Tecnologia Biometrica consente di misurare caratteristiche fisiche uniche per ciascun individuo come le impronte digitali e le caratteristiche del volto. VisMac 2006 EVOLUZIONE DELLE TECNOLOGIE BIOMETRICHE

IDENTIFICAZIONE AUTOMATICA RICONOSCIMENTO DI CARATTERISTICHE (FEATURE EXTRACTION) RICONOSCIMENTO DI INFORMAZIONI CODIFICATE (DATA CARRIER) Questa categoria comprende le tecnologie finalizzate a raccogliere, memorizzare e trasportare dati e informazioni codificati su opportuni supporti. MEM. OTTICA (CODICI A BARRE) MEM. MAGNETICA (BANDA MAGNETICA) MEM. ELETTRONICA (CHIP, SMART CARD) Questa categoria contiene tre sottogruppi a seconda che la caratteristica “estratta” (relativa all’immagine di una persona) sia attribuibile a un aspetto statico, ad un’azione dinamica della persona, oppure sia associabile a una proprietà chimico-fisica del materiale costituente l’oggetto. ASPETTO STATICO (IMPRONTA DIGITALE, GEOM. MANO e VISO, RETINA e IRIDE) PROPR. CHIMICO- FISICHE (ORGANICHE, DNA, VIRUS, ANTICORPI) ASPETTO DINAMICO (VOCE, ANDATURA, FIRMA) VisMac 2006 CLASSIFICAZIONE DELLE TECNOLOGIE DI IDENTIFICAZIONE AUTOMATICA (Automatic Identification and Data Capture)

PRINCIPALI ESEMPI DI TECNICHE BIOMETRICHE RICONOSCIMENTO DELLA GEOMETRIA DELLA MANO O DELL’IMPRONTA PALMARE RICONOSCIMENTO DI IMPRONTE DIGITALI RICONOSCIMENTO DELL’IRIDE O DEL FONDO RETINICO RICONOSCIMENTO DEL VOLTO RICONOSCIMENTO DEL MODO DI PARLARE RICONOSCIMENTO DEL MODO DI FIRMARE ESEMPI DI TECNICHE BIOMETRICHE VisMac 2006

 Universalità: ogni individuo deve possedere quella determinata caratteristica biometrica;  Unicità: non è possibile che due persone condividano la stessa identica caratteristica biometrica;  Permanenza: la caratteristica biometrica deve rimanere immutata nel tempo;  Catturabilità: la caratteristica biometrica deve poter essere acquisita e quantitativamente misurata. VisMac 2006 REQUISITI ESSENZIALI PER LE PRINCIPALI CARATTERISTICHE FISIOLOGICHE O COMPORTAMENTALI UTILIZZATE NELL’IDENTIFICAZIONE PERSONALE

VisMac 2006 CONFRONTO TRA ALCUNE TECNOLOGIE BIOMETRICHE IN FUNZIONE DEI REQUISITI ESSENZIALI

I coni: sono circa sette milioni nella retina umana, sono concentrati in una zona detta macula il cui centro coincide con l’asse ottico principale; aiutano a vedere i differenti colori. I bastoncelli sono più di 130 milioni, aiutano la visione notturna e la visione periferica. Le cellule sensibili alle radiazioni luminose (fotorecettori) sono localizzate nello strato più interno della retina e sono di due tipi che, per il loro aspetto, vengono chiamati coni e bastoncelli. La retina La retina è uno strato di cellule nervose che rivestono il fondo e le pareti dell’occhio. Il fondo retinico è parte di una struttura più ampia che permette all’uomo di vedere il mondo circostante: l’occhio. VisMac 2006

Nel 1935 il Dott. Carleton Simon e il Dott. Isidore Goldstein scoprirono che ogni retina ha un’unica struttura dei vasi sanguigni. Nel 1950 dal Dott. Paul Tower portò alla luce la diversità del fondo retinico perfino tra gemelli identici. Biometria della retina La biometria della retina assicura  accuratezza  bassa probabilità di fallimento nell’identificazione ciò è garantito dalla stabilità della retina nel corso della vita e dal fatto che non subisce alterazioni ambientali. VisMac 2006

Il fondo oculare appare composto da uno strato di vasi sanguigni, allocati sul fondo dell’occhio. questa configurazione vascolare costituisce una “ firma o impronta ” dell’occhio (una vera carta di identità per ciascun individuo); la sua duplicazione artificiale (il falso) è praticamente impossibile. Universale, unica, permanente, catturabile. Per questi motivi l’immagine della retina è impiegata come caratteristica biometrica altamente affidabile per la Identificazione Personale. VisMac 2006 IL FONDO OCULARE

Esistono molte tecniche per osservare il fondo oculare ed ottenerne le informazioni morfologiche. La prima utilizzata… L’oculista dirige una luce verso l’occhio del paziente, il quale deve osservare un punto fisso. Tecniche più evolute in medicina…  la fotografia del fondo oculare;  l’angiografia fluorescente (fluorescent angiography FA);  l’oftalmoscopio;  lo scanning laser. Il principio su cui si basano è simile: si illumina la pupilla dilatata e si registra la luce riflessa dal fondo oculare. Acquisizione di immagini oculari Tecniche biometriche… Gli strumenti utilizzati sono più veloci e più piccoli. VisMac 2006

Bifurcation point Crossover point Per estrarre le caratteristiche del fondo retinico occorre individuare i punti di biforcazione e i punti di sovrapposizione dei vasi retinici. L’insieme di questi punti ( nuvola o costellazione ) consente un efficace ed efficiente processo di Identificazione Personale. VisMac 2006 IDENTIFICAZIONE MEDIANTE LA RETINA

Per i test si è usato un database, di 100 immagini digitali relative a 80 differenti persone, ottenute dall’Unità Operativa di Oftalmologia del Policlinico di Bari. Ogni immagine del database è stata acquisita mediante angiografia fluorescente : risoluzione di 512x512 pixel quantizzazione a 8 bit per pixel (256 livelli di grigio) VisMac 2006 DATABASE DI RIFERIMENTO

 Estrema variabilità dei livelli di grigio (rumore strutturale)  Presenza di rumore impulsivo dovuto agli strumenti di acquisizione. Problemi da risolvere: Estrazione dei punti caratteristici VisMac 2006

Risultati con soglia fissa (128): Binarizzazione delle immagini VisMac 2006

Pre-Processing - Sequence of Filters - Skeleton Extraction - Empirical Algorithm - Retinal Fundus Feature Extraction - Tracking Algorithm - 1° 2° 3° 4° Edge Template Extraction - Genetic Algorithm - VisMac 2006 SEQUENZA OPERATIVA

Pre-Processing Naka-Rushton Filter Cluster Filter Hyperbole Filter (Operators of Erosion and Dilation) Median Filter 1° STEP VisMac 2006 SEQUENZA DI FILTRI

1.1° STEP  L’immagine del fondo oculare presenta un rumore impulsivo dovuto alla forma anatomica dell’occhio e ai sistemi di acquisizione. Per questi motivi una caratteristica negativa dell’immagine retinica è quella di avere gli stessi livelli di grigio sia per il fondo sia per i vasi sanguigni (ovviamente in punti diversi). VisMac 2006 NAKA-RUSHTON FILTER  L’impiego classico di soglie produce una perdita di un gran numero di particolari importanti.  Usando il filtro di Naka-Rushton si equalizza l’immagine nell’intorno di un livello di grigio, in altri termini si produce una opportuna compressione dei livelli di grigio.  Si ottengono ottimi risultati in termini di contrasto significativo tra il background dell’immagine e gli altri elementi significativi della retina.

NAKA-RUSHTON LAW VisMac 2006 dove O(i,j) è la matrice dell’immagine risultato, ottenuta a seguito della transformazione, I(i,j) è la matrice dell’immagine sorgente e μ window è la media dei pixel nella finestra di esplorazione scelta. 1.1° STEP

Il Filtro Cluster è un metodo iterativo che usa la media e la deviazione standard come valori iniziali e la distanza di Mikowski per distinguere i pixel dei vasi dal background e separa così il fundo retinico in due differenti cluster : 1.2° STEP FILTRO CLUSTER Si ottiene un’immagine priva di rumore strutturale avendo soltanto due livelli (pixel neri e pixel bianchi) che appartengono rispetti- vamente a: Sistema vascolare Background VisMac 2006 FILTRO CLUSTER  cluster del sistema vascolare  cluster del background

L’algoritmo è costituito dai seguenti passi: 1.Per q = 1 si pone: CLUSTER(q) vasi sanguigni = media – deviazione standard CLUSTER(q) sfondo = media + deviazione standard dove media e deviazione standard si riferiscono all’intera immagine. 2.Si calcola la distanza di Minkowski: tra il pixel i ed il valore corrispondente del cluster alla q-esima iterata : D 1 =distanza(X i, CLUSTER(q) vasi sanguigni ) D 2 =distanza(X i, CLUSTER(q) sfondo ) Se D 1 < D 2 allora il pixel i va assegnato al cluster dei vasi sanguigni altrimenti va assegnato al cluster dello sfondo. Viene aggiornato il centro dei cluster secondo le equazioni: A questo punto si incrementa il valore di q e si ripete il passo 2. Le condizioni di stop dell’algoritmo possono essere: - Si raggiunge un certo numero massimo di iterate; - Si fissa un certo valore e se il centro dei cluster si mantiene al di sotto di esso si ferma l’algoritmo. FILTRO CLUSTER Il fondo retinico viene diviso in cluster, alcuni dei quali sono identificati come sfondo, altri come vasi sanguigni. VisMac 2006

FILTRO CLUSTER: Risultato VisMac 2006

FILTRO IPERBOLE (Operatori morfologici di Erosione e Dilatazione) È la trasformazione morfologica che combina due insiemi usando la sottrazione vettoriale fra gli elementi degli insiemi. Le trasformazioni di erosione e dilatazione di un’immagine presentano una marcata analogia, nel senso che la prima esegue sugli oggetti dell’immagine quello che la seconda esegue sullo sfondo. È la trasformazione morfologica che combina due insiemi usando l’addizione vettoriale degli elementi dell’insieme. DILATAZIONE EROSIONE In tale contesto gli operatori vengono utilizzati per eliminare il rumore impulsivo presente nelle immagini VisMac 2006

Il calcolo della soglia T è determinato nel seguente modo: dove K è il fattore di guadagno variabile del filtro (preferibile pari a 2 Av); Avè la media dei pixel dell’intera immagine; N il numero di livelli di grigio discretizzati dal convertitore, pari a 256; M è la media dei pixel circostanti il pixel in esame nella finestra considerata. La scelta del guadagno, della dimensione e della forma della finestra può essere effettuata sperimentalmente, in funzione del tipo di immagine. FILTRO IPERBOLE Rientra nella categoria dei filtri adattativi, facendo uso di una soglia variabile inversamente proporzionale al valore medio della differenza di luminanza in ogni porzione dell’immagine Permette di eliminare il rischio di estrarre falsi oggetti in immagini molto rumorose in cui si può riscontrare la presenza di pixel spuri e aree localmente inconsistenti, ma tale presenza non deve essere presa in considerazione VisMac 2006

1.3° STEP  Il filtro iperbole viene invece usato: 1.come Operatore di Erosione, sul negativo della immagine, adottando una finestra di 17 x 17 pixel; 2. come Operatore di Dilatazione, sull’immagine ottenuta dopo l’erosione (background bianco e vasi neri), adottando una finestra di 3 x 3 pixels.  Col precedente processo di clustering tutto il sistema vascolare è stato preservato, ma nello stesso tempo, non è stato eliminato il rumore impulsivo. Questo tipo di rumore può essere rimosso dal filtro iperbole. VisMac 2006 FILTRO IPERBOLE

Operatore di Erosione 17 X 17 pixel FILTRO IPERBOLE : Risultato VisMac 2006

FILTRO IPERBOLE: Risultato Operatore di Dilatazione 3 X 3 pixel VisMac 2006

1.3° STEP Erosione Dilatazione VisMac 2006 FILTRO IPERBOLE (Operatori morfologici di Erosione e Dilatazione)

1.4° STEP  Nel caso particolare, il suo utilizzo è dovuto alla necessità di rendere uniformi le zone dello stesso colore  E’ un filtro Non-lineare  Assegna a ciascun pixel una luminosità pari al valore mediano dei pixel vicini  Elimina il rumore impulsivo  Non altera i contorni Filtro Mediano VisMac 2006 FILTRO MEDIANO

Pre-Processing - Sequence of Filters - Skeleton Extraction - Empirical Algorithm - Retinal Fundus Feature Extraction - Tracking Algorithm - 1° 2° 3° 4° Edge Template Extraction - Genetic Algorithm - VisMac 2006 SEQUENZA OPERATIVA

MA_DI CANNY Estrazione di contorni VisMac 2006

2° STEP  Il problema viene formulato come una Minimizzazione della Funzione Costo. In particulare è stato scelto un algoritmo di rilevazione di contorni tale che possa preservare alcune proprietà dei contorni visibili dei vasi sanguigni.  La funzione costo adottata è quella introdotta da Tan per misurare in immagini reali la lunghezza dei profili dei contorni. Introduce un fattore costo correlato alla corretta localizzazione dei contorni basato su un criterio di differenze tra regioni adiacenti.  Il costo F del punto di un contorno binarizzato di posizione p = (i,j) di un’immagine di contorni S è ottenuto come somma pesata di opportuni fattori costo: VisMac 2006 ESTRAZIONE DEI CONTORNI MEDIANTE ALGORITMI GENETICI

La funzione Costo Totale F(S) di un’immagine di contorni S è data aggiungendo il costo del punto p ad ogni pixel dell’immagine: 2° STEP Considerando due immagini di contorni S a e S b identiche ovunque fatta eccezione in una regione di 3 x 3 pixel centrata sulla posizione p, una funzione costo comparativa  F può essere così definita: dove 0 =0. I termini C k sono i fattori di costo e i termini W k i relativi pesi. Con queste condizioni, se F(S a,S b,p) 0. Invece, quando F(S a,S b,p)=0 le due configurazioni sono equivalenti in termini di costo. VisMac 2006 L’ALGORITMO GENETICO

2° STEP  L’attributo locale per i costi C t, C c e C f, rappresenta la dipendenza esclusiva di questi fattori dalla configurazione assunta dai contorni in un intorno osservato di 3 x 3 pixel.  C d dipende soltanto dal valore assunto nella posizione (i,j) osservata dell’ immagine delle dissimilarità D, e si ottiene calcolando l’immagine delle dissimilarità mediante un template- matching con la soppressione delle condizioni di massimo. Il costo C d consente di enfatizzare quei pixel che costituiscono il contorno comune tra regioni adiacenti differenti e introduce una penalizzazione per quei pixel non etichettabili come contorno. VisMac 2006 L’ALGORITMO GENETICO

 L’ immagine D delle dissimilarità deve avere un valore reale nell’intervallo [0,1] in ciascuna posizione p, proporzionale al grado di dissimilarità fra regioni adiacenti in quel punto ( 0 per nessuna differenza, 1 per massima differenza).  Al fine di ottenere questa immagine, è necessario fissare, prima di tutto, una base delle strutture dei contorni localmente validi e, per ciascun elemento di questa base, la forma delle due regioni R 1 e R 2 sui lati opposti della struttura da cui dipenderà la differenza C d. 2° STEP VisMac 2006 L’ALGORITMO GENETICO

 E’ necessario, pertanto, fissare una funzione f(R 1,R 2 ) per il calcolo delle dissimilarità:  Sono stati adottati come base i seguenti 12 contorni principali localmente validi, tutti constituiti da 2 pixel di contorno rispetto al pixel centrale comunque presente, disposti in una finestra quadrata di 3 x 3 pixel, allineati (4 combinazioni) o in condizione di formare al massimo un angolo di 45° (8 combinazioni). 2° STEP VisMac 2006 L’ALGORITMO GENETICO

 Riguardo la funzione f(R 1,R 2 ) per calcolare le dissimilarità, supponiamo per semplicità di investigare sulla presenza di un contorno basandoci soltanto sulla discontinuità dei livelli di grigio (step edges), rilevando semplicemente la differenza tra le medie di livelli di grigio di due regioni di interesse vicine. 2° STEP VisMac 2006 L’ALGORITMO GENETICO

 Il costo C t è stato introdotto per enfatizzare i contorni localmente sottili, penalizzando quelli localmente spessi. Un pixel può essere considerato appartenente a un contorno quando esistono anche connessioni multiple tra due o più pixel nell’intorno 3 x 3 (come quelle raffigurate di seguito). Il costo C t di un punto del contorno sarà uguale a 1 se questo punto è spesso, o uguale a 0 in caso contrario. 2° STEP VisMac 2006 L’ALGORITMO GENETICO

2° STEP  Il costo C c è stato introdotto per migliorare la struttura del contorno localmente lineare rispetto a quelli localmente curvi. Un pixel può essere considerato appartenente a un contorno anche se localmente non lineare, curvo o molto curvo, purchè nella finestra centrale 3x3 vi sia la presenza di una delle 4 strutture lineari, o una delle 8 strutture con angolo al massimo di 45°, o una delle altre strutture di seguito riportate. Il costo C c è posto a 0 per un pixel di un contorno non curvo, a 0.5 per un pixel di un contorno mediamente curvo, a 1 per un pixel di un contorno molto curvo. VisMac 2006 L’ALGORITMO GENETICO

2° STEP  Il costo C f è stato introdotto per migliorare la struttura del contorno localmente continuo nelle vicinanze di minime discontinuità. Un pixel localmente non continuo può essere considerato di contorno se nell’intorno 3 x 3 esistono pixel già considerati di contorno. Il costo C f è pertanto posto a 0 per un pixel connesso ad altri, a 0.5 per un pixel connesso in una regione parzialmente frammen- tata (come di seguito), a 1 per un pixel molto sconnesso. VisMac 2006 L’ALGORITMO GENETICO

2° STEP  Il costo C e è stato introdotto per contenere il numero di pixel definiti di contorno, bilanciando la tendenza opposta inrodotta dal costo C d cost. C e è posto a 0 per un pixel non di contorno, a 1 per un pixel di contorno.  Per quanto riguarda i pesi relativi ai costi, Tan suggerisce una serie di valori generalmente validi su base euristica, per adattare di volta in volta gli effetti: ponendo C e = 1.00 segue W d = 2.00, W c = {0.25, 0.50, 0.75}, W f = {2.00, 3.00, 4.00} e, nel caso in cui si vuole che i minimi locali della funzione costo corrispondono alle configurazioni di contorno non spesso, W t viene posto = 2 W f + W d – W c – W e. VisMac 2006 L’ALGORITMO GENETICO

2° STEP Genetic Algorithm VisMac 2006 L’ALGORITMO GENETICO: Risultato

Pre-Processing - Sequence of Filters - Skeleton Extraction - Empirical Algorithm - Retinal Fundus Feature Extraction - Tracking Algorithm - 1° 2° 3° 4° Edge Template Extraction - Genetic Algorithm - VisMac 2006 SEQUENZA OPERATIVA

L’immagine risultante da una scheletrizzazione deve soddisfare i seguenti requisiti:  lo scheletro deve avere linee dello spessore di un punto;  le linee dello scheletro devono essere situate alla mezzeria degli oggetti;  lo scheletro deve risultare il più possibile privo di ramificazioni corte e monche, per lo più irrilevanti (insensibilità al rumore);  dopo un certo numero di iterazioni dell’algoritmo, lo scheletro risultante deve rimanere inalterato, avendo raggiunto la sua forma finale (stabilità). Il connectivity number esprime il numero dei componenti connessi in cui si spezza la finestra, se si elimina il punto P 0, presupposto appartenente ad un oggetto. In altre parole tale numero esprime il numero di pezzi dell’oggetto tenuti insieme da P 0. Una volta definita la metrica utilizzata, ossia quali pixel vengono considerati adiacenti e quindi connessi tra loro, si può passare alla definizione di quali sono le condizioni necessarie e sufficienti per la rimozione di un punto. Tali condizioni possono essere espresse solo dopo avere definito il connectivity number N 8, che in base alla 8-vicinanza, su una finestra 3x3 come la seguente: Le condizioni necessarie e sufficienti per la rimozione di un punto dipendono innanzi tutto dal tipo di metrica considerata: 8-connectivity 4-connectivity Scheletrizzazione (da vasi pieni) con ed i=1..8 P4P4 P3P3 P2P2 P5P5 P0P0 P1P1 P6P6 P7P7 P8P8 VisMac 2006

1)Il pixel I(i,j) viene cancellato se sono soddisfatte le condizioni: Il connectivity number è pari ad 1; Ci sono almeno due pixel neri vicini e non più di sei; I pixel di posizione (i,j+1), (i-1,j) e (i+1,j) sono bianchi; I pixel di posizione (i-1,j), (i+1,j) e (i,j-1) sono bianchi. 2)il pixel I(i,j) viene cancellato se sono soddisfatte le condizioni: Il connectivity number è pari ad 1; Ci sono almeno due pixel neri vicini e non più di sei; I pixel di posizione (i-1,j), (i,j+1) e (i+1,j) sono bianchi; I pixel di posizione (i,j+1), (i+1,j) e (i,j-1) sono bianchi. Alla fine delle due sub-condizioni, i pixel che le soddisfano saranno eliminati. Se non ci sono pixel segnati, ossia pixel che verificano le condizioni viste, l’algoritmo si ferma. ● ● ● Scheletrizzazione (da vasi pieni) è costituito da due sub-condizioni. è un algoritmo veloce ● ●● ● ● ● ●● ● è un metodo parallelo, cioè il valore del pixel elaborato dipende solo dai pixel precedenti L’algoritmo utilizzato VisMac 2006 Algoritmo iterativo di scheletrizzazione di Zhang-Suen

Scheletrizzazione (da vasi pieni): Risultato VisMac 2006

3° STEP  Il processo di Skeleton, consiste in un algoritmo empirico in cui l’immagine dei contorni viene elaborata nelle due direzioni, orizzontale e verticale.  Per ciascuna riga e ciascuna colonna che si intersecano nella scansione rispettivamente verticale e orizzontale, si individuano tutte le coppie di punti con una distanza sufficiente per essere considerati appartenenti al contorno dello stesso vaso sanguigno, e per ciascuna di queste viene tracciato il punto mediano. Una sequenza di punti mediani costituisce lo skeleton. Skeleton Process VisMac 2006 Scheletrizzazione (dai contorni dei vasi)

Pre-Processing - Sequence of Filters - Skeleton Extraction - Empirical Algorithm - Retinal Fundus Feature Extraction - Tracking Algorithm - 1° 2° 3° 4° Edge Template Extraction - Genetic Algorithm - VisMac 2006 SEQUENZA OPERATIVA

Dalle immagini scheletrizzate è possibile estrarre i punti caratteristici sfruttando il fatto che lo scheletro ha spessore unitario. Occorre calcolare il numero di intersezioni attorno al punto p(i,j) con l’equazione: I punti vengono così classificati: Se cnp = 1 è un punto di fine  Se cnp = 2 è un punto interno  Se cnp = 3 è un punto di biforcazione  Se cnp = 4 è un punto di intersezione  P4P4 P3P3 P2P2 P5P5 o P1P1 P6P6 P7P7 P8P8 Estrazione punti dove P9 = P1 VisMac 2006

Estrazione punti: Risultati VisMac 2006

 Le immagini dei contorni e dello skeleton, vengono miscelate in una immagine unica per evidenziare allo stesso tempo I vantaggi forniti da entrambi i processi.  L’immagine di larghezza 512 pixel ( W ) e altezza 512 pixel ( H ) viene divisa in blocchi sovrapposti alti 512 pixel ( H ) e larghi 32 pixel ( L ). La sovrapposizione tra blocchi consecutivi è di 16 pixel ( P ). 4° STEP L P H W L P H W VisMac 2006 ESTRAZIONE DELLE CARATTERISTICHE

 Vengono considerate tutte le coppie di punti dell’immagine di skeleton che appartengono a due vasi paralleli che, alla fine del loro percorso, possono convergere in un punto di biforcazione.  Quando si individua una coppia di questo tipo, il processo di tracking parte con l’inseguimento dei punti di contorno dei vasi esaminati e, in particolare, viene seguita la via coperta da quei punti di contorno che si trovano tra due punti di skeleton. 4° STEP VisMac 2006 ALGORITMO DI TRACKING

 Considerato che le forme dei vasi sanguigni sono differenti, diventa necessario ripetere il processo precedente, analizzando l’immagine in tutte le quattro direzioni: da sinistra a destra, da destra a sinistra, dall’alto in basso, dal basso in alto, al fine di coprire tutti i punti di biforcazione e di attraversamento caratteriz- zati dalla confluenza di vasi da differenti direzioni. 4° STEP  Il percorso dei punti di contorno viene confrontato, passo passo, con degli schemi precodificati che sono differenti per ciascuna delle quattro direzioni di scansione: (a) from left to right (b) from right to left (c) from top to down (d) from bottom to up VisMac 2006 ALGORITMO DI TRACKING

La sequenza operativa mostrata è stata applicata su un data-base di immagini, fornendo per ciascuna di esse una mappa (o nuvola) quasi completa di punti di biforcazione e di attraversamento. Il confronto tra queste nuvole di punti, ottenute con la medesima sequenza operativa, ha consentito di abbinare in modo alquanto efficiente e sicuramente affidabile le coppie di immagini apparte- nenti alle medesime persone. VisMac 2006 ESTRAZIONE DEI PUNTI: Risultato

L’ impronta palmare appare composta da una serie di solchi, posti sulla “tessitura” della pelle, che si biforcano e si attraversano come i vasi sanguigni della retina. Anche questa configurazione costituisce una “ firma ” del palmo della mano (quasi una carta di identità per ciascun individuo); Ma la sua duplicazione artificiale (il falso) è anche possibile mediante calchi di silicone (come per le impronte digitali). Universale, quasi unica, permanente, facilmente catturabile. Per questi motivi l’immagine del palmo della mano è impiegata come caratteristica biometrica complementare. VisMac 2006 L’IMPRONTA PALMARE (o palmprint)

Filtraggio passabasso con finestra 3x3 pixel per eliminare le rugosità della pelle Estrazione della Regione di Interesse (ROI) e filtraggio passa-basso VisMac 2006

Out : 255 = (In - (Av - Range/2)) : range Out = 255 (In - (Av - 38))/76 VisMac 2006 Algoritmi di span e Naka-Rushton Compressione dei livelli di griglio con Naka-Rushton

6. NEGATIVO (per applicare l’erosione) CLUSTER VisMac 2006

Finestra 5 x 5 (1 iterazione) NEGATIVO VisMac 2006 EROSIONI ITERATE

Finestra 5 x 5 (1 iterazione) Finestra 3 x 3 (1 iterazione) VisMac 2006 EROSIONI ITERATE

Finestra 5 x 5 (1 iterazione) Finestra 3 x 3 (1 iterazione) EROSIONI ITERATE

9. DILATAZIONE VisMac 2006 DILATAZIONE

11. FILLING finestra 3X3 VisMac 2006 FILTRO MEDIANO

VisMac 2006 PROCESSO DI SCHELETRIZZAZIONE Algoritmo iterativo di Zhang-Suen di scheletrizzazione o thinning per estrarre le principali linee del palmo della mano

ESTRAZIONE DEI PUNTI SKELETON SOVRAPPOSTO AD IMMAGINE ORIGINALE Biforcazioni = 269 Intersezioni = 4 VisMac 2006 PROCESSO DI ESTAZIONE PUNTI

Scenari applicativi delle tecnologie biometriche La biometria può essere utilizzata per i sistemi di controllo degli accessi e la rilevazione di presenza in aree riservate che necessitino elevati livelli di sicurezza, subordinando tale accesso al risultato del confronto biometrico; l’esigenza di sicurezza è diventata poi ancora più importante in seguito agli attentati terroristici degli ultimi anni. Molteplici sono gli impieghi nel settore della PA: controllo dell’ accesso fisico nelle sedi governative, aeroporti, stazioni ferroviarie, porti e luoghi in generale ad alta frequentazione; controllo dell’ accesso logico in tutte le transazioni che permettono di accedere a servizi e dati di un sistema informativo: tutte le transazioni sono legate infatti all’identità del soggetto che tenta di effettuarle. Il controllo degli accessi logici è strettamente legato all’ autenticazione, definita dalla legge italiana nel D.Lgs. 196/2003 come “ l’insieme degli strumenti elettronici e delle procedure per la verifica anche indiretta dell’identità ” : è da considerarsi quindi autenticazione la verifica dell’identità basata su identificativi biometrici. L’IDENTIFICAZIONE VisMac 2006

La situazione attuale in Italia Con l’adozione dei documenti elettronici si riducono notevolmente i rischi di utilizzo fraudolento e di falsificazione dovuti anche ai furti di carte “in bianco”. I documenti elettronici di identificazione che contengono uno o più elementi biometrici circolanti in Italia sono la Carta d’identità Elettronica (CIE), la Carta Multiservizi della Difesa (CMD), attualmente in distribuzione alle Forze Armate, al Comando Generale dell’Arma Carabinieri e della Guardia di Finanza; nel dicembre 2003 è stato presentato presso l’aeroporto di Fiumicino (Roma) il nuovo prototipo di Passaporto Elettronico ( ePassport ), mentre è in fase di realizzazione il Permesso di Soggiorno Elettronico (PSE). La Società Generale di Informatica Sogei S.p.A. ha avviato nel 2003 un progetto per innalzare i livelli di sicurezza per l’accesso alle postazioni di lavoro dei propri dipendenti mediante strumenti di riconoscimento biometrico associati all’uso di smart card compatibili con la Carta Nazionale dei Servizi. L’IDENTIFICAZIONE VisMac 2006

Nella gestione dei vari documenti elettronici è fondamentale che: – i dati biometrici siano trattati in modo compatibile; – tutte le attività di trasmissione dati avvengano in modalità cifrata per garantirne l’integrità e certificare che le informazioni pervenute a destinazione siano identiche a quelle inviate. La Carta d’identità Elettronica, nell’ambito degli aspetti biometrici, contiene il template e l’immagine dell’impronta digitale del titolare: il template serve per il riconoscimento dell’impronta originale senza permetterne una ricostruzione di qualsiasi tipo, per la salvaguardia della privacy, e per aumentare la sicurezza dei dati, lo spazio riservato alla memorizzazione del template, dopo la sua installazione, viene reso non riscrivibile. Il microprocessore è utilizzato per l’identificazione in rete e per l’erogazione di servizi telematici di E- government. L’IDENTIFICAZIONE VisMac 2006

In totale accordo con la tendenza negli altri paesi industrializzati, il mercato italiano della biometria, secondo i dati dell’ IDC (International Data Group) riepilogati in figura 1.6, è in costante crescita, nonostante i prodotti biometrici non siano così diffusi da ridurne sensibilmente i prezzi: la gestione e la memorizzazione di un’enorme quantità di informazione costituito dalle firme biometriche, dati oltretutto “sensibili”, implica infatti ingenti costi d’investimento per la ricerca di nuove tecnologie. L’IDENTIFICAZIONE VisMac 2006

Biometria e privacy Per quanto riguarda l’aspetto normativo in Italia, il dato biometrico, secondo la definizione di “dato personale” formulata nel D.Lgs. 196/2003, è da considerarsi un dato personale in quanto “ informazione relativa ad una persona identificata o identificabile ”, e soltanto nel caso in cui i dati biometrici, come ad esempio un modello, vengono registrati in modo che non esistano mezzi utilizzabili dal titolare del trattamento per identificare la persona interessata, tali dati possono non essere considerati come personali: essendo quest’ultimo caso molto raro, la maggior parte delle volte alle informazioni biometriche vanno applicati i principi sanciti dalla legge sulla tutela della privacy sin dalla loro fase di registrazione ( enrollment ). Alcuni dati biometrici, oltre che personali, possono essere considerati anche come dati sensibili se sono in grado di rivelare l’origine razziale o etnica, oppure riguardano lo stato di salute dell’individuo; in ambiti specifici, inoltre, i dati biometrici sono soggetti ad ulteriori disposizioni, ad esempio nell’ambito lavorativo, per i quali vanno osservate le norme riguardanti la tutela dei lavoratori, con riferimento alla legge italiana n. 300/1970 (Statuto dei lavoratori). Vi sono le dovute eccezioni quando il dato biometrico viene utilizzato a fini giudiziari, criminalistici, medico-legali (DNA, volto, fingerprint, retina, etc.) L’IDENTIFICAZIONE VisMac 2006

Di seguito vengono definiti i principali obblighi del titolare del trattamento dei dati ed i diritti degli individui interessati: – Notifica : chiunque intenda trattare i dati biometrici in qualità di titolare, ha l’obbligo di notifica al garante per la protezione dei dati personali, nella quale dichiara o rende noto la propria attività di raccolta e di utilizzo dei dati; tutte le notifiche sono inserite in un registro pubblico consultabile gratuitamente da tutti su internet. Per le attività di trattamento di dati che non esistevano prima del 1° gennaio 2004, la notifica va effettuata prima dell’inizio del trattamento, per le attività invece già esistenti al 1° gennaio 2004, la notifica andava effettuata entro il 30 aprile L’IDENTIFICAZIONE VisMac 2006

– Informativa : il titolare deve rilasciare sempre un’informativa agli interessati, oralmente o per iscritto, indicando le finalità e le modalità del trattamento dei dati, ed i soggetti che possono venirne a conoscenza o ai quali possono essere comunicati; anche i soggetti pubblici, che possono trattare i dati solo per lo svolgimento delle funzioni istituzionali, sono tenuti a fornire un’informativa agli interessati. – Consenso : i singoli individui interessati devono esprimere il consenso al trattamento dei propri dati biometrici in modo libero e facendo esplicito riferimento al trattamento considerato. L’IDENTIFICAZIONE VisMac 2006

La tecnica biometrica del palmprint e le sue applicazioni Tra le tecniche biometriche, quella maggiormente diffusa è il fingerprint o delle impronte digitali: implementata da oltre 100 anni ed ultimamente potenziata coi sistemi AFIS ( Automated Fingerprint Identification Systems ), è considerata ancora molto attendibile per la sua unicità e stabilità, risulta tuttavia difficoltoso estrarre delle piccole caratteristiche dette minutiæ in particolari soggetti come anziani o lavoratori manuali, non è idonea in ambienti troppo umidi o polverosi, ed inoltre è necessario che le immagini acquisite abbiano una risoluzione di almeno 400 dpi ( dots per inch ) per l’estrazione delle caratteristiche. Per applicazioni civili e commerciali, la tecnica del palmprint è molto più semplice ed economica, pur garantendo un’accuratezza ed un’usabilità medio-alte: vengono utilizzate immagini del palmo della mano a bassa risoluzione (200 dpi ), quindi di dimensioni ridotte in termini di memoria, e con misure semplici, ed in tempi computazionali brevi, vengono estratte le caratteristiche biometriche; il palmprint inoltre è altamente accettato da parte dell’utente che si sottopone, poiché non provoca ansia e disagio, a differenza di quanto può accadere per il riconoscimento dell’iride o delle impronte digitali; in tabella 1.1 sono riassunte le dimensioni del template e gli elementi di costo di un sistema biometrico basato sulla geometria della mano attualmente in commercio: L’IDENTIFICAZIONE VisMac 2006

I sensori per la geometria della mano vengono attualmente impiegati in vari contesti e si sono rivelati particolarmente efficaci per applicazioni di tipo “ time and attendance ” per il controllo delle presenze nei luoghi di lavoro. Per anni i lettori per la geometria della mano sono stati usati per espletare rapidamente le procedure di immigrazione negli Stati Uniti per il programma “ InsPass ”, attualmente invece un sistema biometrico basato sulla geometria della mano è installato dal 1991 nell’aeroporto di San Francisco ed in quello di Tel Aviv per i cosiddetti “ frequent flyers ”, in Canada e negli Stati Uniti è utilizzato in molti impianti nucleari, mentre in Danimarca dal 2005 sono emessi passaporti biometrici. Nel 1996, durante i giochi olimpici di Atlanta, il riconoscimento della geometria della mano è stato usato per identificare tra atleti, staff e partecipanti. Il programma BASEL, finalizzato al controllo della frontiera tra Israele e Gaza, implementa invece una tecnica biometrica multimodale, fondendo informazioni sulla geometria della mano, caratteristiche del volto, impronte e dati anagrafici. L’IDENTIFICAZIONE VisMac 2006

Studi effettuati sul palmprint Nei precedenti studi sul palmprint, di cui i ricercatori cinesi sono stati i pionieri, Y. Liang Ma [2] ha estratto il contorno della mano utilizzando il metodo delle curve Bspline per considerare l’informazione riguardante la geometria delle dita: tale dato non è tuttavia stabile nel tempo (si pensi ad esempio alle donne in gravidanza o a grandi variazioni di peso dell’individuo); nei primi esperimenti sul palmprint, le immagini del palmo erano acquisite mediante una camera CCD, e non presentavano pertanto condizioni stabili di illuminazione: C.C. Huan [3] fu il primo ad utilizzare un semplice scanner eliminando tale problema: anche in questo lavoro di tesi le immagini sono state acquisite con la stessa modalità; S. Ribaric [4] ha proposto un metodo che utilizza informazioni riguardanti sia le linee del palmo sia alcune misure geometriche della mano, applicando criteri decisionali euristici per l’identificazione: in questo lavoro di tesi verranno considerate non solo le linee ma anche la dimensione dell’intera mano, utilizzando un algoritmo che inscrive e centra la mano nel minore quadrato possibile; D. Zhang [5] ha estratto le linee principali del palmo: in questo lavoro di tesi viene proposto un metodo più rapido ma ugualmente affidabile rispetto a quello di Zhang: non saranno estratte esplicitamente le principali linee del palmo ma verranno considerati come informazione biometrica caratterizzante i punti di intersezione e biforcazione di tali linee. L’IDENTIFICAZIONE VisMac 2006

L’identificazione si riduce sempre alla individuazione dei punti caratteristici che si presta: ad effettuare un confronto con altre immagini elaborate nello stesso modo al fine di ottenere il riconoscimento personale. L’IDENTIFICAZIONE Perciò è necessario: sviluppare algoritmi che consentano il confronto tra nuvole di punti estratti su più immagini; ottenere archivi di immagini costituite da nuvole di punti. VisMac 2006

La decisione del sistema per quanto si è potuto percepire è affetta da errore, e gli errori che possono presentarsi sono di due tipi: – Falso Rifiuto (FRE, False Rejection Error): la vera identità di un utente regolarmente registrato è rifiutata perché non verificata o non identificata, poiché lo score è inferiore al valore della soglia di decisione; – Falsa Accettazione (FAE, False Acceptance Error): l’identità di un impostore viene valutata come quella di un regolare utente registrato, poiché lo score prodotto è superiore alla soglia. In corrispondenza di tali errori si definiscono le relative probabilità: – FRR (False Rejection Rate) è la probabilità degli errori di tipo Falso Rifiuto; – FAR (False Acceptance Rate) è la probabilità degli errori di tipo Falsa Accettazione. VisMac 2006 L’IDENTIFICAZIONE

Come si può evincere nella figura, si definisce l’errore intrinseco del sistema come Equal Error Rate ERR il punto di intersezione delle curve FAR ed FRR. FAR e FRR al variare della soglia t per un sistema biometrico per la verifica di identità VisMac 2006 L’IDENTIFICAZIONE

E’ necessario distinguere i confronti in Chiusi (uno con altri N presenti in un data-base) Aperti (uno con un altro) VALUTAZIONE DELL’IDENTIFICAZIONE Si è anche soliti dividere i confronti tra set di valori omologhi (ugual numero di valori e relativi ad analoghe strutture dell’immagine); set di valori sparsi (diverso in numero di punti e dislocati in modo sparso). VisMac 2006

SET DI VALORI OMOLOGHI Confronto di volti dopo sovrapposizione paramerizzata VisMac 2006 Punti antropometrici del volto: 1 - Glabella 2 - Nasion 3 - Punta naso 4 - Base piramide nasale 5 - Fossetta mentoniera 6 - Canto esterno occhio sn 7 - Attaccatura pad. auric. sn 8 – Meato acustino orecchio sn n.ro puntidistanzetriangoli

Calcolo lunghezze tra punti e perimetro triangoli VisMac 2006

Aree e fattori di forma dei triangoli VisMac 2006

Indice di correlazione VisMac 2006 Quando si dispone di un ugual numero di punti omologhi nelle due “nuvole” da mettere a confronto è possibile calcolare l’indice di correlazione di due set di valori A e B:

Altre formule di distanze VisMac 2006 non geometriche ma di carattere statistico per analisi probabilistiche d ∞ (u a, u b ) = dove y aj m (y bj m ) rappresenta il valore che assume la variabile Y j m sull’unità u a (u b ) m = 1,...,M. Distanza “min-max” o della “verosimiglianza”

Altre formule di distanze VisMac 2006 non geometriche ma di carattere statistico per analisi probabilistiche dove x e  rappresentano le coordinate dei punti evidenziati in figura e le ellissi sono curve di livello tracciate su una gaussiana multivariata le quali individuano regioni che a parità di area sono più probabili. Ovviamente il punto esterno è il punto a minore probabilità. L’improbabilità cresce man mano che x si sposta verso le ellissi più esterne. Distanza di Mahalanobis

SET DI VALORI SPARSI Confronto tra impronte digitali VisMac 2006 N.B. Il numero delle “minutiae” sulla stessa impronta, ripresa in tempi diversi, non è sempre uguale

SET DI VALORI SPARSI Confronto tra retine o impronte palmari VisMac 2006 RETINA PALMPRINT

CONFRONTO MEDIANTE GHT GHT: Generalized Hough Transform Spazio dei parametri (matrice di accumulazione) VisMac 2006 Caso ideale Caso reale di perfetta identità

CONFRONTO MEDIANTE GHT VisMac 2006 Caso di sicura identificazione Caso di possibile identificazione GHT: Generalized Hough Transform Spazio dei parametri (matrice di accumulazione)

CONFRONTO MEDIANTE GHT VisMac 2006 Caso di possibile esclusione Caso di sicura esclusione GHT: Generalized Hough Transform Spazio dei parametri (matrice di accumulazione)

 Sono da considerarsi di buon livello, principalmente per il contributo del GA nella fase di estrazione dei contorni dei vasi sanguigni;  Rispetto ad altri metodi presenti in letteratura le due sequenze operative illustrate hanno fornito risultati migliori nella estrazione dei punti, finalizzata alla successiva valutazione consistente nella verifica della identità, in termini di basso rate di Falsi Negativi (149 su confronti = 1.5%) e bassissimo rate di Falsi Positivi (9/ = 0.1%). VisMac 2006 RISULTATI OTTENUTI