Sistemi di Diagnosi Automatica per la MEDICINA Giorgio De Nunzio Univ. Del Salento – Dipart. di Matematica e Fisica ‘Ennio De Giorgi’ e INFN

Introduzione (1) Il trattamento delle immagini (Image Processing), coniugato a tecniche di riconoscimento automatico (Pattern Recognition, PR), è una disciplina che, negli ultimi lustri, ha assunto via via maggiore importanza nei campi più svariati (monitoraggio ambientale, diagnostica medica, controllo di alimenti, riconoscimento di persone e oggetti…). In particolare, in ambito medico, queste metodologie consentono di realizzare sistemi software in grado di riconoscere in maniera automatica o semiautomatica la presenza di patologie in immagini diagnostiche, e possono quindi essere di ausilio per il medico nella usuale pratica clinica o in caso di screening. Si tratta, spesso, di sistemi basati su modelli fisico-matematici di complessità non banale, adattati a lavorare in ambito medico.

Introduzione (2) Il seminario tratta delle applicazioni delle tecniche di Image Processing e Pattern Recognition alla diagnostica medica. Esso descrive in dettaglio il funzionamento di un sistema software di Computer Assisted Detection (CAD) operante su immagini: ne dà lo schema generico (pre-processing, ricerca di tessuti candidati ad essere patologici, calcolo dei feature discriminanti, classificazione), discute dei vari tipi di feature utilizzabili, e accenna ai metodi di classificazione.

Fisica e Medicina Applicazioni della Fisica alla Medicina:  Diagnostica Encefalografia (EEG: segnali elettrici) Ecografia (onde sonore) Radiografia (raggi X) Computed Tomography (CT o TAC: Raggi X) Scintigrafia (raggi ) Positron Emission Tomography (positroni e raggi ) Magnetic Resonance Imaging (MRI o RM: onde radio)  Terapia Radioterapia

Sommario Il progetto MAGIC5, e il D.R.e.A.M. Applicazioni CAD (Computer-Assisted Detection) per la Medicina Teoria dei sistemi CAD

Sommario Il progetto MAGIC5, e il D.R.e.A.M. Applicazioni CAD (Computer-Assisted Detection) per la Medicina Teoria dei sistemi CAD

Fisica Applicata alla Diagnostica per Immagini (FDI) Medical Applications on a Grid Infrastructure Connection (MAGIC-5) Laboratorio Diffuso di Ricerca Interdisciplinare Applicata alla Medicina (DReAM) MAGIC-5 Il Bollettino (n. 29, 30 luglio 2010) Il progetto è stato finanziato da INFN ed è coordinato con Università e ospedali Medical (Imaging) Applications Analysis of Digital Images  Mammography (breast cancer, > 2006)  Lung CTs (nodules, >)  Brain MRIs (Alzheimer’s Disease, >) CAD GRID R. Cataldo I. De Mitri G. De Nunzio M. Quarta... + Ph.D. students + scolarship holders DReAM

Sommario Il progetto MAGIC5, e il D.R.e.A.M. Applicazioni CAD (Computer-Assisted Detection) per la Medicina Teoria dei sistemi CAD

Computer-Assisted Detection OUTPUT: lista di strutture candidate ad essere patologiche

Stazione CAD per la mammografia Lesione massiva Microcalcificazioni Selezione delle immagini Manipolazione immagini Inserimento di metadati Inserimento diagnosi Esecuzione del CAD Registrazione di dati Ricerca di dati Installazioni presso ospedali: Valdese (TO) Palermo Lecce MAGIC5

MAGIC5

Analisi di TAC polmonari per la diagnosi del tumore al polmone Screening popolazione a rischio Utile per abbassare la percentuale di Falsi Negativi Screening popolazione a rischio Utile per abbassare la percentuale di Falsi Negativi NODULI MAGIC5

Fasi di funzionamento del CAD MAGIC5

Giorgio De Nunzio Ricerca dei candidati noduli: come funziona?  Calcolo degli autovalori della matrice Hessiana nel volume dell’immagine; f è la distribuzione dei livelli di grigio  è un peso che controlla l’influenza relativa degli autovalori s e t. MAGIC5

15 Giorgio De Nunzio Caveat: Calcolo delle derivate parziali di f f(x)f(x) f(x)f(x) f(x)f(x) f(x)f(x) h(x)h(x) h(x)h(x) f * h Dov’è il bordo?? Posizione del bordo! Calcolo diretto Con smoothing gaussiano preliminare Calcolo delle derivate

Giorgio De Nunzio Visualizzazione di noduli e non noduli

MAGIC5

MAGIC5

Malattia di Alzheimer: Segmentazione dell’ippocampo in MRI MAGIC5

Segmentazione della scatola ippocampale Misura del volume Stima della quantità di liquido cefalorachidiano Confronto con informazioni provenienti da analisi funzionali in immagini PET Alzheimer: Individuazione dell’ippocampo Tecniche di coregistrazione (problemi di minimizzazione) Misure di similitudine (prodotto scalare) Tecniche di clustering gerarchico e non gerarchico

Un sistema CAD per il glioma cerebrale in DTI (Diffusion-Tensor Imaging) by A.Bizzi, Modified DTI e diffusione isotropica ed anisotropica Mappa di isotropia (esempio: p map, MD map) Mappa di anisotropia (esempio: q map, FA map)

Sommario Il progetto MAGIC5, e il D.R.e.A.M. Applicazioni CAD (Computer-Assisted Detection) per la Medicina Teoria dei sistemi CAD

Università del Salento e INFN23Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (1) OUTPUT: lista di strutture candidate ad essere patologiche INPUT: immagine CT Software per la rivelazione automatica di strutture patologiche attraverso l’analisi di immagini mediche Individuazione zone potenzialmente malate Determinazione di caratteristiche distintive Preprocessamento Pulizia dal rumore Segmentazione Delimitazione del tessuto da analizzare Localizzazione ROI Estrazione features Classificazione Distinzione in zone sane e malate 2° lettore per supportare una diagnosi più accurata 1° lettore per focalizzare l’attenzione del radiologo sulle CT potenzialmente patologiche

Università del Salento e INFN24Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (2) I sistemi CAD sono un’applicazione dei metodi di riconoscimento automatico di oggetti (Pattern Recognition) Scopo di un sistema di PR: definire un modo per riconoscere automaticamente un oggetto data la sua descrizione L’oggetto può appartenere ad una tra N classi possibili Compito del sistema è ascrivere l’oggetto ad una classe, utilizzando una base di conoscenza precedentemente costruita

Università del Salento e INFN25Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (3) Scelta delle features Sulla base di informazioni ottenute sul problema si sceglie come feature iniziale la lunghezza. Per valutare l’efficacia di tale scelta e come questa possa essere usata è necessario considerare un insieme di campioni su cui effettuare la misura e fare le valutazioni. Si parla di insieme di addestramento (training set).

Università del Salento e INFN26Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (4) 1: LUNGHEZZA: non sembra ottimale… 2: LUCENTEZZA, sembra andare meglio!

Università del Salento e INFN27Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (5) contemporaneamente

Università del Salento e INFN28Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (6) Scatter plot

Università del Salento e INFN29Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (7)

Università del Salento e INFN30Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (8)

Università del Salento e INFN31Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (9)

Università del Salento e INFN32Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (10) SISTEMI DI CLASSIFICAZIONE BASATI SULL’APPROCCIO CONNESSIONISTICO

Università del Salento e INFN33Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (11) apprendere

Università del Salento e INFN34Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (12)

Università del Salento e INFN35Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (13)

Università del Salento e INFN36Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (14)

Università del Salento e INFN37Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (15)

Università del Salento e INFN38Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (16)

Università del Salento e INFN39Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (17)

Università del Salento e INFN40Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (18)

Università del Salento e INFN41Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (19)

Università del Salento e INFN42Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (20) BACKPROPAGATION e AGGIORNAMENTO DEI PESI in base al TRAINING SET

Università del Salento e INFN43Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (21) BACKPROPAGATION e AGGIORNAMENTO DEI PESI in base AL TRAINING SET

Università del Salento e INFN44Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (22) OUTPUT: lista di strutture candidate ad essere patologiche INPUT: immagine CT Individuazione zone potenzialmente malate [PESCI] Determinazione di caratteristiche distintive [LUNGHEZZA, LUCENTEZZA] Preprocessamento Pulizia dal rumore Segmentazione Delimitazione del tessuto da analizzare [NASTRO TRASPORTATORE] Localizzazione ROI Estrazione features Classificazione Distinzione in zone sane e malate [SALMONE/SPIGOLA]

Università del Salento e INFN45Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (23) Qualità di un CAD: successi e insuccessi TP (vero positivo): regione malata correttamente valutata come patologica; FP (falso positivo): regione sana erroneamente segnalata come malata; TN (vero negativo): regione sana in cui non sono evidenziate anormalità; FN (falso negativo): regione malata non identificata come patologica.

Università del Salento e INFN46Giorgio De Nunzio I sistemi CAD (Computer Assisted Detection) : Introduzione (24) Qualità di un CAD: sensibilità e specificità sensibilità: rapporto tra il numero di regioni in cui è stata correttamente identificata dal CAD una formazione patologica (campioni “veri positivi” TP) e il numero complessivo di regioni in cui la patologia è stata accertata tramite il gold standard (la “verità”, per esempio un esame istologico): Sensibilità = TP / ( TP + FN ) specificità: rapporto tra il numero di zone correttamente identificate dal CAD come sane (campioni “veri negativi” TN) e il numero totale di regioni in cui è il gold standard assicura l’assenza di patologie: Specificità = TN / ( TN + FP ) Ad un test diagnostico si richiede: Un’alta sensibilità, tale da rilevare tutte le possibili lesioni, garantendo la possibilità di un intervento tempestivo Un’alta specificità, che assicuri un numero minimo di falsi positivi, ovvero escluda la malattia laddove realmente assente. Ciò al fine di evitare inutili allarmismi e ulteriori dispendiosi approfondimenti diagnostici

Università del Salento e INFN47Giorgio De Nunzio Lo spazio ROC (Receiver Operating Characteristic) Valutazione dell’efficienza della rete neurale, attraverso il valore dell’area sotto la curva ROC I sistemi CAD (Computer Assisted Detection) : Introduzione (25)

Università del Salento e INFN48Giorgio De Nunzio Un sistema CAD polmonare (1) n 1 n 3 n 2

Università del Salento e INFN49Giorgio De Nunzio Un sistema CAD polmonare (2) INPUT: immagine CT Preprocessamento Pulizia dal rumore; Segmentazione Delimitazione del tessuto da analizzare; Localizzazione ROI Identif. zone potenzialmente malate Estrazione feature Determinazione di caratteristiche distintive; Classificazione Distinzione in zone malate e sane. OUTPUT: lista di candidati noduli

Università del Salento e INFN50Giorgio De Nunzio Un sistema CAD polmonare (3) Distribuzioni

Università del Salento e INFN51Giorgio De Nunzio Un sistema CAD polmonare (4) Scatter plot

Università del Salento e INFN52Giorgio De Nunzio Un sistema CAD polmonare (5) sfericitàvolume + raggio + sfericità volume + raggio + sfericità + intensità media Senza filtraggio, 4 feature TP6666 FN1111 FP TN Sensibilità85.7 % Specificità96.2 %96.4 %96.6 %79.1 % FP / CT

Università del Salento e INFN53Giorgio De Nunzio Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging) by A.Bizzi, Modified Mappa di isotropia (esempio: p map, MD map) Mappa di anisotropia (esempio: q map, FA map)

Università del Salento e INFN54Giorgio De Nunzio Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging) È indispensabile utilizzare sia le mappe di isotropia che quelle di anisotropia per una valutazione accurata del tessuto tumorale e dei margini di infiltrazione! DTI fornisce un’informazione sulla struttura dei tessuti; È necessario tenere conto di questa informazione nell’analisi delle immagini DTI per discriminare adeguatamente il tessuto patologico da quello normale.  anisotropia  isotropia

Università del Salento e INFN55Giorgio De Nunzio Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging) 3D Texture Analysis Nell’analisi di immagini, una texture o tessitura rappresenta qualunque disposizione geometrica e ripetitiva dei livelli di grigio o dei colori di un’immagine. I metodi statistici per la descrizione delle texture sono basati sul calcolo delle relazioni matematiche tra coppie di pixel e della loro distribuzione spaziale (cosiddette feature tessiturali, o texture features). La 3D Texture Analysis è stata finora utilizzata per la segmentazione di immagini RM morfologiche. Herlidou-Meme et al., Magn Reson Imag 2003 Mahmoud-Ghoneim et al., Magn Reson Imag 2003; Castellano et al., Clin Radiolol 2004

Università del Salento e INFN56Giorgio De Nunzio Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging) Matrici di co-occorrenza a livelli di grigio, e texture feature del 2° ordine Omogeneità della texture Contrasto =

Università del Salento e INFN57Giorgio De Nunzio Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging) Texture Analysis mappe p e q, oligodendroglioma Mappa QMappa P 1. Coppie di voxel nella regione patologica 2. Coppie di voxel nella regione sana controlaterale

Università del Salento e INFN58Giorgio De Nunzio Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging) Allenamento di una rete neurale per la detection semiautomatica delle ROI patologiche sulle diverse mappe in base alle feature precedentemente selezionati

Map creation and glioma segmentation Probability maps in p images: the dots mark the positions of the sliding window (svoi centers). Color scale: cold colors for low probability values, warm colors for high values. Red line: shows the segmentation produced by the CAD system with the ANN output threshold (optimal value at which sensitivity = specificity) Green region: manually drawn ROI Healthy patient Un sistema CAD per il glioma cerebrale in DTI (Diffusion Tensor Imaging)

Conclusioni  La ricerca di base molto spesso ha utili ed immediate applicazioni alla vita di tutti i giorni  Lo sviluppo delle conoscenze nella fisica moderna e delle tecnologie ad essa connesse ha portato a fondamentali contributi sia nelle tecniche diagnostiche che nella terapia