Sistemi auto-organizzanti per l'analisi di immagini istologiche Computer Vision Lab Palermo 9 marzo 2007

Abstract Nell’ambito della diagnostica istopatologica esistono alcuni tipi di indagine che richiedono l’esame di un elevato numero di preparati al fine di identificare alterazioni presenti in una percentuale molto bassa (ad esempio l’esame dei linfonodi sentinella). Tali attività di screening comportano un elevato rischio di errore diagnostico, dato che la monotonia e la ripetitività del compito facilmente riducono la concentrazione dell’operatore. A Pavia è stato sviluppato un sistema adattativo che, sfruttando le caratteristiche cromatiche dei preparati istologici, si è dimostrato in grado di fornire una rappresentazione significativa dell’organizzazione degli elementi del tessuto in esame. In particolare, la rappresentazione che il sistema è in grado di fornire ha la proprietà di far risaltare alcune caratteristiche dell’organizzazione cellulare, come i rapporti tra infiltrato e normali strutture della cute, che sono di estrema importanza ai fini diagnostici e che vengono specificamente indagati dal patologo nel corso del processo di indagine diagnostica al microscopio ottico. Tale approccio può rivelarsi un utile supporto all'attività di screening dell'operatore

immagini digitali di preparati istologici prodotti a scopo diagnostico scopo: analisi visiva dei tessuti per identificare eventuali patologie metodologia standard per l’allestimento dei preparati: campione bioptico di tessuto organico (umano e non) fissaggio in formalina, impregnazione in paraffina, taglio delle sezioni e collocazione su vetrini colorazione di routine EE (Ematossilina-Eosina) Immagini istologiche

analisi qualitativa (di routine non si effettuano misurazioni) la morfologia dei tessuti è significativa scarse conoscenze sulle modalità dell’analisi umana possiamo misurare il comportamento oculare (scanpath) del patologo Cosa vede il patologo?

Immagine annotata da un anatomopatologo. La zona delimitata dal contorno nero è metastatica, quella nei contorni azzurri presenta una forma di istiocitosi, le zone rosse sono vasi sanguigni e la zona viola è la capsula del linfonodo

Rappresentazione Morfologica Neurale si applica un modello a rete neurale auto- organizzante al segnale di ingresso l’organizzazione morfologica della rete dipende dalle caratteristiche visive e cromatiche delle immagini la rappresentazione che si ottiene è giudicata significativa (dagli esperti)

estrazione delle caratteristiche con metodi ‘classici’ di elaborazione di immagine rappresentazione morfologica attraverso rete neurale adattamento interno della rete per promuovere la rappresentazione desiderata adattamento esterno per selezionare le feature rilevanti Immagine istologica Elaborazione dell’immagine Rappresentazione Morfologica adattamento 1º livello Campione visivo adattamento 2º livello Come funziona il sistema

Immagine HSIIstogramma HS Segmenti uso della rappresentazione Hue-Saturation-Intensity (HSI) numero dei segmenti pari al numero dei massimi caratteristici nell’istogramma HS Estrazione zone massimi caratteristici Segmentazione cromatica

misura locale componenti in fase (analisi in frequenza) maggiore indipendenza dall’intensità del gradiente contorni ‘soggettivi’ tra zone a diversa texture transizioni smooth originale (banda I)contorni (Sobel)phase congruency Feature visive – phase congruency

reti neurali auto-organizzanti: Growing Neural GAS (GNG) [Fritzke,1995] HistoGNG:  rete in 5 dimensioni (x, y, h, s, i)  adattamento dinamico alle feature rilevanti  interpretazione morfologica 2D dello stato dei nodi 5D phase congruency come distribuzione di probabilità 2D stochastic sampling 2D arricchimento a 5D (con segnale HSI) p(  ) Immagine HSI segnale 5D x, y h, s, i Rappresentazione Morfologica Neurale

selezione dinamica dei segmenti cromatici rilevanti in base allo stato della rete ‘energia’ di segnale solo delle feature selezionate focalizzazione progressiva della distribuzione di probabilità Distribuzionediprobabilità2D Energiadellefeature Selezione segmenti cromatici Distribuzionediprobabilità2D Energiadellefeature Rete HistoGNG adattamento esterno Adattamento 2º livello

una selezione (manuale) per indicare il tipo di tessuto da riconoscere indica un frammento utile (p.es. cellulato o non cellulato) serve a identificare le caratteristiche cromatiche nell’immagine specifica campione assente o erratocampione corretto (2 tipi di tessuto) Campione visivo

interpretazione del patologo: morfologia della separazione tra derma ed epidermide in un campione normale: complementarietà reti non ci sono agglomerati separati per l’epitelio Risultati morfologici

Infiltrato cellulare intradermico: reti grossolanamente complementari riconosciuto oltre all’epidermide l’infiltrato cellulare riconosciuta la porzione di derma superficiale che separa l’epitelio dall’infiltrato Immagini con lesioni melanocitarie cutanee

Nevo composto (giunzionale ed intradermico): reti grossolanamente complementari rete dell’area cellulata in continuità con la cute focali aree di derma al di sotto e all’interno dell’area cellulata Immagini con lesioni melanocitarie cutanee

Melanoma in situ di tipo lentigo maligna: reti non complementari in corrispondenza della giunzione rete dell’area cellulata rileva infiltrati diffusi sovrapponendosi alla rappresentazione del derma Immagini con lesioni melanocitarie cutanee

corrispondenza (intuitiva) tra le aree evidenziate dalla rete e le aree esplorate preferenzialmente dal patologo (attrattori) Confronto con gli scanpath misurati

Conclusioni informazione visiva ricavata ad un livello “Quick and Dirty” analisi dei tessuti senza riconoscimento delle componenti elementari (singole cellule e/o nuclei) capacità di rilevare tessuti strutturati e non strutturati (cioè privi di cellule) rappresentazione morfologica rilevante e direttamente misurabile (densità, lunghezza connessioni, clusters)

Tesi Vanetti Mauro, "Analisi di immagini istologiche con reti autoorganizzanti sulla base di un'ontologia visiva", relatore: Marco Piastra, correlatori: Patrizia Morbini, Luca Lombardi Mapelli Francesco, "Segmentazione di immagini istologiche tramite un algoritmo multi-immagine", relatore: Marco Piastra, correlatori: Luca Lombardi, Patrizia Morbini Sacchetti Michele, "Un sistema adattativo dinamico per l'analisi di immagini istologiche", relatore: Luca Lombardi, correlatori: Marco Piastra, Patrizia Morbini Fostini Valter, "Ricerca di oggetti in immagini 3D tramite algoritmi evolutivi", relatore: Luca Lombardi, correlatori: Marco Piastra, Patrizia Morbini. Portinari Gianluca, “Uno strumento integrato per l’analisi adattiva di immagini istologiche", relatore: Virginio Cantoni, correlatori Marco Piastra, Luca Lombardi, Patrizia Morbini

People Virginio Cantoni Luca Lombardi Patrizia Morbini (S. Matteo) Marco Piastra

Mappa di rilevanza Le zone più chiare hanno maggiore probabilità di emettere segnale e quindi genereranno un addensamento di nodi nella regione corrispondente della rete di codifica Rete di codifica al termine del processo di organizzazione. In questa visualizzazione, la quota z è rappresentata dal colore dei nodi (in rosso i nodi a prevalente colorazione di eosina, in blu i nodi a prevalente colorazione di ematossilina)

Rete di codifica alcune reti di rappresentazione derivate

Visualizzazione sintetica delle rappresentazioni

Schema a blocchi

Sistemi auto-organizzanti per l'analisi di immagini istologiche Cantoni Virginio Lab