Introduzione alle reti neurali

Presentazione sul tema: "Introduzione alle reti neurali"— Transcript della presentazione:

1 Introduzione alle reti neurali
Francesco Piva Istituto di Biologia e Genetica Università Politecnica delle Marche

2 Caratteristiche delle sequenze codificanti
Poiché il codice genetico è degenere, nelle sequenze codificanti dei geni si possono trovare due peculiarità: • la non equiprobabilità nell’uso dei codoni sinonimi definisce un ‘codon usage’ caratteristico delle specie • la correlazione tra basi in posizioni diverse definisce il ‘context-dependent codon bias’ Nella teoria dell’informazione, la non equiprobabilità nella comparsa dei simboli e la correlazione tra simboli di un codice definiscono la ridondanza di un linguaggio.

3 Vantaggi e svantaggi della ridondanza:
• tanto più un linguaggio è ridondante, tanto minore è la sua efficienza informativa. In altre parole: a parità di messaggio da trasmettere o memorizzare, dobbiamo utilizzare più simboli per il linguaggio più ridondante • maggiore è la ridondanza di un linguaggio, maggiore è la sua robustezza cioè la capacità di essere compreso anche a seguito di disturbi o mutazioni • la ridondanza permette la coesistenza di linguaggi a diversi strati: traduzione in proteina ma anche regolazione dell’efficienza di splicing. Es. motivi ESE (exon splicing enhancer) e ESS (exon splicing silencer).

4 La nostra anslisi Tramite software da noi realizzato, abbiamo analizzato le correlazioni tra un codone e un nucleotide separati da una distanza compresa tra 1 e 90 basi, a c g 1 2 3 90 nelle sequenze codificanti di H.sapiens, C.elegans e M.musculus, per determinare in che modo la presenza di un certo codone influenzi le basi che seguono

5 Origine e trattamento dei dati
I file contenenti le sequenze dei geni sono state prelevate da Genbank. Purtroppo una parte delle sequenze contenute nei file presentavano dei problemi: alcuni geni non iniziavano con ‘atg’, codoni di stop prematuri, sequenze troncate prima del codone di STOP, sequenze duplicate, geni ‘not experimental’. I file sono stati puliti e ordinati con dei programmi che abbiamo sviluppato ‘ad hoc’.

6 Tabella riassuntiva che riporta le principali correlazioni tra una tripletta e i nucleotidi a valle

7 Uno sguardo di dettaglio

8 ? Idea Sequenza genica ……………… H.sapiens M.musculus C.elegans
Poiché lo schema delle correlazioni nelle posizioni 3n, è caratteristico di una specie, si è pensato di utilizzarlo per provare a riconoscere la specie a cui appartiene una certa sequenza genica. Sequenza genica ? ……………… H.sapiens C.elegans M.musculus Per la non linearità e l’elevato numero di variabili del problema si è scelto di affrontarlo utilizzando un algoritmo che implementa una rete neurale.

9 Uno dei più grossi problemi del modello computazionale matematico introdotto da John von Neumann (Macchina di von Neumann) è la sua rigidità e l'impossibilità di rispondere a stimoli esterni (input) in maniera diversa da ciò che viene inizialmente immesso nell'elaboratore. In parole semplici, un computer, generalmente, può riconoscere e rispondere solo a stimoli che sono stati codificati precedentemente; anche le risposte, inoltre, sono sempre rigidamente decise a priori. Le Reti Neurali nascono dall’idea di poter riprodurre alcune delle funzioni e capacità del cervello umano L’area di applicazione dominante delle Reti Neurali (RN) è il riconoscimento di regolarità, o pattern recognition, e l’obiettivo fondamentale di tale caratteristica è la classificazione. (categorizzazione) Un esempio delle sue potenzialità è la possibilità di riconoscere volti, voci etc.

10 Il neurone artificiale
assoni sinapsi corpo x1 w1 dendriti x2 w2 assone x3 w3 f xn wn non linear function b inputs weights bias

11 Struttura di una rete neurale
nodi uscite Similitudine tra una rete neurale biologica e una artificiale strato di neuroni di ingresso strato di neuroni di uscita strato di neuroni nascosto o intermedio

12 Vantaggi dell’utilizzo delle reti neurali:
Capacità di apprendere e costruire una conoscenza da esempi o dati di esperimenti Capacità di riprodurre (o modellare) qualsiasi comportamento non lineare di un sistema . . . . . . . . . . uscita . uscita . . ingresso uscita . . Sistema da studiare . . . . . . . . . . . . ingresso ingresso Capacità di classificare dati apparentemente non raggruppabili Es: statistica multivariata

13 Altre caratteristiche
Risposta continua ad esclusione di un numero finito di discontinuità ad input simili la rete risponde con output simili Tolleranza agli errori scostamenti non significativi dei valori di input vengono assorbiti dalla rete, diminuendo così il rumore statistico e risultando tolleranti agli errori o al decadimento del segnale Tolleranza ai guasti La presenza di molte unità di processamento parallele l'eventuale perdita di un unità ha, nel caso di architetture con molti neuroni, conseguenze non irreparabili Capacità di memorizzare

14 Svantaggi dell’utilizzo delle reti neurali:
Ai fini dell’apprendimento dobbiamo fornire alla rete neurale tanti più esempi quanto più fortemente non lineare è il sistema da modellare. Non sappiamo a priori quale sia la miglior topologia (numero di nodi, di strati, collegamenti fra nodi e tipo di funzioni che devono implementare i nodi di ciascun strato) da assegnare alla rete neurale affinchè modelli al meglio il nostro sistema. Una volta che la rete funziona, non sappiamo nulla del suo modello interno, in altre parole non fornisce spiegazioni sul funzionamento del sistema che stiamo studiando. La rete è per noi una scatola nera.

15 output input output desiderato Apprendimento Supervisionato
Rete neurale output input Modifica dei pesi  output desiderato

16 Il problema dei minimi locali
Con reti neurali a più strati e funzioni non lineari, l’apprendimento può arrivare ad un minimo locale e non garantire la convergenza

17 Problemi di apprendimento

18 Per avere un’idea della complessità di addestramento di una rete neurale

19 All’aumentare della complessità della rete aumentano le possibilità di classificazione

20 Riconoscimento caratteri Riconoscimento immagini tele-rilevate
Esempi di applicazione Riconoscimento caratteri Riconoscimento immagini tele-rilevate Macchina da scrivere fonetica Eliminazione del rumore (sonar) Sistemi di controllo Previsioni di marketing Previsioni finanziarie Compressione di dati e immagini

21

22

23

24

25

26

27

28 Evoluzione della capacità di classificare della rete neurale

29 Implicazioni: • I geni di una stessa specie hanno delle caratteristiche in termini di sequenza che li accomuna e permette di riconoscerli • Si possono distinguere anche specie che hanno geni con forte omologia (uomo e topo) • Queste differenze sono legate ad una diversa selezione delle mutazioni nel corso dell’evoluzione? O a un diversa funzionalità (splicing, attivazione genica, interazioni con proteine di regolazione)? • E’ una possibile prova dell’esistenza di un linguaggio o codice ad un livello diverso da quello conosciuto? • Se non si spinge troppo l’apprendimento si ha una situazione in cui è possibile definire un nuovo modo per valutare la distanza di un gene fra specie diverse.

30 Possibili utilizzi dell’algoritmo:
Riconoscere le specie quando si estraggono geni da matrici biologiche complesse o sconosciute Migliorare i programmi di riconoscimento dei geni dal genoma Individuazione di specie estranee in organismi OGM Avere un sistema di riconoscimento delle specie che sia portatile, nel caso ci si trovi sul campo e non si abbia accesso alle banche dati su internet Avere nuove indicazioni per la comprensione del funzionamento e dell’evoluzione delle sequenze codificanti Definire meglio le incompatibilità fra genomi di specie diverse molto simili, le barriere tra le specie

31 Prof Giovanni Principato
Sviluppi futuri: Provare a distinguere le sequenze introniche ed esoniche Provare a distinguere le sequenze codificanti e non Aumentare il numero delle specie che è possibile riconoscere Ringraziamenti: Prof Giovanni Principato Direttore dell’Istituto di Biologia e Genetica, Università Politecnica delle Marche, Ancona Dott Michela Raponi Istituto di Biologia e Genetica, Università Politecnica delle Marche e International Centre for Genetic Engineering and Biotechnology, AREA Science Park, Trieste

32 Un esempio pratico: previsione dell’efficienza di splicing
Affinchè lo splicing del pre-mRNA avvenga correttamente è necessario che gli introni e gli esoni siano definiti attraverso i siti di splicing in 5’ e in 3’. A seguito del processo di splicing, non tutti gli mRNA processati da pre-mRNA di ugual sequenza potrebbero contenere gli esoni definiti in precedenza e allora si definisce efficienza di splicing relativa ad un particolare esone, il rapporto tra la quantità di mRNA contenente l’esone e il pre-mRNA totale processato. Per modulare l’efficienza di ritenzione dell’esone intervengono proteine che si legano a sequenze esoniche promuovendone od ostacolandone l’inclusione. Di queste sequenze, le prime si dicono exon splicing enhancer (ESE), le altre si dicono exon splicing silencer (ESS).

33

34 Di seguito riportiamo le previsioni in formato grafico della distribuzione dei motivi ESE ottenuta con il programma ESEfinder ( I primi tre grafici sono stati ottenuti con sequenze esoniche che sappiamo avere efficienza di splicing nulla o al massimo del 5%. SF2/ASF SC35 SRp40 SRp55

35 Questi grafici sono stati ottenuti inserendo sequenze esoniche che sappiamo avere efficienza del 100%. Si nota che in termini di densità di motivi ESE, non c’è una grande differenza tra i grafici delle sequenze a minima e a massima efficienza, di qui la limitata utilità dei programmi attualmente disponibili.

36 ….G T A C G T T T A C G…. Efficienza 0..100%
Efficienza %

37 Osservatorio Astronomico di Trieste INAF
SISSA Scuola Internazionale Superiore di Studi Avanzati Campus di Padriciano Campus di Basovizza Osservatorio Astronomico di Trieste INAF the abdus salam international centre for theoretical physics Istituto talassografico Laboratorio di biologia marina Il castello di Miramare