La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi complessi applicati alla finanza moderna Data Mining.

Presentazioni simili


Presentazione sul tema: "CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi complessi applicati alla finanza moderna Data Mining."— Transcript della presentazione:

1 CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi complessi applicati alla finanza moderna Data Mining e Classificazione Greta Falavigna Ceris – CNR, Torino Cagliari, 22-23/giugno/2005

2 CERIS-CNR Greta Falavigna 22-23/giugno/20052 ll Data Mining Il Data Mining è un processo di analisi, svolto in modo semiautomatico, di una grande quantità di dati grezzi al fine di scoprire un modello che li governa, o una regola significativa, da cui ricavare conoscenze utili applicabili al contesto operativo (come ad esempio previsioni e classificazioni) Quello che oggi viene chiamato Data Mining è in realtà il risultato di 3 aree di ricerca: Machine Learning (Apprendimento Automatico): ha fornito algoritmi per la rilevazione di pattern nei dati. Statistica: ha elaborato le tecniche per la progettazione sperimentale dei progetti. Supporto alle decisioni: è stata la causa della nascita del Data Mining Il Data Mining Il modello e i risultati

3 CERIS-CNR Greta Falavigna 22-23/giugno/20053 Le tecniche di Data Mining Le tecniche di Data Mining servono per trasformare i dati grezzi in informazioni utili. Dunque servono per risolvere: Problemi di esplorazione dati (Data Mining Non Supervisionato). Approccio bottom-up. Problemi di classificazione e di regressione (Data Mining Supervisionato). Approccio top-down Le principali tecniche di Data Mining utilizzate sono le seguenti: Cluster Analysis; Alberi Decisionali; Reti Neurali Il Data Mining Il modello e i risultati

4 CERIS-CNR Greta Falavigna 22-23/giugno/20054 La Cluster analysis Si tratta di una tecnica di data mining non supervisionato. Per clustering si intende la segmentazione di un gruppo eterogeneo in sottogruppi (cluster) omogenei. Ciò che distingue il clustering dalla classificazione è che non si fa ricorso a classi predefinite Il Data Mining Il modello e i risultati

5 CERIS-CNR Greta Falavigna 22-23/giugno/20055 Alberi Decisionali Il Decision Tree è un tecnica di classificazione o di regressione ad albero. I nodi di un albero decisionale (escluse le foglie) sono domande (i rami costituiscono complessivamente regole di decisioni). Quando lalbero viene applicato ai dati in ingresso, ogni dato viene analizzato dallalbero lungo un percorso stabilito da una serie di test sugli attributi (features) del dato stesso, finchè questo non raggiunge un nodo foglia, associato ad una categoria o classe (al dato viene assegnata una etichetta di classe, class label, per la classificazione, mentre un valore numerico alla variabile target se si tratta di regressione). Il Data Mining Il modello e i risultati

6 CERIS-CNR Greta Falavigna 22-23/giugno/20056 Reti neurali e topologia Si tratta di un processo parallelo composto di singole unità di calcolo (neuroni), che possiede una naturale predisposizione a memorizzare le conoscenze sperimentalmente acquisite ed a renderle disponibili per luso. Combinando in diversi modi i neuroni della rete si riescono a risolvere classi di problemi differenti. Le topologie più ricorrenti sono: Multi-Layer Perceptron (MLP): basata su apprendimento supervisionato; Self Organizing Map (SOM): basata su apprendimento competitivo. Il Data Mining Il modello e i risultati

7 CERIS-CNR Greta Falavigna 22-23/giugno/20057 Reti neurali: caratteristiche Le caratteristiche di una rete neurale sono: Training: la conoscenza è acquisita dalla rete mediante un processo di apprendimento; Aggiornamento dei pesi: le connessioni neuronali (pesi sinaptici) sono utilizzate per memorizzare le informazioni acquisite; Complessità; Non-linearità di tipo speciale: nel senso che è distribuita allinterno della rete. E una proprietà importante soprattutto se il fenomeno fisico che si vuol simulare è propriamente non lineare. Adattività: la rete neurale ha una capacità di adattare i suoi pesi sinaptici ai cambiamenti dellambiente circostante. Risposta evidente: in un contesto di patter classification una rete neurale può essere disegnata per fornire informazioni sul livello di confidenza della decisione presa. Questa informazione può essere usata per rigettare pattern ambigui. Parallel Processing System (Sistema a processamento parallelo). Il Data Mining Il modello e i risultati

8 CERIS-CNR Greta Falavigna 22-23/giugno/20058 Reti neurali: topologia MLP (1/5) Una Multi-Layers Perceptron net (MLP) è composta da una serie dipercettroni organizzati con una struttura gerarchica che può comprendere uno o più strati nascosti (hidden layer) legati con la regola del feed-forward (un nodo dello strato i-esimo può essere collegato solo ad un nodo dello strato (i+1)-esimo): Il Data Mining Il modello e i risultati

9 CERIS-CNR Greta Falavigna 22-23/giugno/20059 Reti neurali: topologia MLP (2/5) Il percettrone è un semplice neurone dotato del circuito teacher per lapprendimento: b i x 1i f i n i w w x Ri O i Generatore di Errore in Uscita T i Algoritmo di Apprendimento E i = T i - O i Teacher Neurone i-esimo Il Data Mining Il modello e i risultati

10 CERIS-CNR Greta Falavigna 22-23/giugno/ Reti neurali: topologia MLP (3/5) Laddestramento di una MLP avviene in genere con lalgoritmo Back- Propagation che ha come idea di base che per ogni dato in ingresso (training set), si calcola lerrore e la direzione in cui modificare i pesi per minimizzare lerrore. Questa direzione è rappresentata dal gradiente (dellerrore) cambiato di segno. bjbj w ji yjyj yjyj vjvj tjtj ejej Neurone j Il Data Mining Il modello e i risultati

11 CERIS-CNR Greta Falavigna 22-23/giugno/ Reti neurali: topologia MLP (4/5) Errore del neurone j delluscita: e j = t j - y j Funzione errore totale della rete nello strato di uscita: E = ½ j e 2 j j = 1..n (n è il numero di neuroni nello strato di uscita) Gradiente locale: definisce la direzione in cui variare lo stato del neurone j per minimizzare lerrore totale: δ j = - E / v j Regola del Delta : indica di quanto modificare i pesi per minimizzare lerrore in un generico passo del sistema: wj i = α δ j y i (α = tasso di apprendimento) Pesi al passo successivo: wj i (n+1) = w ji (n) + w ji (n) Il Data Mining Il modello e i risultati

12 CERIS-CNR Greta Falavigna 22-23/giugno/ Reti neurali: topologia MLP (5/5) Lalgoritmo si arresta o per il raggiungimento dellerrore minimo accettabile o per il raggiungimento del numero massimo di epoche stabilite in fase di progetto (per evitare che il processo di addestramento termini allinfinito). Unepoca è un ciclo di aggiornamento completo di tutti i pesi, dando in input lintero set di training Errore totale sul training set Epoche Il Data Mining Il modello e i risultati

13 CERIS-CNR Greta Falavigna 22-23/giugno/ Il modello: obiettivi Obiettivo: generalizzare Strumento: rete MLP con back propagation Il Data Mining Il modello e i risultati Addestrare la rete neurale su imprese di cui si conosce lo stato di salute affinché sia in grado di riconoscere se imprese con stesse caratteristiche ma mai introdotte nella rete sono sane o meno

14 CERIS-CNR Greta Falavigna 22-23/giugno/ Il data set I dati utilizzati si riferiscono a 381 imprese piemontesi del settore manifatturiero estratti dalla banca dati DB Complex. Di ognuna impresa si conosce lo stato di salute (sana/non sana) in base al rating tecnico elaborato da Bureau van DiJk. Per queste imprese sono state estratte ed elaborate 40 variabili legate al bilancio. Il Data Mining Il modello e i risultati

15 CERIS-CNR Greta Falavigna 22-23/giugno/ Le variabili: Valore aggiuntoCapitale proprio iniziale Debiti su fatturatoReddito corrente Dipendenza finanziariaMOL su debiti finanziari Quick ratioCosto del lavoro Indice di coperturaROS netto MOL su debitiLeverage Crediti verso clientiDebiti commerciali Reddito operativoDebiti a lungo termine Produttività del lavoroImposte ROI industriale nettoMOL su OF CCN operativoDebiti totali CCNODebiti verso fornitori CINCapitale proprio Capitale investito (CI)Fatturato ROE correnteMargine operativo lordo (MOL) Debiti finanziariMargine operativo netto (MON) Debiti commerciali e finanziariCINO MagazzinoROT netto Debiti operativiProduzione Oneri finanziari (OF)Debiti a breve termine Il Data Mining Il modello e i risultati

16 CERIS-CNR Greta Falavigna 22-23/giugno/ La correlazione Debiti su fatturatoReddito corrente Dipendenza finanziariaMOL su debiti finanziari Quick ratioCapitale proprio Indice di coperturaDebiti commerciali MOL su debitiLeverage Produttività del lavoroDebiti operativi ROI industriale nettoOneri finanziari (OF) CCN operativoMargine operativo lordo (MOL) CCNOROT netto CINROE corrente Indice di correlazione i,j < abs(0.8) Il Data Mining Il modello e i risultati

17 CERIS-CNR Greta Falavigna 22-23/giugno/ La topologia del modello (1/2) Training set: 40 input-vettori formati da 254 imprese; Validation set: 40 vettori formati da 127 imprese; Caratteristiche della rete: Rete feed-forward; Algoritmo della back-propagation; Tre strati: 1 di input, 1 hidden (40 nodi), 1 di output (1 nodo); Funzione tansig tra il primo e il secondo strato; Funzione logsig tra il secondo e il terzo strato; Il Data Mining Il modello e i risultati

18 CERIS-CNR Greta Falavigna 22-23/giugno/ La topologia del modello (1/2) Training set: 40 input-vettori formati da 254 imprese; Validation set: 40 vettori formati da 127 imprese; Caratteristiche della rete: Rete feed-forward; Algoritmo della back-propagation; Tre strati: 1 di input, 1 hidden (40 nodi), 1 di output (1 nodo); Funzione tansig tra il primo e il secondo strato; Funzione logsig tra il secondo e il terzo strato; Fonte: ANN Tollbox, Matlab Il Data Mining Il modello e i risultati

19 CERIS-CNR Greta Falavigna 22-23/giugno/ Topologia del modello (2/2) Regolarizzazione con early stopping: fa in modo che la rete non si specializzi su un set di dati operando sul validation set; Sono state introdotte 3 soglie allinterno del modello: 0.4, 0.5, 0.6; È stato seguita la procedura della cross- validation. Il Data Mining Il modello e i risultati

20 CERIS-CNR Greta Falavigna 22-23/giugno/ La regolarizzazione Il Data Mining Il modello e i risultati

21 CERIS-CNR Greta Falavigna 22-23/giugno/ La soglia La funzione logsigmoide genera risultati in un intervallo continuo che va da 0 a 1 mentre i target sono di tipo: 0 (impresa sana) o 1 (impresa non sana) Dato il vettore di output della rete X=[x i ] (i=1,…,127) e un valore soglia s, avremo che: se x i <= s, allora x i =0; se x i >= s, allora x i =1 Lerrore viene calcolato guardando dove e come la rete ha sbagliato a classificare. Due tipi di errore: Di primo tipo: la rete classifica non sana unimpresa sana; Di secondo tipo: la rete classifica sana unimpresa che non lo è. Il Data Mining Il modello e i risultati

22 CERIS-CNR Greta Falavigna 22-23/giugno/ Soglie ed errori Errori percentuali: 0% 0% 0.7% Il Data Mining Il modello e i risultati

23 CERIS-CNR Greta Falavigna 22-23/giugno/ Soglie ed errori Errori percentuali: 0% 0% 0.7% La soglia 0.6 è meno performante Il Data Mining Il modello e i risultati

24 CERIS-CNR Greta Falavigna 22-23/giugno/ La cross-validation Aumentare la capacità di generalizzazione della rete Data set diviso in tre set: A, B e C: 1° rete: tr.set A+B e val.set C 2° rete: tr.set B+C e val.set A 3° rete: tr.set A+C e val.set B Errori percentuali totali rispetto alle tre soglie: Rete con 40 variabili: 0.18% 0% 0.92%; Rete con 18 variabili: 1.10% 1.47% 4.05% Il Data Mining Il modello e i risultati

25 CERIS-CNR Greta Falavigna 22-23/giugno/ La cross-validation Aumentare la capacità di generalizzazione della rete Data set diviso in tre set: A, B e C: 1° rete: tr.set A+B e val.set C 2° rete: tr.set B+C e val.set A 3° rete: tr.set A+C e val.set B Errori percentuali totali rispetto alle tre soglie: Rete con 40 variabili: 0.18% 0% 0.92%; Rete con 18 variabili: 1.10% 1.47% 4.05% La rete che utilizza variabili non correlate dà risultati peggiori della rete che elabora tutte le variabili… Il Data Mining Il modello e i risultati

26 CERIS-CNR Greta Falavigna 22-23/giugno/ La matrice dei pesi Variabili Nodi Il Data Mining Il modello e i risultati

27 CERIS-CNR Greta Falavigna 22-23/giugno/ Le 13 variabili e la matrice di attivazione Le 13 variabili: Errori medi percentuali: 1.66% 0.92%1.10% Matrice di attivazione 1: Matrice 40 Input * Matrice dei pesi Deb su FatturatoCCNO Dipendenza FinanziariaROE corrente Quick ratioROS netto CoperturaLeverage MOL su debMOL su OF Prod del lavoroROT netto ROI industriale netto Il Data Mining Il modello e i risultati

28 CERIS-CNR Greta Falavigna 22-23/giugno/ La cluster analysis 1 Imprese non sane Imprese sane Il Data Mining Il modello e i risultati

29 CERIS-CNR Greta Falavigna 22-23/giugno/ La cluster analysis 1 Imprese non sane Imprese sane Il Data Mining Il modello e i risultati

30 CERIS-CNR Greta Falavigna 22-23/giugno/ La cluster analysis 2 Matrice di attivazione 2: Matrice 13 input * Matrice pesi Cluster Analysis Analisi dei due gruppi principali al fine di diminuire il numero di imprese Il Data Mining Il modello e i risultati

31 CERIS-CNR Greta Falavigna 22-23/giugno/ La cluster analysis 2 Matrice di attivazione 2: Matrice 13 input * Matrice pesi Cluster Analysis Analisi dei due gruppi principali al fine di diminuire il numero di imprese Imprese non sane Imprese sane Il Data Mining Il modello e i risultati

32 CERIS-CNR Greta Falavigna 22-23/giugno/ La cluster analysis 3 Dal Gruppo1 (99 imprese) creo 85 gruppi; Dal Gruppo2 (136 imprese) creo 121 gruppi Media dei gruppi formati da più di unimpresa Creo un nuovo pattern di input Il Data Mining Il modello e i risultati

33 CERIS-CNR Greta Falavigna 22-23/giugno/ Il nuovo data set e le performances Matrice del tr.set: 19 imprese della cluster imprese del gruppo imprese del gruppo 3 = 225 imprese (* 13 variabili) Matrice del val.set: 112 imprese (raggruppate secondo analisi cluster) Risultati della nuova rete sulle 13 variabili e input raggruppati: 3.57% 4.46% 3.57% Il Data Mining Il modello e i risultati

34 CERIS-CNR Greta Falavigna 22-23/giugno/ Risultati (1/2) Attraverso lanalisi delle reti neurali è stato possibile arrivare a determinare 13 variabili che hanno influenza nella determinazione dello stato di salute delle imprese Analisi delle variabili principali che influenzano la salute del settore Il Data Mining Il modello e i risultati

35 CERIS-CNR Greta Falavigna 22-23/giugno/ Risultati (2/2) Lanalisi cluster è stata utilizzata per testare i risultati della rete e analizzarne il processo decisionale. Inoltre, attraverso la cluster analysis, è stato possibile raggruppare le imprese in gruppi con caratteristiche simili in modo da ridurre il numero dei dati da introdurre nella rete. Il Data Mining Il modello e i risultati

36 CERIS-CNR Greta Falavigna 22-23/giugno/ References Chilanti M., 1993, Analisi e previsione delle insolvenze: un approccio neurale, Finanza Imprese e Mercati, 3. Hornick, Stinchombe e While (1989), Multilayer feedforward networks are universal approssimators, Neural Networks, vol. 2, pp Moller M. F., A scaled coniugate gradient algorithm for fast supervised learning, Neural Networks, vol. 6, pp , Perez M., Neural Networks applications in bankruptcy forecasting: a state of the art. Yim J., Mitchell H., 2002, A comparison of corporate failure models in Australia: Hybrid neural networks, logit models and discriminant analysis, School of Economics and Finance, WP No. 10. Osservatorio sulla dinamica economico-finanziaria delle imprese della filiera del tessile e dellabbigliamento in Piemonte, I°, II° e III° rapporto a cura del Ceris-CNR, 2004 Il Data Mining Il modello e i risultati


Scaricare ppt "CERIS-CNR Tecniche di softcomputing (reti neurali ed algoritmi genetici) per lanalisi dei sistemi complessi applicati alla finanza moderna Data Mining."

Presentazioni simili


Annunci Google