CORSO DI MODELLI DI SISTEMI BIOLOGICI LAUREA IN INGEGNERIA CLINICA E BIOMEDICA

Validazione dei modelli Il processo di validazione di un modello è la verifica che il modello sia ben fondato, trattabile e adeguato agli scopi per cui è stato formulato. Conseguentemente anche i criteri di validità che debbono essere rispettati nella formulazione di un modello matematico possono essere implicati, a loro volta, ai vari stadi di questo processo. Tali criteri possono sostanzialmente essere suddivisi in due categorie: criteri interni ed esterni. la consistenza la validità algoritmica I criteri interni fanno riferimento a condizioni che riguardano il modello in sé senza un riferimento esterno a scopi, teorie e dati. In quanto tali, essi si possono considerare come condizioni necessarie di validità e riguardano: la consistenza: il modello non deve contenere contraddizioni logiche, matematiche o concettuali; la validità algoritmica: l'algoritmo per la soluzione o simulazione deve essere appropriato e portare a soluzioni appropriate (analisi di stabilità, convergenza, limiti degli errori di round off ecc.). I due criteri interni si applicano a stadi differenti del processo di validazione. La verifica della consistenza del modello entra a livello della formulazione concettuale e matematica del modello stesso, mentre la verifica della validità algoritmica riguarda principalmente lo stadio finale relativo alla soluzione del modello. validità empricavalidità teorica validità pragmatica validità euristica I criteri esterni si riferiscono ad aspetti esterni al modello e sono sostanzialmente quattro: validità emprica che riguarda la corrispondenza del modello ai dati sperimentali, la validità teorica che fa riferimento alla consistenza del modello con teorie e modelli già accettati in letteratura; la validità pragmatica che é rilevante principalmente nel caso di modelli predittivi e/o clinici. Essa dovrebbe in pratica portare ad una qualche misura di efficienza del modello, cioè della sua capacità a soddisfare gli obiettivi per cui é stato elaborato. Infine la validità euristica tiene conto della validità del modello dal punto di vista interpretativo, come test di ipotesi ecc.

VALIDAZIONE DEI MODELLI -Criteri di validazione empirica Si considererà nel seguito il processo di validazione che si effettua una volta che il modello é passato attraverso la formulazione e l'identificazione dei parametri. Questo stadio finale di validazione riguarda in primo luogo il soddisfacimento delle condizioni di validità empirica. I limiti entro cui il modello deve soddisfare le domande di validità empirica tuttavia, sono determinati da considerazioni di validità pragmatica, cioè, dal punto di vista degli scopi, se il modello deve essere predittivo o interpretativo. Per un modello puramente descrittivo i criteri di validità empirica sono soddisfatti se il modello riproduce le risposte ingresso-uscita relative ai dati sperimentali disponibili. Nel caso di modelli predittivi si hanno richieste più stringenti; infatti il modello deve accordarsi agli esperimenti ingresso-uscita non solo per i dati sperimentali disponibili, ma anche per i dati interpolati e/o estrapolati. Infine un modello interpretativo deve non solo riprodurre le caratteristiche osservate ma anche incorporare un'appropriata struttura e parametri: cioè la struttura postulata ed i valori dei parametri adottati debbono riflettere i sottostanti fenomeni fisici, chimici, meccanici ecc. che si verificano nel sistema reale oggetto di studio. Dal punto di vista applicativo, le considerazioni fin qui esposte in modo qualitativo si traducono in un certo numero test che possono essere applicati al modello. Si considererà in particolare, nel seguito, il caso di modelli identificabili, modelli cioè per cui è possibile una stima esplicita dei valori dei parametri e della loro attendibilità.

VALIDAZIONE DEI MODELLI -Criteri di validazione empirica Identificabilità.Una prima valutazione della validità del modello può essere relata all'analisi dell'identificabilità: infatti un modello per essere valido dovrebbe soddisfare il criterio di essere unicamente identificabile. Nel caso in cui non fosse unicamente identificabile un insieme di parametri potrebbe ancora essere ritenuto valido in base all'esame della loro plausibilità. Infine un modello non identificabile andrebbe comunque rigettato a meno che non sia possibile riparametrizzarlo in modo opportuno ad esempio considerando delle combinazioni di parametri a loro volta identificabili. Accuratezza della stima.Nel caso di modelli unicamente identificabili un primo test di validità può essere l'osservazione della matrice di covarianza della stima che può fornire un'indicazione sull'accuratezza delle stime dei parametri ottenute con dati affetti da rumore. Quando le deviazioni standard dei parametri stimati sono molto grandi (ad esempio maggiori del 100%) il modello deve essere considerato non valido. Ciò può essere dovuto o a caratteristiche dei dati (ad es. poche misure, errori di misura ecc.) o all'aver postulato una struttura del modello troppo complessa in rapporto alle misure disponibili. In alcune circostanze anche un modello con una scarsa accuratezza dei parametri può essere adottato: ad esempio ciò può avvenire quando la struttura del modello ha basi più solide dal punto di vista biologico o fisiologico rispetto ad altri modelli con cui pure si possa ottenere una più accurata stima dei parametri.

VALIDAZIONE DEI MODELLI -Criteri di validazione empirica Bontà del "fitting". Un criterio successivo che il modello deve soddisfare per essere valido é quello della bontà del "fitting" cioè della sua capacità di riprodurre adeguatamente i dati sperimentali disponibili. Tale proprietà può essere verificata attraverso i quadrati della somma dei residui cioè degli errori fra i dati sperimentali e i valori predetti dal modello. Tale test può essere sufficiente, nel caso in cui venga postulato un unico modello, e fornire un criterio perché il modello stesso possa essere accettato o rifiutato. Se si deve, al contrario, compiere una scelta fra due o più modelli candidati a rappresentare un determinato fenomeno, oltre alla bontà del "fitting" dovrebbe essere considerato anche il numero di parametri presenti in ciascun modello. Indice di Akaike N é il numero di punti di misura, P é il numero di parametri ed SSR é il quadrato della somma dei residui. Il miglior modello é quello che presenta il valore più basso di AIC

VALIDAZIONE DEI MODELLI - Criteri di validazione empirica: Bontà del "fitting". F-test Il test si basa sul calcolo dellespressione dove SSR1, P1 ed SSR2, P2 denotano rispettivamente la somma dei quadrati dei residui e il numero dei parametri del modello M1 e del modello M2 con P2>P1. La quantità a sinistra é asintoticamente F-distribuita con P2-P1 e N-P2 gradi di libertà. Se il valore calcolato dall'espressione a sinistra é maggiore del corrispondente valore di F ciò significa che dovrebbe essere adottato un modello di ordine più elevato. Tale criterio diviene di difficile utilizzazione nel caso in cui si debbano confrontare più di due modelli Limite inferiore dellaccuratezza della stima Un criterio che pure può essere utilizzato nel discriminare fra differenti modelli é quello basato sulla valutazione del limite inferiore dellaccuratezza della stima dei parametri espresso come percentuale del coefficiente di variazione. (J -1 )ii denota l'elemento di posto (i,i) della matrice di informazione di Fisher

VALIDAZIONE DEI MODELLI - Criteri di validazione empirica: Bontà del "fitting". Misura di distanza Infine un ultimo criterio che può essere utilizzato per discriminare fra differenti modelli in competizione può essere quello basato su un appropriata misura di distanza fra "caratteristiche" predette dal modello e "caratteristiche" dei dati. Ciò può essere ottenuto tramite un indice F del tipo essendo x M (k) la caratteristica k-esima predetta dal modello ed x D (k) quella predetta dei dati mentre wk é un coefficiente di peso compreso fra zero e uno.

VALIDAZIONE DEI MODELLI -Criteri di validazione empirica Proprietà statistiche dei residui.Accanto alla bontà del "fitting" un altro importante test é quello relativo all'esame delle proprietà statistiche degli errori residui. Ciò può permettere di verificare sia le assunzioni fatte rispetto al processo di misura, sia di individuare delle deviazioni sistematiche fra i dati e le predizioni del modello. Un'analisi di tale tipo é essenziale sia quando si consideri un solo modello che quando si confrontino fra loro più modelli. Plausibilità. La plausibilità di un modello, cioè la sua corrispondenza con tutte le informazioni teoriche ed empiriche che non sono state direttamente utilizzate nella formulazione ed identificazione del modello, può essere valutata sia rispetto ai parametri stimati che rispetto ad altre caratteristiche della struttura dei parametri e della soluzione. Per quanto riguarda i parametri una verifica che deve essere effettuata é che i valori ottenuti siano accettabili sia da un punto di vista fisico che fisiologico, se ciò non si verifica il modello va senz'altro rigettato. Tale criterio può anche permettere, come già accennato precedentemente, di discriminare, fra vari insiemi di parametri forniti da un modello non unicamente identificabile, quello che può essere assunto come valido.

VALIDAZIONE DEI MODELLI La validità del modello dovrebbe essere provata utilizzando dati diversi da quelli usati nel processo di "fitting" ma ottenuti da test che comunque cadano nel dominio di validità prescelto. Ad esempio il modello può fornire valori di parametri che non vengono direttamente stimati nel processo di identificazione. Tali valori potrebbero essere confrontati con i corrispondenti valori ottenuti sperimentalmente in modo indipendente. Essi potrebbero servire sia per la validazione del modello che per confrontare due o più modelli differenti. Un altro test utile potrebbe essere quello di esaminare le predizioni del modello relativamente a variabili diverse da quelle utilizzate per l'identificazione. Infine va sempre verificata la plausibilità globale del modello, cioè in quale misura esso corrisponde alle conoscenze fisiologiche disponibili. Come già puntualizzato precedentemente un modello può essere preferito ad un altro sulla base della sua rispondenza alle teorie fisiologiche relative al problema analizzato anche se la stima dei suoi parametri può essere relativamente poco accurata.