La valutazione degli esiti Master universitario di primo livello per le funzioni di coordinamento delle professioni sanitarie Dott.ssa Rita Ippolito Aosta 18 gennaio 2008

Definizioni: VALUTAZIONE Determinazione del valore, del prezzo di una cosa Stima, esame di tutti gli elementi necessari alla formazione di un giudizio Attribuzione di un giudizio al lavoro svolto da un allievo, per determinarne il profitto VALUTAZIONE

VALUTAZIONE processo attraverso cui si attribuisce un valore a qualcosa su scale qualitative o quantitative utilizzando tecniche e strumenti diversi e lo si confronta con un valore di riferimento esplicito (o implicito) al fine di esprimere un giudizio di merito

VALUTAZIONE misurare

Esito modificazioni delle condizioni di salute dei pazienti e della popolazione e talvolta la soddisfazione dei pazienti e dei loro familiari. Per il raggiungimento di obiettivi di struttura e di processo (ad esempio apertura di un centro riabilitativo, introduzione del triage in pronto soccorso, effettuazione di diagnosi accurate e tempestive) si preferisce usare il temine risultato.

Esito Esito (outcome) Modificazione delle condizioni di salute prodotto nei destinatari dagli interventi sanitari.

Efficacia di interventi sanitari Misure fisiche, (parametri fisiologici,esami di laboratorio, reperti anatomo-patologici) Osservazioni di segni clinici osservati o riferiti dal paziente Resoconti di autovalutazioni del paziente o fornite da familiari relative a qualità della vita

struttura di cosa si dispone? processo che cosa si fa? assi di valutazione esito che cosa si ottiene?

l'evento o la condizione obiettivo l'evento o la condizione di cui vogliamo limitare il verificarsi con un determinato insieme di azioni oppure che desideriamo rendere più frequente

OBIETTIVO ASSERZIONE CHE DESCRIVE IL RISULTATO PIUTTOSTO CHE IL PROCEDIMENTO O IL METODO; DESCRIVE I RISULTATI PIUTTOSTO CHE I MEZZI PER RAGGIUNGERLI. R. Vaccani, Le caratteristiche degli obiettivi efficaci, SDA BOCCONI 1989

SCOPO o FINE che si vuole raggiungere Ob-iectum: cosa gettata innanzi GLI OBIETTIVI Obiettivo SCOPO o FINE che si vuole raggiungere Ob-iectum: cosa gettata innanzi

Indicatori Indicatore: elemento che può essere rilevato e misurato; dato che può essere espresso attraverso un numero. Può essere: - strutturale (es. numero di strumenti, locali a disposizione, ecc.) - di processo (costruito sulla base di procedure note, dove, per valutare l’attività, si devono analizzare il processo e le risorse attraverso cui si giunge al risultato e viene espresso generalmente attraverso un tasso) - di esito o risultato, più sensibile rispetto a ciò che si vuole valutare e capace di dare significato anche agli indicatori di struttura e di processo

SISTEMA DI INDICATORI Indicatore Informazioni cruciali e selezionate che aiutano a misurare cambiamenti in relazione a bisogni prioritari e permettono di monitorare specifici aspetti di politica sanitaria o di fattori rilevanti alla determinazione di politiche sanitarie o correlate OMS, 1981

Indicatori Attribuiscono al criterio un valore in base al quale esprimere preferenze tra alternative

Criteri e standard Criterio: è l’elemento che permette di dare un giudizio valutativo, una regola che viene assunta come norma di giudizio e che definisce una qualità Standard: livello accettato di buon risultato, livello desiderato e raggiungibile di performance che corrisponde ad uno o più criteri sui quali viene confrontata la performance effettiva. È un valore soglia al di sotto del quale la prestazione diventa sub-ottimale o a rischio percentuale di azioni che si ritiene debbano soddisfare i criteri (a che livello mi ritengo soddisfatto!)

QUALE OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI QUALE OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI

OBIETTIVI, processo, output/outcome - esiti - OUTPUT o BENI/ SERVIZI in USCITA INPUT o FATTORI in INGRESSO SISTEMA ORGANIZZATIVO struttura di base meccanismi operativi processi sociali esito struttura processo R. Vaccani, La Sanità incompiuta, NIS 1991

PRODUZIONE, RESA, USCITA CONSEGUENZA, ESITO, RISULTATO L’OGGETTO DA VALUTARE OUTPUT PRODUZIONE, RESA, USCITA OUTCOME CONSEGUENZA, ESITO, RISULTATO

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Risorse finanziarie Materie prime Fonti di energia Mercato del lavoro Risorse professionali Risorse tecnologiche Norme e regolamenti Risorse immobiliari Valori sociali …. INPUT

INDICATORI DI STRUTTURA L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI INDICATORI DI STRUTTURA Gli indicatori di struttura descrivono il tipo e l’ammontare delle risorse utilizzate da un sistema sanitario o da una organizzazione per condurre programmi ed erogare servizi Quantificano il personale, i clienti, le risorse economiche, i letti, gli stanziamenti, gli immobili...

INDICATORI DI PROCESSO L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI INDICATORI DI PROCESSO I processi sono una serie di attività e di relazioni logicamente interconnesse che garantiscono il raggiungimento degli obiettivi di un programma o di un servizio. Gli indicatori di processo sono utili per misurare le attività e i compiti.

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI INDICATORI DI ESITO Servizi di cura: indicatori di esito correlato ai clienti/pazienti Misurano i cambiamenti nello stato di salute dei clienti/pazienti attribuibili alle cure e ai servizi forniti Servizi di supporto e direzione: indicatori di esito non correlato ai clienti/pazienti Misurano i risultati finali dei processi.

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Esiti specifici di malattie: segni o sintomi biochimici, fisiologici o microbiologici … Esiti di salute generale: abilità alle funzioni, senso di benessere … Esiti relativi al comportamento dei clienti/pazienti: comprensione, adesione … Esiti relativi alla soddisfazione dei clienti/pazienti: gradevolezza delle cure, relazioni umane, risultati delle cure … Measuring Outcomes in Ambulatory Care, American Hospital Publishing Inc., 1992

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Gli esiti specifici di malattia misurano i cambiamenti nelle funzioni biochimiche, microbiologiche o fisiologiche. Comprendono sintomi o sensazioni di significato clinico riferiti dai pazienti e possono essere collegati alle loro condizioni fisiche, mentali o sociali.

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI … a livello “micro” - per singoli pazienti - … Numero di soggetti che mantengono livelli stabilizzati di glicemia / numero di soggetti che hanno ricevuto un intervento di educazione sanitaria per il controllo del diabete Numero di soggetti che ottengono un adeguato controllo del dolore / numero di soggetti con sintomatologia dolorosa Numero di soggetti con diminuzione dei segni e dei sintomi della depressione / numero di soggetti che sono in trattamento per la depressione

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI … a livello “macro” - per popolazione - … Numero di bambini morti entro il primo anno di età in un certo periodo / totale dei nati vivi in quel periodo Numero di nuovi casi di morbillo in bambini di età inferiore ai 5 anni / numero di bambini di età inferiore ai 5 anni Numero di nuovi casi di cancro nell’ultimo anno / popolazione totale a rischio

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Gli esiti di salute generale sono in relazione alla qualità della vita dei clienti / pazienti, al benessere, alla capacità funzionale, ai livelli di indipendenza, al mantenimento delle usuali attività. Sono misure di salute “globale” che riflettono il modo in cui uno stato patologico possa influenzare la salute in generale dei clienti/pazienti

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Numero di soggetti con un migliorato livello di indipendenza 3 mesi dopo l’intervento di protesi d’anca / numero di soggetti sottoposti a intervento di protesi d’anca Numero di soggetti che riprendono le attività sociali dopo 6 mesi di trattamento per depressione / numero di soggetti sottoposti al trattamento per depressione Numero di soggetti capaci di vestirsi da soli / numero di soggetti con esiti di ictus

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Gli esiti relativi al comportamento stimano nei clienti/pazienti la conoscenza e la comprensione degli stati di non-salute e dei fattori che invece contribuiscono a una vita salutare: includono le capacità di cura della propria salute e i cambiamenti, in senso positivo per la salute, dello stile di vita.

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Numero di bambini vaccinati in accordo alle raccomandazioni / numero di bambini candidati alla vaccinazione Numero di donne che praticano correttamente l’auto-esame del seno / numero di donne cui è stata insegnata la tecnica di auto-esame del seno Numero di persone che assumono i farmaci nella modalità prescritta dal medico / numero di persone cui sono stati prescritti farmaci

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Gli esiti relativi alla soddisfazione si riferiscono alla soddisfazione dei clienti/pazienti in termini di gradevolezza (come la riservatezza, la pulizia, la comodità, il tempo di attesa e la disponibilità di parcheggio), di relazioni umane (come l’attenzione, la cortesia, l’interesse) e di risultati delle cure.

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Somma dei punteggi di soddisfazione / totale dei clienti = punteggio medio di soddisfazione Numero di clienti che si dichiarano “molto soddisfatti” / totale dei clienti = proporzione di clienti molto soddisfatti

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Servizi di supporto e direzione (indicatori di esito non correlato ai clienti/pazienti): misurano i risultati finali dei processi Esempio: gestione delle risorse umane Totale di operatori che sono a conoscenza delle politiche e delle procedure dell’ospedale / numero di operatori che hanno partecipato ad assemblee informative Esempio: gestione dell’ambiente Numero di apparecchiature che si sono guastate in un dato periodo / numero di apparecchiature revisionate Numero di reclami concernenti la sicurezza delle condizioni di lavoro / numero delle aree di lavoro

L’OGGETTO DA VALUTARE TRAMITE IL SISTEMA INDICATORI Esempio: gestione dell’informazione Numero di reclami dal personale concernenti guasti dei computer / numero di computer Esempio: gestione del personale Numero mensile di lamentele del personale per mese / totale degli operatori Numero di dimissioni per settore / totale degli operatori di personale Esempio: direzione aziendale Numero di unità sopra budget / numero di unità Livelli totali di soddisfazione del personale / numero di dipendenti intervistati

Ricerca sugli esiti di procedure sanitarie Gli indicatori di struttura e di processo non sempre predittivi della qualità dell’assistenza Necessario confrontare i risultati (outcome)

Ricerca sugli esiti di procedure sanitarie Dal 2001 l’ISS coordina progetti su studio degli esiti per: By-Pass Aortocoronarico (BPAC) Esiti artroprotesi d’anca Esiti dei trapianti Esiti radioterapia del carcinoma del seno

Ricerca sugli esiti di procedure sanitarie Indicatori: Tassi di mortalità per ciascun centro, aggiustati per gravità dei pazienti Mortalità di ciascun centro confrontato con standard di riferimento

Valutazione degli esiti Finalità: Valutare l’efficacia nella pratica clinica (effectivness) di tecnologie e trattamenti di efficacia teorica dimostrata e di tecnologie e trattamenti introdotti nella pratica clinica in assenza di prove di efficacia (efficacy) Valutare quali caratteristiche della popolazione, indipendentemente dai fattori di rischio per l’esito in studio, possono modificare l’efficacia del trattamento

Valutazione degli esiti Valutare quali fattori dell’organizzazione e della pratica clinica possono modificare l’efficacia del trattamento Valutare comparativamente l’efficacia dei trattamenti tra erogatori diversi e/o popolazioni

Mattone 08 - Misura dell'Outcome Sia per la valutazione comparativa degli esiti a livello dei soggetti erogatori che per la valutazione comparativa degli esiti a livello della popolazione assumono rilievo particolare gli obiettivi di fornire: al cittadino una visione trasparente dell'offerta di servizi e di prestazioni del SSN, a diversi livelli: attraverso i suoi soggetti erogatori pubblici e privati, per aree geografiche o regioni, monitorando eventuali modificazioni temporali. ai decisori istituzionali strumenti validi per scelte di programmazione, accreditamento, autorizzazioni, impiego delle risorse disponibili.

Mattone 08 - Misura dell'Outcome Obiettivi Questo Mattone ha l'obiettivo di valutare comparativamente e sistematicamente gli esiti di interventi sanitari sia a livello di soggetto erogatore della prestazione sanitaria (produzione) che a livello di popolazione (committenza). In particolare ha la finalità di individuare e sperimentare metodologie appropriate per la definizione, misura e valutazione dell'outcome, mettendo a sistema ciò che già esiste, ma non è attualmente leggibile in maniera sistematica, e progettando ciò che al momento non è ancora disponibile, ma che potrebbe essere utile e applicabile al sistema nazionale.