Convegno Annuale AISIS Risultati di una ricerca internazionale nell’utilizzo di modelli di valutazione multidimensionale degli impatti della CCE Valeria D. Tozzi Vice Direttore master MiMS SDA Bocconi Responsabile area di ricerca PDTA(percorsi diagnostico terapeutici e assistenziali) CERGAS Bocconi Greta Nasi Professore Associato, Università Bocconi di Milano Co-responsabile scientifico del CERGAS eHealth Research Program Direttore Area Public Management e Policy SDA Bocconi School of Management Gruppo di lavoro n° 2 : 2013

Agenda La valutazione dell’innovazione La valutazione della CCE Esempi di valutazione I limiti dei modelli mono-dimensionali Verso un modello di misurazione degli impatti multi-dimensionale e multi-scopo Alcuni esempi di modelli multidimensionali Considerazioni finali

La valutazione dell’innovazione La valutazione dell’innovazione può essere valutata a due livelli: Aziendale Di sistema Impatti Performance

La progettazione di un sistema di misurazione della performance Tre assunti di partenza: Valutare la performance è necessario Valutare la performance è difficile Obiettivi Misurare Risorse Valutare Monitorare Risultati Analizzare Dati di contesto

Cosa misurare? Outcome Output Processi Influenze esterne Input Necessità di definire un modello condiviso di rappresentazione della realtà Outcome Output Processi Influenze esterne Input

Cosa misurare? Bisogni Fiducia Obiettivi Outcome Output Processi Input Necessità di definire un modello condiviso di rappresentazione della realtà Bisogni Fiducia Obiettivi Outcome Output Processi Input Influenze esterne

La valutazione della CCE I principi dell’economia aziendale suggeriscono che, nel valutare l’innovazione, è necessario: contestualizzare la definizione degli obiettivi in modo coerente rispetto al contesto di riferimento e alla tipologia di azienda; definire e misurare il valore atteso da ciascun stakeholder con interessi concreti in una specifica pratica d’innovazione.

Esempi di valutazione Si riportano di seguito alcuni esempi di valutazione di sistemi di Cartella Clinica Elettronica, emersi da una ricognizione dei modelli esistenti a livello internazionale. Per ciascun esempio si riportano: Autore e titolo Overview del framework Momento di valutazione Commenti/ criticità

Esempi di valutazione Monitorare HIMSS EMR Usability Assessment Contesto: HIMSS ha predisposto questo modello per permettere alle strutture sanitari di valutare il grado di usabilità delle soluzioni introdotte. Coordinate e fonti: Report di HIMSS disponibile at http://himss.files.cms-plus.com/2013-HIMSS-Usability-Maturity-Model.pdf questionario compilabile disponibile at https://www.research.net/s/EHR_Usability_Maturity_Model_Assessment Tipo di Framework: Usability assessment Applicazione – come e quando: compilabile online Commenti: L’usabilità riguarda gli utenti (clinici)  valutazione rispetto ad altri stakeholders? Valutazione rispetto agli utenti dei sistemi di CCE Per quali stakeholder? HIMSS (2011) Promoting Usability in Health Organizations: Initial Steps and Progress Toward a Healthcare Usability Maturity Model

Valutazione impatti economico-finanziari Esempi di valutazione Misurare HIMSS EMR ROI Calculator Contesto: Questo calcolatore ha l’obiettivo di fornire una visione di alto livello dei potenziali benefici e dei costi connessi con la realizzazione di una soluzione di EMR ambulatoriale. Il calcolatore è stato progettato per la facilità d'uso e la comprensibilità, come primo passo verso una analisi costi / benefici più formale. Coordinate e fonti: strumento online, disponibile at http://www.himss.org/files/HIMSSorg/ROI_Calc.html Tipo di Framework: Analisi costi/benefici (semplificata) Applicazione – come e quando: Progetto avviato nel 2008, Online dal 2010, rivisto nel 2013. Si accede online attraverso un link, in cui si inseriscono le informazioni richieste (quelle che si vedono nella colonna di sinistra dello screenshot) e si aggiorna automaticamete il calcolo di costi/benefici (colonna a dx) Commenti: Analisi di dimensioni per lo più finanziarie (costi, benefici, Valore attuale Netto a 5 anni) --> ampliare le dimensioni da valutare? Valutazione impatti economico-finanziari Quale dimensione? Strumento online disponibile at http://www.himss.org/files/HIMSSorg/ROI_Calc.html

Esempi di valutazione Misurare The Department of Health of the Republic Of China, Taiwan Performance indicators of electronic medical record projects Valutazione dei valori effettivi di utilizzo rispetto a target di risultato Contesto: Il Ministero della salute ha posto dei target di risultato per l'implementazione di sistemi di cartella clinica. La valutazione consiste nel confronto tra il target previsto, quello revisionato, e il valore effettivo (laddove disponibile) Coordinate e fonti: Sun, L. (2013) The Performance Evaluation on the Electronic medical records project of the Health-Care Systems: A Case Study from the National Audit Office of The Republic of China, Taiwan Tipo di Framework: Target di risultato Applicazione – come e quando: Valutazione di raggiungimento target a fine 2012 Commenti: Analisi di dimensioni di utilizzo (esempio: numero di ospedali con CCE), ma non di impatto --> ampliare le dimensioni da valutare Sun (2013 ) The Performance Evaluation on the Electronic medical records project of the Health-Care Systems: A Case Study from the National Audit Office of The Republic of China, Taiwan Quale dimensione?

Elenco benefici incrementali per i diversi soggetti Esempi di valutazione Valutare Kaiser Permanente Elenco benefici incrementali per i diversi soggetti Contesto: KP è una delle maggiori HMO degli USA ed è una delle best practice internazionali nell'adozione dell'health IT. Rispetto alla valutazione degli impatti però, non riporta modelli e strumenti di valuatzione, ma piuttosto elenchi di benefici ottenuti/ottenibili dall'introduzione Coordinate e fonti: Presentazioni di KP disponibili at http://www.hpm.org/Downloads/Events/10-07_Expertendialog_KP_Overview-Crane_Porter.pdf e http://b2cpro.vtt.fi/documents/usa/2007-03-kaiser-kphealthconnect.pdf Tipo di Framework: Elenco di benefici Applicazione – come e quando: l'individuazione risale al 2007, ripresa successivamente in altri documenti, ma non è chiaro con quale sistematicità siano rilevati gli impatti Commenti: I benefici sono rilevati in modo non sistematico --> definire uno strumento di valutazione? Quale strumento? Crane and Porter (2007) An Overview of Kaiser Permanente: Integrated Health Care and Population Management Hudson P.(2007) Kaiser Permanente HealthConnect™ The Substance, Strategy, and Impact of Kaiser Permanente’s Electronic Health Record (EHR) System

Esempi di valutazione Analizzare, Monitorare, Misurare, Valutare Mayo Clinic Mayo Integrated Clinical Systems (MICS) Evaluation Process Algoritmo per la valutazione degli impatti Contesto: Mayo Clinic ha sviluppato un processo di valutazione molto articolato del sistema informativo clinico. Partendo dallo sviluppo di metodologie e tools per i pilot da cui stimare benefici futuri e dagli strumenti per la valutazione post implementazione da cui verficare i benefici effettivi, si sviluppa una scorecard sia per singolo dipartimento che per l'intera istiuzione e si contituisce un gruppo di lavoro sull'analisi degli impatti. Per ogni dipartimento e per lìistituzione si forniscono risultati, analisi e raccomandazioni, da cui partire per la programmazione per l'anno successivo. Coordinate e fonti: Presentazione The Mayo Clinic EMR:What, When, How, Why? – June 28, 2007, David Mohr, MD disponibile at http://www.health.state.mn.us/e-health/summit/mohr07.pdf Tipo di Framework: Algoritmo di valutazione basato su più strumenti (non noti) Applicazione – come e quando: è uno strumento di applicazione annuale, volto alla valutazione degli impatti ottenuti e conseguentemente alla programmazione per l'anno successivo Commenti: è un processo complesso, che coinvolge team di lavoro diversi e molteplici tool da integrare tra loro --> eccessiva complessità? Quale livello di complessità? Presentazione The Mayo Clinic EMR: What, When, How, Why? – June 28, 2007, David Mohr, MD

Esempi di valutazione Analizzare California Healthcare Foundation EMR Evaluation Tool Tool excel per la valutazione di diversi prodotti di CCE Contesto: La California Healthcare Foundation ha voluto sviluppare un tool per permettere alle strutture sanitarie di valutare ex ante i prodotti di cartella clinica disponibili, in modo da aiutarli nella scelta. Coordinate e fonti: Tool xls del 2003. personalizzabile ed tuttora disponibile sul sito della CHF. http://www.chcf.org/publications/2003/10/emr-evaluation-tool-and-user-guide http://www.chcf.org/resources/download.aspx?id=%7b4A470569-3F63-4661-9679-AE6FE158449C%7d Tipo di Framework: Analisi dei fornitori Applicazione – come e quando: Si applica prima di scegliere il fornitore di CCE. Commenti: Si limita ad una analisi ex-ante dei prodotti di cartella clinica, ma non va a valutare gli impatti prodotti dall'implementazine --> quale momento di valutazione? Quale momento di valutazione? Strumento excel disponibile per il download at http://www.chcf.org/publications/2003/10/emr-evaluation-tool-and-user-guide

Alcune criticità emerse dai modelli presentati Focus sul singolo stakeholder Focus su una singola dimensione Focus un unico momento della rilevazione Individuazione dello strumento della valutazione Livello di complessità di utilizzo

Limiti dei modelli mono dimensionali Esistono quindi molteplici modelli che spesso si focalizzano su singole dimensioni di impatto sull’azienda sanitaria, rispetto ad un unico stakeholder oppure vengono applicate in una sola fase del ciclo di vita dell’innovazione. Queste caratteristiche non soddisfano i principi dell’economia aziendale sull’innovazione Sono necessari modelli multidimensionali in grado di contestualizzare la definizione degli obiettivi in modo coerente rispetto al contesto di riferimento misurando il valore atteso da ciascun stakeholder.

Modelli Multidimensionali Qualità Utilizzo Benefici Netti Canada Health Infoway Benefits Evaluation Framework Canada Health Infoway (2013) The emerging benefits of electronic medical record use in community-based care il modello si compone di tre dimensioni concettuali: qualità, utilizzo e benefici netti. La dimensione della qualità copre gli aspetti tecnologici riguardanti sistema, informazioni e servizi. La dimensione utilizzo riguarda l’uso del sistema e la soddisfazione degli utenti. La dimensione dei benefici riguarda la qualità delle cure (sicurezza del paziente, appropriatezza, outcome clinici), l'accesso (possibilità per pazienti e clinici di accedere ai servizi, partecipazione del paziente) e la produttività (efficienza, coordinamento nell’erogazione delle cure, costi netti); ogni dimensione è misurata attraverso una serie di indicatori. Limite: il modello, seppur multi dimensionale ha il limite di escludere fattori organizzativi e di contesto (modello più semplice, ma che non rileva le peculiarità dei diversi contesti) Canada Health Infoway (2013) The emerging benefits of electronic medical record use in community-based care

Modelli Multidimensionali Efficienza Risparmi di tempo Riduzione dei costi Qualità dell’informazione Efficacia organizzativa Miglioramento delle azioni diagnostico-terapeutiche Risk Management Efficacia sui processi Qualità del servizio Clinical Governance VALORE DEL SERVIZIO Empowerment paziente Efficacia della cura Ottimizzazione risorse Qualità Accountability Information management Clinical Audit Formazione strategica in tema di innovazione Efficacia organizzativa Aumento della soddisfazione Grado di coordinamento tra trutture in hospital e outpatient Capacità di risposta Empowerment del paziente Cucciniello, Caccia Nasi (2009) Modello di misurazione degli impatti della CCE l modello sviluppato si articola su quattro dimensioni che, a loro volta, si articolano in quindici categorie di impatti e complessivamente quarantuno indicatori. Le dimensioni individuate sono le seguenti: – Efficienza, include gli impatti sul grado di efficienza dei processi interni che l’applicazione della cartella clinica elettronica ha prodotto o produrrà in futuro; – Efficacia, comprende gli impatti che l’applicazione della cartella clinica elettronica produce in termini di miglioramento sull’intera organizzazione; – Qualità del servizio, fa riferimento agli impatti che la cartella clinica elettronica produce sul processo di cura in generale; – Clinical Governance, comprende l’insieme degli effetti che l’adozione della clinica elettronica produce sulla cultura organizzativa, sulla capacità di cambiamento nonché sulla valutazione generale della performance clinica. L’insieme delle dimensioni analizzate contribuisce a definire il valore della cura considerata misura di sintesi del modello, che fa riferimento non a benefici immediati e direttamente misurabili ma a benefici generali e di lungo periodo che impattano su diverse sfere inerenti all’organizzazione sanitaria in sé, alla collettività e, più in generale, al territorio di riferimento. il modello è basato su un set di indicatori facilmente misurabili e su variabili e dimensioni di impatti misurabili nei diversi archi temporali (breve, medio e lungo periodo) in cui tali effetti si manifestano.

Considerazioni Conclusive: Obiettivi e target di risultato Due strumenti semplici ma al contempo meccanismi di leadership potenti Devono essere usati non solo per rispondere ad adempimenti formali Per comunicare priorità, problemi e motivare attraverso attenzione e feedback Per evidenziare dove e perché il risultato cambia Un progetto di cartella clinica deve produrre risultati attorno a obiettivi specifici e rappresentare output intermedi e problemi relativi E’ il primo passo per procedere alla misurazione più ampia degli impatti a livello di sistema sanitario

Considerazioni finali e il livello di sistema? Emerge la necessità di sviluppare modelli in grado di evidenziare il contributo che tali sistemi possono dare a livello sistemico, valutando gli impatti della condivisione di informazioni e obiettivi tra i molteplici attori del sistema sanitario