Azienda Ospedaliera Universitaria Audit Clinico Dr. Ulrich Wienand Azienda Ospedaliera Universitaria “S. Anna” – Ferrara Giugno 2007

Clinical Audit “Iniziativa condotta da professionisti che cerca di migliorare la qualità e gli esiti dell’assistenza attraverso una revisione tra pari, strutturata, per mezzo della quale i professionisti esaminano la propria attività e i propri risultati a confronto con standard concordati e la …..modificano se necessario.“Brit. Governm. 1996

Caratteristiche dell’audit clinico carattere professionale dell’iniziativa competenza clinico-assistenziale dei partecipanti Confidenzialità (riservatezza) dei risultati oggetto fortemente legato alla qualità professionale necessita di accesso ad adeguata documentazione clinica verifica buona pratica corrente rispetto a standard noti RC&AC2000 e BRI 1999

“Ciclo dell’audit” 2. Definire criteri indicatori e standard 5. Realizzare il cambiamento 1. Identificare l’ambito e lo scopo 4. Confrontare i risultati con con criteri e standard 3.Osservare la pratica e raccogliere dati

dal lat. auditus -us «ascolto» L’audit clinico ci dà un metodo per riflettere in maniera sistematica sulla nostra pratica professionale e per rivederla. Hardman & Joughin 1998

Quale è la differenza fra audit clinico e ricerca scientifica ? L’audit clinico non è ricerca, ma fa uso della metodologia scientifica per esaminare la pratica professionale La ricerca mira definire la “best practice”, l’audit mira a valutare quanto distante è la pratica dalla “best practice” La ricerca è spesso “una tantum”, l’audit è un processo continuo Madden 1991, Firth-Cozens 1993, cit. da Hardman&Joughin

Concetto di Audit in “altri mondi”: Economia Aziendale “Esame della contabilità o di altre registrazioni attinenti al denaro o alla proprietà, realizzato da funzionari competenti .. al fine di verificarne la correttezza” Lexicon Webster Dictionary In senso più ampio: Funzioni aziendali di verifica e controllo CQI Info 1999

Concetto di Audit in “altri mondi”: Certificazione ISO 9000 “Audit della Qualità”: Esame sistematico e indipendente mirato a stabilire se le attività svolte per la qualità sono in accordo con quanto stabilito…” ISO 8402, 4.9 “Audit di Sistema”: strumento per la sorveglianza del Sistema Qualità… può valutare Conformità Adeguatezza Efficacia Evolutività modif. da Cinotti & Cartabellotta 2000

“Clinical Audit is a key and essential component of Clinical Governance” A Practical Handbook for Clinical Audit - Clin. Gov. Support Team - March 2005

Gli strumenti del Governo Clinico Indicatori di Performance e di Outcome Clinico Audit Clinico: revisione tra pari per migliorare la qualità clinico-professionale Linee Guida Cliniche basate sulle evidenze scientifiche (EBM)

1. Identificare l’ambito e lo scopo “Ciclo dell’audit” 2. Definire criteri indicatori e standard 1. Identificare l’ambito e lo scopo 5. Realizzare il cambiamento 4. Confrontare i risultati con con criteri e standard 3.Osservare la pratica e raccogliere dati

Identificare l’ambito e lo scopo Tema, ambito, area, oggetto, argomento,“topic”, “subject” “Che cosa volete sapere sul servizio che erogate ?”

Identificare l’ambito e lo scopo: rilevanza Alti volumi Alti costi Alta rischiosità Alta variabilità Alta complessità Alto contenuto innovativo Cinotti & Cartabellotta 2000

Struttura Processo Esito Avedis Donabedian 1980 Disponibilità ed organizzazione delle risorse e del personale caratteristiche stabili strumenti risorse: umane, fisiche, finanziarie metodi organizzativi (finanziamento, sistemi retributivi)

Struttura Processo Esito Avedis Donabedian 1980 Attività intraprese con le risorse azioni e decisioni dei professionisti osservanza norme professionali adeguatezza tempestività comportamento operatori

Struttura Processo Esito Avedis Donabedian 1980 Esito: effetti delle attività sullo stato di benessere degli utenti Cambiamento stato di salute (individuale, collettiva) Qualità della vita Soddisfazione (paziente, operatore)

1. Identificare l’ambito e lo scopo: consigli Scegliete un argomento che Vi interessa Scegliete un ambito che oltre all’interesse dei professionisti colga anche quello dei Vostri stakeholder Guadagnate il consenso di coloro che saranno coinvolti nell’audit e negli eventuali cambiamenti Individuate un problema rilevante per la pratica (ricorrente, conseguenze serie) Scegliete un ambito su cui potete intervenire (“potential for change”)

Identificare l’ambito e lo scopo Valutare la qualità del servizio (positiva o negativa) Individuare aree di cambiamento (riduzione rischi, costi …) Tenere sotto controllo la stabilità dei risultati

2. Definire criteri indicatori e standard “Ciclo dell’audit” 5. Realizzare il cambiamento 2. Definire criteri indicatori e standard 4. Confrontare i risultati con con criteri e standard 3.Osservare la pratica e raccogliere dati

2. Definire criteri e standard: Criterio “Un aspetto definibile e misurabile dell’assistenza sanitaria che ne descrive la qualità e può essere usato per valutarla.” Irvine & Irvine 1991 “Il criterio in un audit clinico è la dichiarazione di ciò che dovrebbe succedere” Harris 2004 Es.: “Le pazienti fra 25 e 65 dovrebbero avere fatto un pap test negli ultimi 5 anni”

2. Definire criteri e standard: Indicatore Informazione o variabile selezionata che consente di descrivere fenomeni complessi e misurare variazioni in relazione a criteri definiti, allo scopo di orientare decisioni volte ad ottenere o mantenere cambiamenti. (OMS, modificato da Vernero et al. 2002) Misura che serve per descrivere un fenomeno: percentuale, tasso, media Es.: n° donne 25-65 con pap test ultimi 5 anni __________________________________________________________________________________________________________________________________________________________________________________________________________________ n° totale di donne 25-65 in cura

IL BUON INDICATORE Misurabile Importante Semplice Utilizzabile Realistico Accettabile

2. Definire criteri e standard: Standard Valore dell’indicatore che rappresenta il limite superiore od inferiore perché la qualità dell’assistenza sia giudicata accettabile. Soglia di accettabilità Es.: almeno 80% sul totale delle pazienti 25-65 dovrebbe avere fatto un pap-test negli ultimi 5 anni

Javier Sotomayor (cubano)

Standard di riferimento: Lo standard può essere: determinato da letteratura; determinato da indicazioni di società scientifiche; determinato da indicazioni di politica sanitaria; calcolato su rilevazioni effettuate in periodi precedenti.

Concetto “Standard” Dal francese “estendart” = stendardo in inglese può assumere diversi significati

Concetto “Standard” -2- Livello soglia: sia di allarme che di accettabilità Soglia accettabile: valore o frequenza (espressa come frequenza assoluta, percentuale o tasso) di un indicatore al di sopra o al di sotto del quale la qualità non è considerata accettabile Beccastrini, Gardini, Tonelli 1994

Concetto “Standard” -3- Valore, modello, esempio di riferimento con il quale si confronta “l’oggetto” per esprimere un giudizio comparativo: metro standard di Parigi, laboratorio standard, procedura standard Beccastrini, Gardini, Tonelli 1994

Concetto “Standard” -4- Requisito: nei manuali di accreditamento, ad esempio “in ogni ospedale deve operare un comitato infezioni ospedaliere” Beccastrini, Gardini, Tonelli 1994

2. Definire criteri e standard Criterio Indicatore Standard Valore osservato Specifica caratteristica di qualità che si vuole valutare Informazione selezionata per la misurazione del criterio Valore dell’indicatore che definisce la soglia tra accettabile ed inaccettabile Valore che assume l’indicatore a seguito della misurazione

Confrontarsi con il valore di riferimento Per valutare la capacità di migliorare per valutare la capacità di raggiungere un obiettivo per valutare la propria qualità in confronto a quella di strutture omologhe per verificare il rispetto di un requisito di accreditamento Focarile 2001

2. Definire criteri e standard: Standard Consigli: Uno standard per ogni indicatore ! Lo standard deve essere realistico e raggiungibile Standard del 100% sono irrealistici Lo standard deriva da fonti “ragionevoli” Mehay & Eisner 2003

2. Definire criteri e standard: Standard Lo standard individuato come paragone per la valutazione della pratica clinica deve essere condiviso. Esso non può infatti essere oggetto di rimaneggiamento in corso di verifica, mentre deve essere discusso a priori e, a posteriori, può essere commentato e revisionato alla luce di quanto emerso dall’audit stesso. Cinotti e Cartabellotta 2000

3. Osservare la pratica e raccogliere dati “Ciclo dell’audit” 2. Definire criteri indicatori e standard 5. Realizzare il cambiamento 3. Osservare la pratica e raccogliere dati 4. Confrontare i risultati con con criteri e standard

3. Osservare la pratica e raccogliere dati Definire la popolazione di riferimento Per quale arco di tempo ? Quali le eccezioni ? Definire eventualmente un campione Da quale fonte si prendono i dati ? Come trattare casi mancanti, perduti ecc. Costruire un foglio raccolta dati

3. Osservare la pratica e raccogliere dati Prospettico Dati vengono raccolti da ora in poi Può essere dispendio di tempo Non fornisce una baseline Permette una progettazione accurata e favorisce dati di + qualità Retrospettivo Dati vengono raccolti esaminando la pratica passata + veloce Fornisce una baseline Qualità del dato non è garantita Utenti non ne traggono più vantaggio

Foglio raccolta dati La costruzione del foglio di raccolta dati è una delle fasi più importanti dell’audit “In un mondo ideale per ogni importante aspetto delle cure i dati vengono già raccolti routinariamente e sono pronti all’accesso.” Best practice in Clinical Audit Eccessiva semplificazione può andare a scapito del risultato finale, ma si può anche non raggiungere alcun risultato a causa delle eccessive complicazioni. Cinotti & Cartabellotta 2000

Documentazione clinica Cartella clinica/infermieristica è la principale fonte di dati per l’audit. Purtroppo non è sempre completa né redatta correttamente. Altri dati sono spesso contenuti in reparti diversi, su carta o in forma elettronica, a volte in organizzazioni diverse … o non ci sono proprio.

Concordanza fra valutatori Se non si tratta di una semplice ricopiatura di dati dalla cartella al foglio raccolta dati, ma di una vera estrazione di dati, può essere utile che la stessa cartella venga esaminata da 2 valutatori indipendenti che poi si confrontano sui dati da loro estratti. In particolare per valutazioni di adeguatezza, gravità clinica, appropriatezza ecc. Svantaggio: dispendio tempo

Confidenzialità dei dati Per ogni soggetto incluso nell’audit : un numero di identificazione Privacy: tenere separati i dati e i nomi Non esportare dati o materiale scritto dai luoghi in cui si raccolgono i dati Attenzione alla sicurezza dei dati ! (password, back up dei dati) Anonimità dei professionisti (salvo accordi diversi) Eventualmente presentare dati in “semi-cieco”

Campionamento Quanti pazienti devo includere nella raccolta dati ? Come posso ottenere un campione rappresentativo ? Le risposte dipendono anche da fattori come: grado di affidabilità statistica che si vuole raggiungere risorse limitate: tempo, costi, accesso ai dati Campione di 40 – 50 casi viene i.g. considerato accettabile Esistono tecniche molto sofisticate : chiedere aiuto ad un esperto in statistica o usare Epi-Info

3. Osservare la pratica e raccogliere dati Condurre sempre un piccolo studio pilota Discutere e cercare il consenso sugli aspetti metodologici Delegare la raccolta dati se possibile, ma addestrare gli addetti Documentare le decisioni prese

4. Confrontare i risultati con criteri e standard “Ciclo dell’audit” 2. Definire criteri e standard 5. Realizzare il cambiamento 4. Confrontare i risultati con criteri e standard 3.Osservare la pratica e raccogliere dati

4. Confrontare i dati con criteri e standard Generalmente si calcola: % casi che corrispondono ad ogni criterio (incl. non applicabili) % casi non applicabili % casi applicabili che corrispondono al criterio

4. Metodi di analisi dei dati Non sono sempre necessarie delle sofisticate procedure statistiche. Statistica descrittiva Test statistici Carte di controllo Analisi qualitative

Test statistici Es.: in audit relativi ad un “prima” e “dopo” per verificare se cambiamenti sono dovuti al caso o all’intervento di miglioramento

Test statistici “Chi Quadro” test che si applica a tabelle di frequenza a due dimensioni, per esempio 2 * 2 serve a testare se c’è una differenza nelle due proporzioni

Chi quadro = 3.00 Differenza debolmente significativa

Chi quadro = 14.42 Differenza fortemente significativa (p<0.001)

Chi quadro = 0 Differenza non significativa

Analisi qualitative Su domande “aperte” Analisi dei contenuti Codifica dei temi/concetti più ricorrenti > calcolo delle frequenze

5. Realizzare il cambiamento “Ciclo dell’audit” 2. Definire criteri e standard 5. Realizzare il cambiamento 4. Confrontare i risultati con con criteri e standard 3.Osservare la pratica e raccogliere dati

L’Audit Clinico non è uno studio epidemiologico Ma fa parte di un ciclo i miglioramento….

Standardizzazione della buona pratica A) Se si è verificata una adesione allo standard: consolidare la buona pratica Standardizzazione della buona pratica Documentazione (procedure, protocolli) Estensione ad altre realtà vicine Formazione, disseminazione

B) Se si è verificato uno scostamento dallo standard: Pianificare azioni correttive Definire l’oggetto del miglioramento Le tappe con le relative azioni Tempi entro cui completare ogni tappa Il responsabile

Problem Solving Lo scostamento dei valori osservati dallo standard costituisce, nei termini del Problem Solving la individuazione di un problema in questa prima fase del percorso è importante identificare e descrivere esattamente il problema, non (ancora) individuarne le cause

Diagramma “WV” di J.Shiba Livello qualitativo - creativo Ambito Cause Soluzioni Dati Dati Dati Livello quantitativo

Closing the loop Re-audit confrontare il PRIMA con il DOPO delle azioni correttive verificare di non aver causato un problema da altre parti esecuzione delle azioni correttive è stata fedele ? Il miglioramento è accettabile ?

Verifica dei risultati Miglioramento dimostrato standardizzazione delle azioni correttive documentazione (procedure) estensione ad altre UU.OO. formazione Miglioramento non dimostrato rivedere il percorso fatto “ricomincia da START”