Valutazione, criteri, indicatori e standards Corso di Formazione Residenziale “Il Manuale di Accreditamento della funzione specialistica Nefrologica” Aprile - Maggio 2006

Collocare “oggetti” in una scala di valore (in base a criteri, indicatori e standard ) allo scopo di prendere decisioni ( Tonelli) Collocare “oggetti” in una scala di valore (in base a criteri, indicatori e standard ) allo scopo di prendere decisioni ( Tonelli) Accettare situazioni di fatto senza esprimere giudizi di valore La valutazione è l’azione intenzionale di qualcuno che attribuisce un giudizio di valore a qualcosa

Processo valutativo Modello dei 5 interrogativi o dell’oggettività impossibile Tonelli ‘86 1. Chi ? 2. Perché? 3. Cosa? 4. Come? 5. Quali decisioni prende?

Chi valuta? Il soggetto valutante (identità) Perché valuta? In base a suoi valori, motivazioni, ipotesi, obiettivi ….(espliciti e non) Cosa valuta? Sceglie l’oggetto che intende valutare, i criteri, indicatori, standard, scale Come valuta? R ileva dati (effettua misure) Analizza i dati (elaborazione ) e formula il giudizio sullo scarto tra osservato ed atteso Quali decisioni prende? E infine “prende decisioni” conseguenti...

Chi effettua la valutazione ? Valutatori esterni: ricercatori o consulenti non gestiti direttamente dai committenti ed indipendenti da questi e dagli utenti della valutazione Valutatori interni: unità di valutazione o di sviluppo o ricercatori interni all’organizzazione che valutano i servizi e le politiche della stessa o di uno dei suoi reparti Autovalutazione: caso in cui i medici o i team valutano il proprio lavoro per migliorarlo Øvretveit ‘98

Perché? Come utilizzare al meglio risorse limitate? Preoccupazioni di ordine economico Quanto costa? Le prestazioni erogate sono le migliori possibili alla luce delle attuali conoscenze? Preoccupazioni di ordine tecnico - scientifico Quanto funziona? Le prestazioni erogate contribuiscono al miglioramento della salute della popolazione assistita? Preoccupazione di ordine politico- sociale Quanto serve a...

Rappresentazione di base di un modello di valutazione Valutato LA PRESTAZIONE CHE VIENE VALUTATA SI TROVA ALL’INTERNO DELLA SCATOLA Prima Persone Organizzazione Dopo Persone Organizzazione Tempo 1 Tempo 2 Øvreitveit ‘98

SEI MODELLI DI VALUTAZIONE 1. Modello descrittivo 2. Audit 3. Modello “prima-dopo” 4. Modello comparativo – sperimentale 5. Modello sperimentale randomizzato controllato 6. Intervento organizzativo: impatto sui fornitori o sui pazienti Øvreitveit ‘98

IL VALUTATORE CONFRONTA QUELLO CHE IL SERVIZIO PRODUCE CON QUELLO CHE DOVREBBE PRODURRE O CON QUELLO PER CUI ERA STATO PROGETTATO STANDARD, PROCEDURE ED OBIETTIVI FISSATI PER ISCRITTO PRESTAZIONE (ad es., un servizio o una politica) PAZIENTI O POPOLAZIONE AUDIT (Tipo 2)

DEFINIZIONI Tratte dal Piccolo dizionario della qualità di Beccastrini - Gardini - Tonelli – Ed. Tosca, Firenze,1994

“oggetto” ( “soggetto” I criteri sono caratteristiche valutabili di qualunque “oggetto” (materiale o immateriale), selezionate dal “soggetto” valutante in base alle sue finalità, onde poter effettuare distinzioni, esprimere giudizi, operare scelte e prendere decisioni (dal greco crino, distinguo, giudico, scelgo, decido)

descrittore pertinente la qualità Criterio: descrittore pertinente la qualità La qualità della cartella clinica può essere letta attraverso diversi criteri: completezza, aggiornamento, orientamento al problema, ordine, etc. La qualità di un ambulatorio può essere letto attraverso accessibilità, tempestività, completezza delle informazioni, efficacia della visita, etc. La qualità di un reparto di chirurgia attraverso complicanze infettive, reinterventi non programmati, etc. pertinenza L’attenzione nella formulazione di un criterio deve essere posta soprattutto alla pertinenza con l’oggetto su cui viene applicato il criterio deve essere precisato / esplicitato

(dal latino index, indice, ”che mostra”, che indica”) Una quantità che dice qualcosa sulla qualità Gli indicatori sono specificazioni dei criteri, informazioni che rendono misurabili i criteri (ad es. tra i criteri per la scelta di un’auto c’è la robustezza, che non è direttamente misurabile senza la mediazione di opportuni indicatori) Gli indicatori sono informazioni selezionate, tra le tante possibili, sulla base di ipotesi, teorie, valori, motivazioni del soggetto che intende usarli per:  Leggere, Interpretare la realtà, Facilitare descrizioni ( …come stanno le cose?)  Consentire sorveglianza e valutazione (…come stanno andando le cose?)  Effettuare previsioni (…dove stanno andando le cose?)  Progettare (…come vorremmo che andassero le cose?)  Operare distinzioni, formulare giudizi e, quindi, consentire scelte e decisioni

Caratteristiche di un buon indicatore Mmisurabile Iindicativo del fenomeno osservato Ssemplice da rilevare Uutilizzabile (utilizzato) per il miglioramento Rriproducibile Aaccettabile

(Dal francese estendart, stendardo) La divulgazione del lessico della qualità ha determinato anche un atteggiamento critico nei confronti del significato delle parole. Intorno alla parola “standard” c’è stato dibattito poiché in inglese essa può assumere diversi significati: LIVELLO SOGLIA (sia di allarme che di accettabilità): accezione più comune ed universale; lo standard di qualità di un “oggetto” (servizio, ufficio, prestazione, etc.) è definito da uno o più criteri e dai loro rispettivi livelli di soglia VALORE, MODELLO, ESEMPIO DI RIFERIMENTO: con il quale si confronta l’”oggetto” da valutare onde esprimere un giudizio comparativo (ad es. il metro standard depositato a Parigi, laboratorio standard, procedura standard) REQUISITO: nei manuali di accreditamento (ad es. “in ogni ospedale deve operare un comitato per le infezioni ospedaliere”) META DA RAGGIUNGERE: con l’avvento del concetto di “Sviluppo Continuo della Qualità” si valorizza nuovamente il significato originale di stendardo (vessillo, che un tempo serviva ad orientare le truppe avanzanti, mentre oggi più pacificamente modifica l’obiettivo di eccellenza da perseguire)

Valore standard Valore standard = valore traguardo dell’indicatore Valore sentinella Valore sentinella = livello minimo accettabile dell’indicatore al disotto del quale si rende necessaria una nuova azione di Miglioramento della Qualità Soglia Accettabile (threshold) (sin. Livello di accettabilità livello di soglia, valore soglia, standard ) = valore o frequenza (espressa come frequenza assoluta, come percentuale o come tasso) di un criterio o indicatore al di sopra o al di sotto del quale la qualità non è considerata accettabile La mancata esplicitazione La mancata esplicitazione di standard di riferimento mina la credibilità di qualsiasi processo valutativo e quindi di qualsiasi intervento di miglioramento della qualità

Perché valutare la qualità? Per permettere ai pazienti di scegliere con sicurezza quali sevizi utilizzare o se iniziare un trattamento Per garantire che i giudizi sulla qualità di chi ha poco potere o poca influenza vengano ascoltati e rispettati Affinchè i professionisti migliorino il proprio lavoro e per monitorare gli effetti dei cambiamenti sulla qualità dei servizi Affinchè i manager valutino l’economicità, garantiscano che vengano serviti gli interessi di tutti i pazienti ed esercitino un maggior controllo (“to control”: guidare) sui professionisti Affinchè i governi proteggano i cittadini Per confluire alla conoscenza scientifica delle cause degli outcome di qualità elevata o scarsa nei sistemi di assistenza