Criticità metodologiche della valutazione tramite indicatori

assegnazione di un valore ad una entità valutazione che significa? assegnazione di un valore ad una entità

Quindi …

Quindi … è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

Quindi … è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo E quindi dipende moltissimo da CHI e dal PERCHE’ la si fà

Quindi … è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione

Quindi … è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione Il pericolo è quello di valutare solo ciò che è illuminato tralasciando la maggior parte della realtà che è invece al buio …

Quindi … è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione e il “nuovo aggiunto” è la valorizzazione che è strettamente legata all’uso che si vuol fare della valutazione

Quindi … è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione e il “nuovo aggiunto” è la valorizzazione che è strettamente legata all’uso che si vuol fare della valutazione Il valore dipende dall’utilizzo!

Con quale percorso?

Con quale percorso?

nomenclatura Usiamo gli stessi concetti ? Usiamo gli stessi nomi ? Usiamo gli stessi codici ?

nomenclatura Usiamo gli stessi concetti ? Usiamo gli stessi nomi ? spesa, costo, prezzo, tariffa …. incidenza, prevalenza puntuale, prevalenza periodale, tasso, percentuale … performance, efficienza tecnica, efficienza allocativa, appropriatezza organizzativa … prevenzione, promozione, protezione … Usiamo gli stessi nomi ? Usiamo gli stessi codici ?

nomenclatura Usiamo gli stessi concetti ? Usiamo gli stessi nomi ? Residenza Sanitaria Assistita, Residenza Protetta, Ospedale di Riabilitazione … ASL, ASSL, ALS, … bilancio, conto economico, budget, … direttore, dirigente, coordinatore, capo ufficio … Usiamo gli stessi nomi ? Usiamo gli stessi codici ?

nomenclatura Usiamo gli stessi concetti ? Usiamo gli stessi nomi ? DRG Revisione IX, X, XIX, … Tariffa regionale, TUC, Pesi, … Nomenclatori Codici CE, Codici LA … Codici Reparti Ospedalieri, … Usiamo gli stessi nomi ? Usiamo gli stessi codici ?

nomenclatura La definizione concettuale e l’assegnazione nominale sono già delle operazioni altamente valutative. ( …Dio quando creò il mondo incominciò a chiamare le cose con il loro NOME …”) In ogni caso per confrontare realtà differenti dobbiamo innanzitutto essere certi di usare gli stessi concetti e gli stessi nomi.

descrizione Una descrizione è una copia semplificata e quindi necessariamente, anche se di poco, distorta della realtà. Ovviamente senza una descrizione non c’è valutazione, ma una descrizione non è di per se una valutazione.

descrizione Le due qualità principali della descrizione sono: Attendibilità Validità La foto è attendibile? Lo è nella misura in cui corrisponde al soggetto fotografato … La foto è valida? Lo è nella misura in cui serve per lo scopo per cui la si vuol usare …

descrizione Le due qualità principali della descrizione sono: Attendibilità Validità La foto è attendibile? Lo è nella misura in cui corrisponde al soggetto fotografato … La foto è valida? Lo è nella misura in cui serve per lo scopo per cui la si vuol usare …

VARIABILITA’ TRA OPERATORI descrizione L’elemento principale che serve descrivere a fini valutativi è la variabilità presente nel sistema: VARIABILITA’ TRA OPERATORI

VARIABILITA’ TRA COMUNI descrizione L’elemento principale che serve descrivere a fini valutativi è la variabilità presente nel sistema: VARIABILITA’ TRA COMUNI

VARIABILITA’ TRA OSPEDALI descrizione L’elemento principale che serve descrivere a fini valutativi è la variabilità presente nel sistema: VARIABILITA’ TRA OSPEDALI Variazione dei ricoveri ordinari vs variazione dei ricoveri in day hospital

VARIABILITA’ TRA AZIENDE descrizione L’elemento principale che serve descrivere a fini valutativi è la variabilità presente nel sistema: VARIABILITA’ TRA AZIENDE

VARIABILITA’ TRA REGIONI descrizione L’elemento principale che serve descrivere a fini valutativi è la variabilità presente nel sistema: VARIABILITA’ TRA REGIONI

monitoraggio Un monitoraggio è una descrizione, solitamente continua o ripetuta, confrontata con un riferimento. La scelta del riferimento può far cambiare anche completamente il giudizio.

monitoraggio puntuale a intervallo distribuzionale statico valori centrali valori di dispersione minimi o massimi range di accettabilità assoluto proporzionale tendenza mobile nazionale regionale di letteratura di consenso puntuale a intervallo statico dinamico legislativo scientifico distribuzionale programmatorio normativo Riferimento:

monitoraggio esempi

valutazione Ciò che rende tale la valutazione è l’assegnazione di un valore ad ogni modalità riscontrata E il valore è tale solo in funzione degli interventi che ne devono conseguire. D = f(R) descrizione realtà V = f(D) valore descrizione I = f(V) interventi valore

valutazione Una valutazione quindi non può in alcun modo essere avulsa da: - conoscenza delle realtà (descrizione) - giudizio delle diversità (monitoraggio) - valore operativo assegnato alla diversità - intervento decisionale conseguente

valutazione Ne consegue che: non può esistere un processo valutativo che vada bene per tutto non può separarsi funzionalmente il valutatore dal decisore un processo valutativo deve mutare al mutare della realtà da valutare due processi valutativi possono portare anche a decisioni differenti il modello di valutazione deve essere trasparente a chi lo utilizza

valutazione Di problemi “tecnici” nel modello di valutazione ce ne sono molti … ne evidenziamo uno per tutti: La funzione di composizione delle informazioni elementari La conclusione della valutazione deve essere univoca se deve esitare in una decisione … Occorre quindi trovare il modo di comporre unitariamente le differenti indicazioni elementari …

valutazione La funzione di composizione: Informale Statistica Grafica Il giudizio valutativo sintetico è lasciato al decisore che in modo soggettivo e non esplicitato (e quindi in modo non ripetibile) ha il compito di formularlo. Statistica Si decidono i pesi delle diverse categorie e si procede con un algoritmo matematico statistico che però, per la sua complessità, spesso non risulta comprensibile al decisore Grafica L’algoritmo non è di tipo statistico bensì grafico: in questo caso i “pesi” vengono per lo più ignorati e ciò può falsare le conclusioni

Le prospettive di lavoro per Agenas : Avviare un progetto di ricerca da realizzare con un gruppo inter-regionale sui sistemi di valutazione finalizzato a: Approfondire aspetti metodologici e tecnici relativi alla valutazione Elaborare, con il consenso delle Regioni, una linea guida su come effettuare le valutazioni Produrre un modello di sistema di valutazione utilizzabile dalle Regioni senza proprie esperienze

in conclusione valutazione è dare un giudizio alla diversità per avere indicazioni utili a corregere solo gli elementi negativi

grazie per l’attenzione