La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

LA STATISTICA E IL PROCESSO DECISIONALE Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per lattività pubblica, richiede:

Presentazioni simili


Presentazione sul tema: "LA STATISTICA E IL PROCESSO DECISIONALE Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per lattività pubblica, richiede:"— Transcript della presentazione:

1 LA STATISTICA E IL PROCESSO DECISIONALE Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per lattività pubblica, richiede: Volontà nella RICERCA STATISTICA di confrontarsi con realtà caratterizzate da comportamenti, logiche di azione e condizioni ambientali particolari e spesso sconosciute Volontà nellATTIVITA CONCRETA di accogliere il contributo di una disciplina considerata da sempre troppo astratta

2 Valutare e decidere La valutazione è un processo intellettuale di analisi e sintesi, le cui finalità fondamentali sono: imparare sistematicamente dallesperienza; utilizzare quanto appreso per migliorare le attività correnti e promuovere lo sviluppo della programmazione attraverso unaccurata selezione di alternative per lazione futura 1/4

3 La valutazione è uno strumento orientato allassunzione di decisioni Valutare e decidere Contesto tecnico-statisticoContesto politico Nelle attività di Valutazione le operazioni statistiche fornendo le basi per la decisione acquistano valore politico Contesto tecnico-statisticoContesto politico Nelle attività di Valutazione le decisioni politiche senza un apporto tecnico-statistico non sono in grado di rispondere a bisogni informativi 2/4

4 Valutare e decidere La necessità di valutare può derivare da una molteplicità di bisogni: 1)la carenza di informazioni, necessarie allattività programmatoria, relative alla conoscenza dei bisogni e alla determinazione degli obiettivi; 2)la mancanza di sufficienti conoscenze utili alla gestione di un sistema operativo già esecutivo; 3)la necessità di monitoraggio in medio tempore sullo stato di avanzamento e di realizzazione delle attività intraprese; 4)lesigenza di verifiche al termine delle attività 3/4

5 Valutare e decidere Schema di processo valutativo Sistema decisionale Quesiti conoscitivi Sistema informativo Sui fenomeni del sistema operativo Modello di sistema operativo Relazioni tra le variabili Dei soggetti decisori Variabili in gioco Indicatori 4/4

6 La decisione come processo Ogni decisione, sia essa individuale o collettiva, personale o istituzionale, quale espressione di un impegno ed intervenire nella realtà, è il prodotto ultimo di un insieme di attività di analisi, elaborazione e confronto PROCESSO DECISIONALE MODELLO 1/14

7 Modello semplificato del processo decisionale mirato a trattare il contributo della STATISTICA Assunzioni per la formulazione del modello 1.Tre fasi sequenziali facenti capo a corrispondenti attività e richiedenti informazioni più o meno ampie (identificazione del problema, formulazione di soluzioni, adozione di una decisione) 2.Componenti relative al contesto e agli attori (risorse, vincoli ambientali, sistema di valori e attese dei soggetti, personali conoscenze ed esperienze in riferimento al problema, livello di sensibilità tecnico- scientifica) 3.Direzione del processo secondo una logica incrementale (riduzione dellincertezza e delle alternative) La decisione come processo MODELLO 2/14

8 La decisione come processo: lidentificazione del problema Attese di un soggetto responsabile del processo decisionale Sue percezioni relative al livello di realizzazione di queste nella realtà GAP Problema Dimensione del problema Nella fase di identificazione del problema, molto spesso il decisore non utilizza strumenti tecnici idonei a misurare la realtà, e si limita a valutazioni di carattere personale o di convenienza politica Contributo della ricerca statistica Indicare più obiettivamente le aree su cui intervenire Porre obiettivi concreti al decisore Suggerire interventi meno dipendenti dalla sensibilità del decisore e dagli aspetti soggettivi e più rispondenti alle necessità oggettive Fornire un supporto allimparzialità dellattività successivamente svolta (es. Pubblica Amministrazione) 3/14

9 La decisione come processo: la formulazione delle soluzioni Due attività principali: Raccolta di informazioni Preparazione di proposte di soluzioni Nella letteratura politologica: Analisi (ricerca di alternative mediante elaborazione dal semplice al complesso, per individuare le implicazioni possibili, gli effetti di un intervento piuttosto di unaltro e le eventuali conseguenze dovute allinazione) Selezione (riduzione delle diverse opzioni proponibili a poche scelte, operata sulla base di valutazioni di merito o di opportunità, di fattibilità, di cogenza normativa, ecc…) 4/14

10 Nel modello semplificato: Attività di ricerca preparatoria alla decisione (raccolta di informazioni e proposta di soluzioni) dimensioni e peculiarità del problema disponibilità di risorse ristrettezza dei vincoli La decisione come processo: la formulazione delle soluzioni conoscenze tecnico-scientifiche disponibili caratteristiche ambientali stile decisionale del decisore (modus procedendi caratterizzato da sistematicità e da consapevolezza) Minima (previsione di ununica soluzione) Ampia (previsione di più soluzioni) 5/14

11 La decisione come processo: ladozione di una decisione In tale fase:vengono prese in esame le soluzioni possibili, precedentemente elaborate; vengono messe a confronto tali soluzioni, con lo scopo di identificare la più soddisfacente; viene infine operata la scelta. Sistema di valori e di priorità del decisore (efficienza economica, efficacia sociale, convenienza politica, in termini di risultati, in termini di impatto, ecc…) In un processo decisionale: Scelta e adozione di una decisione Ricerca e utilizzo di informazioni nelle fasi precedenti (con lausilio di tecniche statistiche) Sostenuto da: 6/14

12 La decisione come processo: le informazioni e il processo decisionale - La fiducia nella metodologia statistica e negli strumenti informativi - Il sistema dei valori e delle attese - Lo stile decisionale - La natura - La complessità - Le risorse disponibili - I vincoli esistenti UTILIZZO DI DATI STATISTICI NEL PROCESSO DECISIONALE VARIABILI DIPENDENTI DAL DECISORE : VARIABILI DIPENDENTI DAL PROBLEMA: VARIABILI DIPENDENTI DALLAMBIENTE : Schema delle variabili che influenzano lutilizzo di dati statistici 7/14

13 La decisione come processo: le informazioni e il processo decisionale - La fiducia nella metodologia statistica e negli strumenti informativi - Il sistema dei valori e delle attese - Lo stile decisionale VARIABILI DIPENDENTI DAL DECISORE : Sovrintende lintero processo decisionale: attraverso le attese, influisce sulla fase di identificazione del problema; determina i contenuti informativi rilevanti; orienta la scelta del sottoinsieme di soluzioni possibili; su quali possibili conseguenze delle soluzioni proposte focalizzare lattenzione e quali elementi trascurare; indirizza la valutazione delle alternative e decreta la più soddisfacente; stabilisce quali siano gli aspetti della realtà da considerare in vista di nuove decisioni. 8/14

14 La decisione come processo: le informazioni e il processo decisionale - La fiducia nella metodologia statistica e negli strumenti informativi - Il sistema dei valori e delle attese - Lo stile decisionale VARIABILI DIPENDENTI DAL DECISORE : Riconoscimento difficile dei criteri e delle logiche sottostanti: componenti di natura soggettiva; presenza di aree grigie nel processo decisionale, con scelta di non confrontarsi apertamente per evitare possibili scontri; utilizzo di criteri non legittimi e utilizzo di informazioni con intento strumentale; resistenza ad esporsi con valori ed attese troppo rigorosi per il timore di valutazione critica e di controllo interno ed esterno sul proprio operato; Es. Instabilità dei sistemi di valori e attese propri della Pubblica Amministrazione, per complessità dei meccanismi che sovrintendono al reale con cui confrontarsi, e per continue modifiche degli equilibri necessari allassunzione di una decisione, alla cui formazione concorrono numerose parti. 9/14

15 La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione Due estremi di connubio tra metodi statistici e processi decisionali: Misconoscimento della validità della funzione informativa della statistica Prevalere dellapproccio burocratico nella formazione della decisione, caratterizzata da: rigidità delle forme e delle procedure; pretta applicazione delle norme; inalterabilità delle routine; limitatezza degli strumenti informativi; attribuzione della funzione di formazione e analisi dei dati a personale amministrativo non qualificato. Produzione di decisioni come atti amministrativi formali, meri esecuzioni della legge 10/14

16 Riconoscimento del contributo della statistica al soddisfacimento del fabbisogno informativo e della sua rilevanza nellattività decisionale La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione Attività pubblica maggiormente svincolata dai formalismi e più marcatamente caratterizzata da un approccio tecnico verifica sistematica della rilevanza dei contenuti conoscitivi in vista della decisione; attenzione alla qualità e alle potenzialità dellapparato informativo; Produzione di decisioni come atti di pianificazione dellattività amministrativa 11/14

17 La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione Mansioni concettuali e esecutive di preparazione dellinformazione opportuna alla decisione Abilità nel discriminare tra strumenti StatisticiDecisori Operare le decisioni mediante lesercizio dellattività di scelta tra soluzioni possibili Abilità nel discriminare tra politiche Ricerca del compromesso tra la diversa natura di valori e di attese, di abilità e di sensibilità, in modo che si realizzi una proficua collaborazione e che i risultati finali rappresentino un equilibrio tra i rispettivi modi di operare 12/14

18 La decisione come processo: Le cause della resistenza del soggetto Pubblica Amministrazione allutilizzo dellinformazione statistica Difficoltà per linformazione statistica ad entrare nei processi decisionali della Pubblica Amministrazione per cause: tecniche politiche ambientali frazionamento su più livelli dellattività pubblica e della responsabilità del pubblico servizio che ostacola la costruzione di sistemi informativi omogenei; formalismo giuridico, ovvero attitudine del soggetto pubblico a incentrare la propria azione sul dettato letterale della norma; il principio di legalità ha assoluta priorità su qualunque altro criterio ispiratore (buon andamento, efficacia, efficienza, economicità, ecc..); carenza di stuff dedicato allattività di raccolta, produzione e gestione delle informazioni, interno allAmministrazione o esterno, ma ad essa legato da un vincolo di collaborazione stabile e duraturo. 13/14

19 La decisione come processo: La cultura statistica Quale diffusione della cultura statistica? Quale diffusione della valutazione? Uso controverso del termine e scarsa applicazione corretta anche nella Pubblica Amministrazione per generale carenza di cultura quantitativa Applicazione solo parziale di interventi del legislatore a sostegno dei sistemi informativi nella Pubblica Amministrazione Ambiente non ancora propenso al riconoscimento del contributo degli strumenti conoscitivi nel processo decisionale Per i tecnici che si occupano di valutazione, o comunque di produzione di dati e statistiche di sostegno alla pubblica azione, saper: attuare una politica attiva, da realizzare attraverso un inserimento più fattivo ed articolato, con valenze operative sempre più accentuate muoversi con disinvoltura in condizioni non ideali di applicazione del metodo mostrare un atteggiamento disposto al dialogo e un approccio elastico 14/14

20 LA VALUTAZIONE: Introduzione Momento qualificante delle attività di Programmazione di azioni e interventi che intende raggiungere delle finalità o obiettivi (benessere sociale od economico di una popolazione o comunità), attraverso interventi specifici, mirati, i quali vengono perseguiti e condotti sempre con risorse limitate (umane, economiche, culturali, professionali) Funzione della Valutazione La Valutazione (V) è un momento importante che deve caratterizzare ogni passo della programmazione, per questo più che parlare della V ad es. dei servizi, ha senso parlare di V come una condizione che caratterizza ogni passo del processo programmatorio. Processo di natura tecnico-organizzativa mirato a garantire livelli di qualità sempre più elevati nei risultati finali di un sistema produttivo attraverso cambiamenti continui e progressivi in variabili di struttura e di processo che caratterizzano la specifica produzione. ValutazioneSviluppo della Qualità (Quality Improvement) 1/7

21 LA VALUTAZIONE: Introduzione Primi percezioni della necessità di V sin dagli anni '30 negli USA. L'espressione del "bisogno" non è più percepita come sufficiente perché un intervento (qualunque) sia ritenuto giusto, opportuno, utile. Da cui la necessità di individuare i motivi, le ragioni dellintervento e misurare i risultati ottenuti a preventivo e a consuntivo. La nascita della cultura della V viene collocata negli anni 60, nello scenario dei programmi sociali delle amministrazioni democratiche americane. Si pone sempre più forte la necessità di dimostrare la produttività, lefficienza, i benefici (sia economici che sociali) delle politiche economiche e sociali nelle quali viene speso il denaro dei cittadini-contribuenti. Solo dagli anni '90 con in concetto di "qualità" si comincia a parlare di V, ma ancora in modo limitato e non sistematico. 2/7

22 LA VALUTAZIONE: Introduzione Nel 1981, lOrganizzazione Mondiale della Sanità si esprime così sulla Valutazione: Un modo sistematico di imparare dallesperienza e di utilizzare quanto appreso per migliorare le attività correnti e promuovere lo sviluppo della programmazione attraverso unaccurata selezione di alternative per lazione futura. approccio empirico, ragionato, mirato, di osservare il servizio e le attività connesse accento sul fabbisogno di informazioni, sulla raccolta sistematica di dati e sulla loro trasformazione in informazioni 3/7

23 LA VALUTAZIONE: Introduzione Una successiva e importante definizione di V è fornita da Patton: "La pratica della Valutazione riguarda la raccolta sistematica di informazioni circa le attività, le caratteristiche e i risultati di programmi, personale e strutture destinata a persone interessate a giudicare come specifici aspetti di quei programmi, di quel personale, di quelle strutture abbiano operato e abbiano influito sul sistema. raccolta sistematica e organizzata di informazioni relativamente ad un insieme vasto e complesso di elementi del Sistema ruolo centrale alla Statistica come metodo e insieme di tecniche atte alla produzione di informazioni da dati empirici qualitativi e quantitativi vincolo di assegnare a tali informazioni il compito di esprimere giudizi da parte di specifici soggetti il termine V in generale destinato a : a) programmi, b) personale, c) politiche, d) strutture; e) altri processi valutativi 4/7

24 LA VALUTAZIONE: Introduzione Il Congresso dellAssociazione Italiana di Valutazione del 1997 precisava: "La Valutazione risulta senzaltro di grande aiuto quando si vuole individuare il modo migliore per perseguire gli obiettivi, soprattutto in una situazione come quella italiana, caratterizzata dallattenzione alle procedure piuttosto che al perseguimento dei risultati, oltre che da un certo fatalismo sulle difficoltà di riforma delle istituzioni pubbliche. Valutare significa confrontare i risultati ottenuti da politiche e interventi pubblici con gli obiettivi individuati e con i problemi che essi intendevano affrontare: la Valutazione è, quindi, uno strumento chiave per valorizzare le scelte. La V è un processo attraverso il quale si intende esprimere un giudizio in merito ad una decisione da prendere o ad una politica che si è realizzata (Bertin, l995). 5/7

25 LA VALUTAZIONE: Introduzione La valutazione deve essere svolta da esperti o quanto meno da persone competenti. È specialistica e interdisciplinare (Stame, 1997). Alcune discipline hanno sviluppato al loro interno saperi e competenze valutative, dando così origine a degli esperti di valutazione Ogni ricerca valutativa oltre ad attingere a uno o più dei saperi fondanti, dovrà entrare in contatto con le discipline che si occupano delle attività o delle questioni da valutare Sono necessarie competenze tecniche proprio dellambito metodologico, quantitativo e quindi anche della Statistica Bisogna entrare nellambito sostantivo, conoscere la sostanza del problema La V è il risultato di un gruppo di lavoro, di una équipe di esperti che interagiscono nelle singole componenti, sul problema sostantivo. Non un lavoro di élite di esperti che forniscono il loro contributo anche altamente specialistico ma distinto dagli altri, in termini anche astratti e non collegati al contesto sostantivo 6/7

26 LA VALUTAZIONE: Introduzione È essenziale concepire la V come uno strumento orientato alla assunzione di decisioni, e di collegare strettamente il processo valutativo con quello decisionale, sia a livello operativo che politico e di governo. Il processo attraverso cui si effettua una V deve essere considerato altrettanto importante delle conclusioni a cui si perviene, dato che il coinvolgimento nello stesso processo spesso induce a migliorare la comprensione delle attività oggetto di valutazione e un più costruttivo approccio alla loro gestione e allazione futura. 7/7

27 LA VALUTAZIONE: I bisogni della V I bisogni di valutazione sono molteplici e possono essere classificati in tre grandi categorie: necessità di alimentare la conoscenza utile per gestire un particolare segmento di piano già reso esecutivo dagli organi di governo: a questo aspetto della valutazione è interessata la struttura operativa dei servizi, in quanto responsabile delluso corrente delle risorse ai fini del perseguimento degli obiettivi di piano e titolare della decisioni necessarie a far funzionare il sistema adattandolo in via continuativa alle circostanze concrete bisogni valutativi collegati con il governo di un segmento temporale di piano: si tratta di effettuare verifiche periodiche sullo stato di attuazione del piano e sulla sua idoneità a perseguire gli obiettivi previsti, verifiche finalizzate a rendere disponibili conoscenze utili per laggiornamento periodico del piano bisogni valutativi collegati con il governo del processo programmatorio visto nella sua continuità storica di medio periodo 1/1

28 LA VALUTAZIONE: Il quando della V La V può intervenire su diversi livelli e in diversi momenti del progetto, dellazione o della politica considerata: valutazione ex-ante: interviene prima dellesecuzione del progetto, al livello delliniziale definizione di obiettivi e strategie. Si analizzano le possibili alternative di un progetto, individuando la/le soluzione/i migliore/i per attuarlo e prevedendo i possibili esiti. Aiuta il decisore a ridurre lincertezza nelle scelte. È finalizzata per decidere e per selezionare. 1/3

29 LA VALUTAZIONE: Il quando della V valutazione in itinere: si applica nel corso della realizzazione del progetto con lobiettivo di evidenziarne gli effetti, di valutarne limpatto e di rilevare le insorgenze di conseguenze non previste. Consente di verificare se la realizzazione del progetto si sta dirigendo verso gli obiettivi prefissati. È ancora poco presente nei servizi pubblici italiani. Il monitoraggio, che consiste in una attività di rilevazione sistematica e continuativa per verificare lo stato di avanzamento dei progetti, è lo strumento che permette di effettuare la valutazione in itinere. 2/3

30 LA VALUTAZIONE: Il quando della V valutazione ex-post: interviene quando il progetto è completo e concluso, per cercare di tener conto degli effetti realmente prodotti dal progetto e per verificare se gli obiettivi iniziali siano stati raggiunti. Essa riveste un interesse fondamentale, perché consente di trarre degli insegnamenti per eventuali progetti futuri e al contempo permette di correggere, qualora sia possibile, parti del progetto originario. Questo tipo di valutazione viene utilizzata solo in pochissimi casi e principalmente, quando è imposta dalla legge. 3/3

31 LA VALUTAZIONE: Glossario dei principali termini utilizzati negli ambiti della valutazione e gestione basata sui risultati (documento Ocse/Dac – 2002) Il Gruppo di lavoro sulla valutazione del Comitato aiuto allo sviluppo (Dac) è un forum internazionale, nel quale gli esperti di valutazione in servizio presso agenzie di sviluppo bilaterali o multilaterali si riuniscono periodicamente per condividere le proprie esperienze, con lobiettivo di migliorare la pratica della valutazione e rafforzarne limpiego come strumento per le politiche di cooperazione GLOSSARIO ( Valutazione: Lapprezzamento sistematico e oggettivo su formulazione, realizzazione ed esiti di un progetto, programma o politica di sviluppo che si effettua in corso dopera o dopo il completamento delle attività previste. Essa si propone di esprimere un giudizio sulla rilevanza e il raggiungimento degli obiettivi, su efficienza, efficacia, impatto e sostenibilità. Una valutazione dovrebbe fornire informazioni credibili e utili e consentire ai beneficiari e ai donatori lintegrazione degli insegnamenti appresi nei loro processi decisionali. Per valutazione si intende anche il processo di determinazione del valore e dellimportanza dei possibili effetti indotti da unattività, politica o programma. Trattasi della formulazione di un giudizio, nel modo più sistematico e oggettivo possibile, su un intervento di sviluppo pianificato, in fase di realizzazione o già completato. Nota: in alcuni casi, la valutazione comporta la definizione di standard appropriati, un esame delle prestazioni rese in rapporto a detti standard, un giudizio sui risultati ottenuti rispetto a quelli originariamente attesi e lidentificazione degli insegnamenti più rilevanti scaturiti dallesperienza. Termine correlato: riesame.

32 GLOSSARIO (www..org/dac/evaluation).www..org/dac/evaluation Valutazione a grappoli: Valutazione di un insieme di attività, progetti e/o programmi tra loro correlati. Valutazione congiunta: Valutazione alla quale partecipano diversi organismi donatori e/o partner. Nota: esistono vari gradi di associazione a seconda della misura in cui i singoli partner cooperano nel processo di valutazione, mettono in comune le loro risorse e concorrono allelaborazione dei documenti di valutazione. Le valutazioni congiunte possono contribuire al superamento dei problemi di attribuzione nello stabilire lefficacia dei programmi e delle strategie, la complementarità degli sforzi sostenuti dai diversi partner, la qualità del coordinamento, ecc. Valutazione di processo: Valutazione delle dinamiche interne degli enti esecutori, degli strumenti a loro disposizione per le politiche di sviluppo, dei loro meccanismi di funzionamento, delle loro modalità di gestione e dei collegamenti esistenti tra questi elementi. Termine correlato: valutazione formativa. Valutazione di progetto: Valutazione di un singolo intervento di sviluppo ideato per raggiungere determinati obiettivi, con risorse e tempi di realizzazione definiti, spesso nel contesto di un programma più vasto. Nota: lanalisi costi-benefici costituisce uno dei principali strumenti di valutazione per i progetti che presentano benefici quantificabili. Quando i benefici non possono essere quantificati, il metodo di indagine appropriato è lanalisi costo-efficacia. Valutazione di programma: Valutazione di un insieme di interventi combinati e destinati al raggiungimento di specifici obiettivi di sviluppo a livello globale, di area, di paese, o al raggiungimento di obiettivi di sviluppo settoriale. Nota: un programma di sviluppo è un intervento temporalmente vincolato, comprendente molteplici attività che possono interessare in modo trasversale diversi settori, temi e/o aree geografiche. Termine correlato: valutazione di programma-paese.

33 GLOSSARIO (www..org/dac/evaluation).www..org/dac/evaluation Valutazione di programma-paese: Valutazione del portafoglio degli interventi di sviluppo di uno o più donatori o agenzie, e della relativa strategia di assistenza, in un paese partner. Valutazione di programma settoriale: Valutazione di un insieme di interventi di sviluppo settoriali, in uno o più paesi, che contribuiscono al conseguimento di un obiettivo di sviluppo specifico. Nota: un settore include le attività di sviluppo comunemente raggruppate secondo le competenze della pubblica amministrazione come la salute, leducazione, lagricoltura, i trasporti, ecc. Valutazione esterna: Valutazione di un intervento di sviluppo condotta da enti e/o individui al di fuori degli organismi finanziatori o esecutori. Valutazione ex ante: Valutazione di un intervento di sviluppo eseguita prima della sua realizzazione. Termine correlato: valutazione preliminare, controllo preliminare di qualità. Valutazione ex post: Valutazione di un intervento di sviluppo eseguita dopo il suo completamento. Nota: essa può essere effettuata subito dopo o molto tempo dopo la conclusione dellintervento con lintento di identificare i fattori di successo o insuccesso, di valutare la sostenibilità dei risultati e limpatto, e di trarre conclusioni che possano influenzare altri interventi. Valutazione formativa: Valutazione volta a migliorare le prestazioni rese che viene generalmente effettuata durante la fase di realizzazione di progetti o programmi. Nota: le valutazioni formative possono essere effettuate per altre ragioni quali la verifica di conformità, esigenze di tipo legale o come componenti di valutazioni più ampie.

34 GLOSSARIO (www..org/dac/evaluation).www..org/dac/evaluation Valutazione indipendente: Valutazione realizzata da enti o persone non soggetti a controllo da parte dei responsabili della formulazione e della realizzazione di un intervento di sviluppo. Nota: la credibilità di una valutazione dipende in parte dal grado di indipendenza con la quale è stata effettuata. Lindipendenza implica la libertà da influenze politiche e da pressioni degli enti interessati e si caratterizza per un libero accesso alle informazioni e per unautonomia totale nellinvestigazione e nella presentazione dei risultati. Valutazione intermedia: Valutazione condotta circa alla metà della fase di realizzazione dellintervento. Termine correlato: valutazione formativa. Valutazione interna: Valutazione di un intervento di sviluppo eseguita da ununità e/o da persone che dipendono dallente finanziatore, dal partner locale o dallente esecutore. Termine correlato: autovalutazione. Valutazione partecipativa: Metodo di valutazione nel quale i rappresentanti di agenzie e di altre parti interessate (inclusi i beneficiari) collaborano alla definizione, realizzazione e interpretazione dei risultati di una valutazione. Valutazione preliminare: Un giudizio complessivo sulla rilevanza, fattibilità e impatto potenziale di un intervento di sviluppo effettuato prima della decisione in merito al finanziamento dellintervento stesso. Nota: presso le banche e le agenzie di sviluppo, la valutazione preliminare abilita gli organi deliberanti a decidere se la proposta di finanziamento allesame costituisce un investimento appropriato per le loro risorse. Termine correlato: valutazione ex ante. Valutazione riepilogativa: Studio condotto alla fine di un intervento (o di una sua fase) per determinare in che misura sono stati raggiunti i risultati attesi. La valutazione riepilogativa è volta a fornire informazioni sul valore di un programma. Termine correlato: valutazione di impatto. Valutazione tematica: Valutazione di un gruppo selezionato di interventi, tutti indirizzati verso una specifica priorità di sviluppo, che interessa trasversalmente più paesi, aree e settori.

35 LA VALUTAZIONE: DAC Evaluation Quality Standards Il seguente contributo offre uno schema di riferimento delle fasi e componenti il processo di Valutazione così come proposto da un gruppo di studio DAC in collaborazione con lOECD (www.oecd.org/dac/evaluationnetwork). Standard di Qualità per la valutazione stabiliti dal DAC (Comitato di Aiuto allo Sviluppo / Development Assistance Committee) (per lapplicazione di una fase sperimentale) Introduzione Gli standard di qualità della valutazione stabiliti dal DAC identificano i punti chiave necessari (identify the key pillars needed) per il processo e per la realizzazione (product) di una valutazione di qualità. Sono stati preparati dai membri del DAC allo scopo di definire le aspettative dei paesi membri relativamente ai processi e alle realizzazioni (product) di valutazione. Gli standard non sono vincolanti per i paesi membri ma sono una guida per una good practice con lobiettivo di migliorare la qualità delle valutazioni di intervento allo sviluppo. Intendono contribuire ad un approccio armonizzato alla valutazione in linea con i principi della Dichiarazione di Parigi sullEfficacia dellaiuto1

36 Gli standard hanno lo scopo di: a) fornire gli standard per il processo (conduct) e per le realizzazioni/prodotti (outputs) delle valutazioni; b) facilitare il confronto delle valutazioni attraverso i paesi (metavalutazione); c) facilitare le associazioni e la collaborazione sulla valutazione congiunta (joint-evaluation); d) permettere ai paesi membri di utilizzare reciprocamente i risultati e i rapporti sulle valutazioni (compreso good practice e insegnamenti appresi dalla valutazione); e e)semplificare gli sforzi di valutazione. Gli Standard supportano le valutazioni che aderiscono ai principi di valutazione che troviamo nei Principles for the Evaluation of Development Assistance (Principi per la Valutazione di assistenza allo Sviluppo), includendo imparzialità e indipendenza, credibilità e utilità2, gli standard dovrebbero essere letti in accordo con quei principi. I Principi si concentrano sulla gestione e sulla organizzazione istituzionale dei sistemi di valutazione allinterno delle agenzie di sviluppo e rimangono il riferimento (benchmark) rispetto al quale sono valutati i membri OECD attraverso il meccanismo delle DAC Peer Reviews3. Al contrario gli Standard forniscono indicazioni sul processo (conduct) delle valutazioni e sulle relative rendicontazioni. Sebbene gli standard non siano vincolanti per ogni valutazione, dovrebbero comunque essere applicati il più largamente possibile e laddove non fosse possibile, dovrebbe essere fornita una breve spiegazione. Il termine intervento di sviluppo (development intervention) è usato negli standard come un termine generale, per riferirsi alloggetto della valutazione e può riferirsi ad una attività, ad un progetto, ad un programma, ad una strategia, ad una politica, ad un tema, ad un settore, ad una zona operativa, alle prestazioni istituzionali, etc. Gli standard riconoscono che la realizzazione di una valutazione può avvenire in una varietà di forme, incluse le relazioni orali o scritte, esposizioni e gruppi di lavoro. Il termine rapporto/relazione di valutazione (evaluation report) è usato per tutte le forme che può assumere la realizzazione di una valutazione.

37 1.Spiegazione razionale, scopo e obiettivi di una valutazione. 1.1 Spiegazione razionale della valutazione. Descrive perchè e per chi la valutazione è intrapresa e perchè viene intrapresa in un particolare momento temporale. 1.2 Lo scopo della valutazione. Lo scopo della valutazione è in linea con la funzione di apprendimento e rendicontabilità della valutazione. Per esempio lo scopo della valutazione potrebbe essere di: - Contribuire a migliorare una politica, procedura o tecnica di assistenza, - Considerare la continuazione o linterruzione di un progetto; -Rendere conto, alle persone interessate (stakeholder) e ai contribuenti, delle spese per lassistenza. DAC Evaluation Quality Standards 1.3 Gli obiettivi di una valutazione. Gli obiettivi della valutazione specificano cosa la valutazione mira a realizzare. Per esempio: - accertare risultati (prodotti (output), effetti a medio termine (outcome), impatto (impact)) e valutare l'efficacia, l'efficienza e l'attinenza di un intervento specifico di sviluppo; - fornire risultati (findings), conclusioni e raccomandazioni riguardo ad uno specifico programma o ad una specifica politica.

38 DAC Evaluation Quality Standards 2. Portata della valutazione. 2.1 Portata della valutazione. La portata della valutazione è chiaramente definita specificando i temi (issues) trattati, i fondi realmente spesi, il periodo di tempo, i tipi di intervento, la copertura geografica, i gruppi target, così come altri elementi di intervento allo sviluppo interessati alla valutazione. 2.2 Logica e risultati di intervento. Il rapporto di valutazione descrive e valuta brevemente la logica di intervento e distingue i risultati a livelli differenti: input, attività, effetti a medio termine (outcome) e impatti. Il rapporto fornisce inoltre una breve valutazione globale della logica di intervento. 2.3 Criteri di valutazione. Il rapporto di valutazione applica i cinque criteri stabiliti dal DAC per la valutazione dellassistenza allo sviluppo: pertinenza, efficienza, efficacia, impatto e sostenibilità. I criteri applicati per la valutazione data, sono definiti in termini non ambigui, qualora non venga applicato un particolare criterio, questo deve essere spiegato nella relazione di valutazione, così come nel caso in cui siano applicati criteri aggiuntivi. 2.4 Quesiti relativi alla valutazione. I quesiti sollevati, così come ogni revisione ai quesiti originali sono documentati nel rapporto affinché i lettori siano in grado di accertare se la squadra di valutazione li ha sufficientemente valutati.

39 DAC Evaluation Quality Standards 3. Contesto. 3.1 Il contesto relativo allo sviluppo e alla politica. Il rapporto di valutazione fornisce una descrizione del contesto politico relativo allintervento di sviluppo, alla documentazione della politica dellagenzia di sviluppo e dei partner, agli obiettivi ed alle strategie. Il contesto di sviluppo può riferirsi alleconomia nazionale e regionale e ai livelli di sviluppo. Il contesto politico può riferirsi alle strategie di riduzione della povertà, alla parità dei sessi, alla protezione dellambiente e ai diritti umani. 3.2 Il contesto istituzionale. Il rapporto di valutazione fornisce una descrizione dellambiente istituzionale e delle persone interessate (stakeholder) relativamente allintervento di sviluppo, in modo che la loro influenza possa essere identificata e valutata. 3.3 Il contesto socio-politico. Il rapporto di valutazione descrive il contesto socio-politico entro cui lintervento avviene e la relativa influenza sui risultati e sulleffetto a medio termine (outcome) e sullimpatto dellintervento di sviluppo. 3.4 Misure per limplementazione /esecuzione. Il rapporto di valutazione descrive le misure organizzative stabilite per limplementazione/esecuzione dellintervento di sviluppo, incluso i ruoli dei donatori e dei partner.

40 DAC Evaluation Quality Standards 4. Metodologia di valutazione. 4.1 Spiegazione della metodologia usata. Il rapporto di valutazione descrive e spiega il metodo e il processo di valutazione e ne discute la validità e lattendibilità. Riconosce tutti i vincoli incontrati e il loro impatto sulla valutazione compreso limpatto sulla indipendenza della valutazione. Descrive in modo dettagliato i metodi e le tecniche usate per la raccolta e la elaborazione dei dati e delle informazioni. Vengono giustificate le scelte e vengono spiegati limiti e imperfezioni. 4.2 Valutazione dei risultati. I metodi per la valutazione dei risultati sono specificati. I fattori di attribuzione e i fattori di successo o di disturbo/insuccesso dovrebbero essere identificati (addressed). Se gli indicatori vengono usati come base per la valutazione dei risultati, questo dovrebbe avvenire seguendo i criteri detti SMART (specifico, misurabile, raggiungibile, rilevante e vincolato a un termine).

41 DAC Evaluation Quality Standards 4.3 Parti interessate (stakeholder) consultate. Le parti interessate vengono coinvolte nel processo di valutazione per lidentificazione delle problematiche e forniscono input per la valutazione. Vengono consultati sia i donatori che i partner. Il rapporto di valutazione indica le parti interessate (stakeholders) consultate, i criteri per la loro selezione e descrive la partecipazione delle parti interessate. Viene inoltre indicato se non tutte le parti interessate sono state consultate, e vengono inoltre descritti i metodi e le motivazioni per la selezione di particolari parti interessate (stakeholders) 4.4 Campionamento Il rapporto di valutazione spiega la selezione di ogni campione. Devono essere identificati i limiti riguardanti la rappresentatività dei campioni di valutazione. 4.5 Squadra di valutazione. La composizione delle squadre di valutazione dovrebbe possedere un misto di abilità valutative e di conoscenza tematica, dovrebbe essere equilibrata nel genere, e includere professionisti provenienti dai paesi o regioni interessate..

42 DAC Evaluation Quality Standards 5. Fonti di informazione. 5.1 Trasparenza delle fonti di informazioni. Il rapporto di valutazione descrive le fonti di informazioni utilizzate (documentazione, dichiaranti, letteratura etc. ) sufficientemente dettagliate di modo che possa essere accertata ladeguatezza delle informazioni. Vengono incluse le liste complete degli intervistati e i documenti consultati, fino al punto in cui ciò non entri in conflitto con la segretezza e la riservatezza dei partecipanti. 5.2 Affidabilità ed esattezza delle fonti di informazione. La valutazione crossvalidates e valuta criticamente le fonti di informazioni usate e la validità dei dati usando una varietà di metodi e fonti di informazioni.

43 6. Indipendenza. 6.1 Indipendenza dei valutatori nei confronti delle parti interessate (stakeholders). Il rapporto di valutazione indica il grado di indipendenza dei valutatori dalla funzione politica, dalla funzione operativa e di gestione dellagente commissionante, dagli esecutori, e dai beneficiari. Eventuali conflitti di interessi devono essere apertamente e onestamente evidenziati. 6.2 Processo di valutazione aperto e libero. La squadra di valutazione deve essere in grado di lavorare liberamente e senza interferenze. Deve esserle assicurata collaborazione e accesso a tutte le informazioni. Il rapporto di valutazione indica tutti gli impedimenti che potrebbero avere avuto effetto sul processo di valutazione.

44 7. Etica di valutazione. 7.1 Valutazione condotta in modo professionale e etico. Il processo di valutazione mostra sensibilità al genere, alle credenze, agli usi e ai costumi di tutte le parti interessate e viene svolto con integrità e onestà. Devono essere protetti i diritti e il welfare di coloro che partecipano alla valutazione. Lanonimato e la riservatezza degli informatori individuali dovrebbero essere protetti se richiesti e/o secondo quanto previsto dalla legge. 7.2 Riconoscimento dei disaccordi nella squadra di valutazione. I membri della squadra di valutazione dovrebbero avere lopportunità di dissociarsi da particolari giudizi e raccomandazioni. Qualunque divergenza di opinioni irrisolte allinterno della squadra dovrebbe essere inserita nel rapporto.

45 8. Garanzia della qualità. 8.1 Inserimento delle osservazioni delle parti interessate (stakeholder). Alle parti interessate viene data lopportunità di esprimere commenti sui risultati, sulle conclusioni, sulle raccomandazioni e sugli insegnamenti appresi dalla valutazione. Il rapporto di valutazione riflette queste osservazioni e riconosce tutti i disaccordi sostanziali. Nelle dispute sui fatti che possono essersi verificati, i valutatori dovrebbero indagare e cambiare la stesura preliminare del rapporto se necessario. Nel caso di opinione o interpretazione, le osservazioni delle parti interessate dovrebbero essere riprodotte alla lettera, in un allegato per esempio fino al punto in cui queste non entrino in conflitto con i diritti e il welfare dei partecipanti. 8.2 Controllo di qualità. Il controllo di qualità è esercitato lungo tutto il processo di valutazione. Dipende dalla portata e dalla complessità della valutazione, il controllo di qualità è eseguito sia internamente che attraverso unautorità esterna, peer review, o un gruppo di riferimento. I controlli di qualità aderiscono al principio di indipendenza dei valutatori.

46 9. Rilevanza dei risultati di valutazione. 9.1 Formulazione dei risultati della valutazione. I risultati della valutazione sono relativi alloggetto e allo scopo della valutazione. I risultati dovrebbero chiaramente scaturire dai quesiti posti dalla valutazione e dallanalisi dei dati, mostrando una linea netta di prova a sostegno delle conclusioni (??). Qualsiasi discrepanza tra implementazione attesa e reale delloggetto di valutazione deve essere spiegata. 9.2 Valutazioni effettuate entro il termine e il budget assegnati. La realizzazione della valutazione e la messa a disposizione dei risultati sono correlate in termini di tempo allo scopo della valutazione. Eventuali cambiamenti nella programmazione o nel budget devono essere spiegati nel rapporto. Deve essere spiegata qualsiasi discrepanza tra implementazione e prodotto della valutazione attesi e reali. 9.3 Raccomandazioni e insegnamenti appresi dalla valutazione. Raccomandazioni e insegnamenti appressi dalla valutazione sono destinati agli utenti futuri e sono perseguibili entro le responsabilità degli utenti. Le raccomandazioni sono proposte perseguibili e gli insegnamenti appresi (dalla valutazione) sono generalizzazioni di conclusioni applicabili in un uso più ampio. 9.4 Utilizzo della valutazione. La valutazione richiede un riconoscimento e una risposta espliciti dallamministrazione per quanto riguarda laggiornamento futuro dei risultati della valutazione. Lamministrazione assicurerà la diffusione, il deposito e la gestione sistematica dei prodotti della valutazione per assicurare un facile accesso e per massimizzare i benefici dei risultati della valutazione.

47 10. Completezza Le conclusioni rispondono alle domande di valutazione. Il rapporto di valutazione risponde a tutte le domande e ai bisogni di informazione elencati nellambito di valutazione. Dove non è possibile, devono essere fornite motivazioni e spiegazioni Chiarezza dellanalisi. Lanalisi è strutturata con un flusso logico. Le informazioni e i dati sono presentati e interpretati in modo sistematico. I risultati e le conclusioni sono chiaramente identificati e scaturiscono logicamente dallanalisi dei dati e delle informazioni. I presupposti di fondo sono resi espliciti e tenuti in considerazione Distinzione tra conclusioni, raccomandazioni e insegnamenti appresi I rapporti di valutazione devono distinguere chiaramente i risultati, dalle conclusioni e dalle raccomandazioni. La valutazione presenta conclusioni, raccomandazioni e insegnamenti appresi separatamente e con una distinzione del tutto logica tra esse. Le conclusioni sono convalidate dai risultati e dalle analisi. Raccomandazioni e insegnamenti appresi vengono logicamente dopo le conclusioni Chiarezza e rappresentatività del sommario. Il rapporto di valutazione contiene un sommario esecutivo. Il sommario fornisce una descrizione/visione dinsieme del rapporto, evidenziando le principali conclusioni, raccomandazioni e insegnamenti appresi.

48 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 1/12 1.Utilità dare risposta coerente a quesiti e problemi rilevanti e specifici offrire soluzioni spendibili rispetto alle esigenze della Valutazione portare benefici chiari allintero progetto e al sistema preventivare un investimento di risorse per svolgere la Valutazione al meglio 2.Fattibilità Considerare il livello di realizzo del progetto tenendo conto di: Possibili resistenze in particolare negli interventi di innovazione Realtà spesso contraddittorie e complesse (es. personale con varie funzioni) Inerzie che rendono difficile valutare limpatto del processo

49 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 2/12 3.Forte vincolo alla pertinenza e appropriatezza rispetto alle finalità corrispondenza piena fra attività di analisi e bisogno valutativo desiderato nel collegamento fra Sistema informativo e Sistema sostantivo, individuazione degli aspetti veramente affini con il problema in studio e realmente influenti sul risultato finale 4.Accuratezza metodologica Competenza accurata nella metodologia della ricerca e nelle tecniche di analisi statistica

50 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 3/12 Nella visione più ampia di valutazione la quale può riguardare aspetti sia della programmazione, della pianificazione che della gestione di progetti o interventi, gli obiettivi della valutazione possono così essere descritti (Bertin): determinazione del livello di raggiungimento degli obiettivi del programma: individuare diversi livelli di possibile raggiungimento degli obiettivi del programma e una volta individuato il livello, ipotizzare delle conseguenze nella fase successiva del programma accertamento degli aspetti forti e gli aspetti deboli degli elementi considerati nel prendere decisioni e nel costruire il programma: qui emerge la competenza del valutatore il quale entra nella sostanza del problema; in un processo, in un programma, ci sono degli anelli forti e degli anelli deboli di congiunzione, questo sempre perché ogni intervento è fatto con le risorse e queste sono limitate. Le situazioni più problematiche che si incontrano nei Sistemi complessi vengono risolte spesso in condizioni di incertezza, linformazione disponibile non sempre è sufficiente per chiarire i dubbi, questa consapevolezza contribuisce a procedere adeguatamente

51 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 4/12 determinazione del livello di generalizzabilità ed estensione di un programma ad altri gruppi di popolazione: obiettivo importantissimo in un intervento è quello di vedere se, in termini quasi sperimentali, si può estendere al resto della popolazione o prevedere le possibili conseguenze in altre tipologie di popolazione o anche in altri paesi produzione di nuove conoscenze sul programma, sui suoi effetti o sui problemi che si possono incontrare nella sua implementazione: è nellosservazione sistematica delle varie fasi del programma che si acquisiscono nuove conoscenze necessarie a conoscere meglio la realtà, a capire come il sistema reagisce e a mettere in luce degli aspetti fino ad allora sconosciuti

52 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 5/12 confronto di strategie o programmi alternativi rispetto allefficacia o ai costi/efficienza: per vedere qual è il miglior programma alternativo che a parità di condizioni, di fattori, realizza meglio gli obiettivi previsti identificazione delle ipotesi per studi ed approfondimenti futuri: in ogni attività di ricerca ci sono dei problemi aperti che possono identificare e stimolare altre ipotesi di studio. Occorre chiedersi, anche a seguito di un intervento, quali sono i problemi aperti che si prospettano, che possono coincidere con le ipotesi di partenza ma che possono anche divergere, comportando lemergere di problemi nuovi, di ipotesi di studio nuove.

53 È possibile capire cosa vogliamo valutare attraverso i livelli di applicazione, che possono essere distinti nelle seguenti categorie: GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 6/12 FRONT END ANALYSIS: questo tipo di valutazione precede lapplicazione del programma e fornisce una guida nellattuazione, nella costruzione ed implementazione del programma. Questo è molto importante perché serve a prevedere i potenziali problemi che si incontrano. Lanalisi verte sulla misurazione dellopportunità di implementare un programma operato in un preciso contesto spazio-temporale e sulla fattibilità dellintervento EVALUABILITY ASSESSMENT: ha una funzione più incentrata alla valutazione in senso tecnico, si tratta di capire quali sono i problemi tecnici, quali limiti si possono incontrare applicando diverse strategie

54 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 7/12 FORMATIVE EVALUATION: questo tipo di valutazione ha proprio il compito di valutare i progetti di informazione, le attività che vedono un coinvolgimento diretto di elementi che sono risorse umane. E tra i più complessi perché qui la centralità è la risorsa umana. Si possono avere informazioni per la gestione e lo sviluppo del programma in merito alle caratteristiche delle risorse umane. Fra le varie risorse, leconomica, quella delle strutture dei servizi, ecc., è quella umana la più difficile da gestire e quindi anche da valutare IMPACT OR SUMMATIVE EVALUATIONS: è una componente della valutazione che mira a quantificare, dimensionare gli sforzi che si stanno facendo per applicare il programma. Mette in evidenza laspetto dellimpegno devoluto per il programma, per linvestimento. Quando si attiva un programma nuovo, uniniziativa nuova, possono emergere le inerzie del sistema, a volte difficili da valutare a priori (es. operatori che dovranno lavorare con procedure nuove e sperimentali nei confronti dellutenza, possono reagire in maniera imprevista e corporativa)

55 Rispetto alla complessità dei livelli degli obiettivi cè una risposta sufficientemente soddisfacente e organica prodotta con lapproccio metodologico chiamato della Valutazione Differenziale, che poggia su pochi, semplici ma ordinati principi: GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 8/12 1.lopportunità di segmentare ogni progetto, programma, piano di intervento in fasi logicamente e temporalmente consequenziali, ciascuna delle quali va assoggettata ad una specifica valutazione interna. Una prima fase può essere rappresentata ad esempio dalla rilevanza del problema. Quando si decide di attivare un programma, un intervento, è per rispondere ad un problema emergente, rilevante; allora la prima fase è quella della evidenza della rilevanza di un problema. Unaltra fase può essere ad esempio la valutazione delle risorse disponibili, ecc. Il principio della valutazione differenziale serve proprio per questo: si valutano le varie fasi logiche e temporali internamente, per vedere i punti di errore e quali sono i punti critici in ogni aspetto

56 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 9/12 2.la necessità di selezionare alcune categorie cruciali di valutazione da applicare con atteggiamento specifico a ciascuna delle fasi precedentemente definite. Ad esempio si può considerare la categoria dellimpatto sulla popolazione in termini di aspettative, in termini di immagine, di investimento in strategie di attuazione di programmi diversi 3.laccortezza di adottare strumenti di osservazione e misura del divenire dei processi in ragione della fase e della categoria di analisi; nelle singole fasi occorre utilizzare strumenti di osservazione diversi 4.laffermazione del principio della retroazione: nei casi in cui la valutazione dimostri il mancato raggiungimento degli obiettivi intermedi ad essa specifici, si considerano i livelli di raggiungimento degli obiettivi precedenti. Nella logica del processo la sequenzialità temporale o di esecuzione logica temporale è tale per cui se un passaggio è saltato o è insoddisfacente la ragione è da ricercare anche nelle fasi precedenti. Lanalisi del diverso livello di raggiungimento, di soddisfazione, di realizzo dei vari passaggi permette di poter avanzare ipotesi sul perché del mancato raggiungimento dellobiettivo

57 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 10/12 Va ricordato che delle quattro ragioni fondative dellapproccio differenziale, mentre hanno ottenuto pieno riconoscimento e adeguata applicazione le prime tre, divenute condizione di sensibilità concorde tra gli operatori, la quarta non pare ancora penetrata nei modi di gestire le attività programmatiche, valendo piuttosto il costume (o la credenza) che, una volta decollati con un nuovo progetto, esso debba essere portato necessariamente a conclusione, qualsiasi siano state le condizioni esecutive incontrate durante il processo realizzativo: viene a cadere così lessenza stessa della logica differenziale, che presuppone abilità di aggiustamento e coraggio autoriflessivo, pena la caduta della qualità stessa dellattività avviata

58 Va anche ricordato che la valutazione differenziale mantiene un ragionevole rispetto per i caratteri dellaltro approccio assai diffuso in letteratura e nella pratica, fondato su forti paradigmi scientifici ma adatto a situazioni segnate da semplicità di contesto e facilità di applicazione (lapproccio cosiddetto della valutazione sperimentale): questultimo opera infatti nella intenzione di misurare leffetto netto di un unico trattamento fatto intervenire, sotto stretto controllo delle condizioni di disturbo, da parte del ricercatore. Anche il modello differenziale ha alla sua base la ratio della confrontabilità tra i gruppi, dellanalisi prima-dopo lazione compiuta, dellisolamento dei fattori, ma esso si scontra con la complessità della situazione, lampiezza anche temporale dei processi, la pluralità degli attori e delle funzioni GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 11/12

59 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 12/12 Flusso di programmazione e valutazione

60 Le dimensioni e le variabili della Valutazione 1/6 PertinenzaMisura il rapporto tra RISULTATI/OBIETTIVIeBISOGNI REALI DI SALUTE Efficacia"RISULTATIeOBIETTIVI PRODOTTI (iniziali) Efficienza"PRESTAZIONI PRODOTTE come è stato eseguito (es. n. di analisi compiute per ogni operatore, n. di telefonate a cui è stata data risposta, ecc.) eRISORSE IMPIEGATE Rendimento"RISULTATIeRISORSE AvanzamentoGrado di realizzazione di un progetto ImpattoEffetti sul sistema sociale complessivo Il sistema dei servizi è un sistema produttivo: a fronte di bisogni ad esempio di salute presenti nella comunità, il sistema dispone di risorse umane e materiali che, attraverso processi trasforma in prodotti (es. prestazioni di cura), ai quali corrispondono risultati in salute (es. guarigione da stati morbosi acuti)

61 La Joint Commission on Accreditation of Helthcare Organization che opera in USA, indica anche le seguenti dimensioni da misurare per una completa Valutazione del Servizio sanitario: Le dimensioni e le variabili della Valutazione 2/6 AccessibilitàFacilità per lutente di accedere alle prestazioni in caso di bisogno. Un servizio, in caso di bisogno, è accessibile o no? TempestivitàDisponibilità delle prestazioni in termini utili rispetto allo stato di bisogno Es.: se un soggetto chiede di fare una analisi medica, la tempestività incide in termini di salute, perché ci sono esami che non si possono rimandare. CorrettezzaCorrispondenza delle prestazioni ottenute agli standard in base allo stato dellarte. Ciò che viene fatto deve essere congruo, coerente, vicino allistanza. EfficaciaGrado di potenziale soddisfacimento del bisogno tramite la prestazioni ricevuta. PertinenzaCorrispondenza tra prestazione ottenuta e bisogno presentato dallutente. RendimentoOttenimento dei risultati attesi al minimo costo. ContinuitàCoordinamento e integrazione tra prestazioni necessarie al soggetto. Si può pensare al paziente che, appena uscito dallospedale, sia seguito da altre strutture grazie ad un coordinamento fra servizi.

62 Le dimensioni e le variabili della Valutazione 3/6 RiservatezzaGaranzia di non diffusione ad estranei di informazioni concernenti se stessi e il proprio stato di salute. PartecipazioneCoinvolgimento del paziente e dei familiari nelle decisioni relative alla prestazione. GaranziaLivello di sicurezza rispetto alle possibilità di ottenere prestazioni in caso di bisogno.

63 FUNZIONI DI CONTROLLO QUANDOPERCHECOSA CONTROLLARE VERIFICADurante lesecuzione del progetto Per gestire al meglio il progetto - Risultati che via via si vanno perseguendo - Avanzamento - Uso risorse VALUTAZIONEAlla finePer imparare per il futuro: riprogettare - Risultati finali rispetto a: obiettivi fissati bisogni reali - Cause di ottimi o cattivi risultati - Livelli di efficienza Si stabiliscono i criteri da seguire -cosa controllare -come controllare -chi controllare -DURANTE LESECUZIONE -A CONSUNTIVO -si raccolgono e si elaborano i dati -si esprimono i giudizi -in relazione ai giudizi, eventualmente IN SEDE DI PROGETTAZIONE Le dimensioni e le variabili della Valutazione 4/6 Alcune caratteristiche dei processi di controllo attuati attraverso la VERIFICA e la VALUTAZIONE:

64 Le variabili che entrano in gioco nella valutazione sono di tre tipi: Le dimensioni e le variabili della Valutazione 5/6 VARIABILI FINALI: queste non stanno ad significare il risultato del processo ma significano tutto ciò che emerge alla fine di ogni singola fase della valutazione. Possiamo avere variabili intermedie e variabili finali. Per variabili finali si intende fenomeni che esprimono i fini per i quali il micro-sistema produce. Si intendono quindi quelle variabili che, a vario titolo, sono il risultato del processo attivato. Es.: numero di prestazioni erogate, di diagnosi, di prestazioni effettuate per operatore. Quando si parla di variabili finali si possono intendere quelle riferite alla fine di tutto il processo (cosa salta fuori alla fine) ma non solo VARIABILI STRUMENTALI: ossia variabili sulle quali operare per ottenere certi risultati. Sono espressione di fenomeni del micro-sistema produttivo (risorse, processi, prodotti) sui quali si può intervenire attraverso lazione di sviluppo di qualità, al fine di determinare variazioni positive nelle variabili finali. Sono variabili che definiscono il sistema, che compongono il sistema. Ad esempio senza risorse umane non si può avere il sistema ospedaliero, ecc.

65 Le dimensioni e le variabili della Valutazione 6/6 VARIABILI CONCOMITANTI: sono quelle variabili sulle quali non si può intervenire ma bisogna subirle. Variabili concomitanti sono: la distribuzione per sesso degli operatori (tanti maschi, tante femmine); se l'unità che dobbiamo valutare si trova ad esempio in un contesto urbano oppure rurale; sono elementi che non si possono modificare. Ad esempio se si vuole valutare il livello di difficoltà che si ha nello studio della statistica, una variabile concomitante è il diploma di maturità posseduto da ogni studente; un fattore inevitabile, immutabile ma che ovviamente deve essere considerato nel momento in cui si procede alla valutazione. Le variabili concomitanti svolgono il loro ruolo sia sul versante degli investimenti, sia sul versante degli effetti finali.

66 Gli indicatori 1/2 LOrganizzazione Mondiale della Sanità definisce indicatore uninformazione selezionata in modo opportuno, che aiuta a misurare i cambiamenti in relazione a criteri prioritari e permette di monitorare aspetti specifici dellattività sanitaria, o fattori permanenti alla determinazione della stessa. Gli indicatori possono soddisfare diverse finalità: comparative (quantificando il fenomeno di interesse), valutative (cogliendo la posizione assunta dal fenomeno quantificato, rispetto a standard di riferimento) e programmatorie (suggerendo la possibilità di miglioramento rispetto alla posizione ricoperta). Lindicatore è lo strumento attraverso il quale si concretizza, si operativizza una variabile o un suo aspetto particolare. In termini generali può essere definito come indicatore lespressione empirica di una variabile. La variabile è un concetto, lindicatore un suo referente esperenziale.

67 Gli indicatori 2/2 Di seguito vengono descritti alcuni indicatori nellarea dellassistenza sanitaria. Allinterno di ciascun livello di assistenza e/o area di domanda, nel D.Lgs. luglio 95, sono enucleati una serie di indicatori, espressione delle principali classi di fenomeni: 1) INDICATORI SOCIO-ECONOMICI (riguardanti orientativamente i fenomeni socio-economici, demografici e culturali, ecc.); 2) INDICATORI DI STATO DI SALUTE (per genere, età, ambiente di vita, ecc. degli assistiti); 3) INDICATORI DI DOMANDA ESPRESSA E DI ACCESSIBILITÀ (sulla disponibilità del servizio, in termini di strutture e/o di entità delle liste di attesa, sulla numerosità degli utenti reali o potenziali, sulla dimensione della domanda espressa dalla popolazione); 4) INDICATORI DI RISORSE (risorse finanziarie: spesa corrente pro-capite, rapporto tra spesa corrente specifica per livello e/o area di domanda e spesa corrente totale, costo medio per tipologia di operatori; risorse umane); 5) INDICATORI DI ATTIVITA (relativa a servizi e prestazioni erogati in rapporto al personale impiegato e agli utenti effettivi e potenziali); 6) INDICATORI DI EFFICACIA (per cogliere i risultati conseguiti, scindibili in: indicatori di risultato complessivo, per valutare il conseguimento degli obiettivi del PSN, e indicatori di risultato tecnico, per valutare la qualità dellassistenza erogata dai servizi sanitari).

68 ParametriLaboratorio ABC 1. Ore settimanali di attività (risorse) Prestazioni (analisi) Risultati (n. di casi effettivamente diagnosticati) Tre laboratori di analisi biomediche della USL n.100 sono caratterizzati dai seguenti parametri di funzionamento: Esempio a)Qual è il laboratorio più efficace? b)Qual è il laboratorio più efficiente? c)Qual è il laboratorio con rendimento più alto? d)Quali dovrebbero essere i livelli di attività e di risultato di un quarto laboratorio D, funzionamento di 26 ore, che intendesse raggiungere i massimi valori degli indici di funzionamento dei tre laboratori A, B e C?

69 ABC a)EFFICACIA900/24 = 37,51200/30 = 40720/20 = 36 b)EFFICIENZA960/24 = /30 = /20 = 60 c)RENDIMENTO900/960 = 0, /1500 = 0,8720/1200 = 0,6 Esempio d) Poiché ho 26 ore e devo raggiungere i livelli massimi come si fa? EFFICACIA = 40 RISULTATI / RISORSE = × 40 = 1040 EFFICIENZA = 60 PRESTAZIONI / RISORSE = × 60 = 1560 RENDIMENTO = 66.7% RISULTATI / PRESTAZIONI = 66.7% (1040 : 1560) × 100 = 66.7%

70 LABORATORIO INDIVIDUALE SU: VALUTAZIONE. VEROFALSO 1. E una tecnica di analisi dei processi decisionali nei servizi Una procedura di misurazione è rappresentata dallanalisi della Qualità La V ex ante si basa sui risultatati prodotti alla fine del processo Si basa prevalentemente sulle aspettative dellutenza Limpatto di un intervento viene affrontato nella V ex ante Si svolge in ogni unità di intervento una volta allanno E sempre associata alle norme di Classificazione della Qualità 1 2 8)Permette di misurare diversi aspetti del servizio 1 2 9)E imposta per legge a tutte le aziende erogatrici di servizi Si configura come un metodo occasionale di osservare lesperienza La rilevanza dellintervento o progetto deve emergere nella fase di V ex-post La verifica delluso delle risorse è la fase centrale nella Valutazione Il rendimento di un Progetto o intervento è funzione delle sole risorse impiegate Lefficacia è una variabile concomitante nella valutazione del Progetto 1 2

71 LABORATORIO SU :INDICATORI DELLA VALUTAZIONE DEI SERVIZI. Tre laboratori di analisi cliniche sono caratterizzati dai seguenti parametri di funzionamento Parametri Laboratori X Y Z 1) Ore settimanali di attività ) Prestazioni (n. di prelievi effettuati) ) Risultati (n. di casi effettivamente analizzzati) Qual è lufficio più efficiente? Qual è lufficio più efficace? Qual è lufficio con rendimento più alto? Quali dovrebbero essere i livelli di attività e di risultato di un quarto ufficio che lavora 36 ore, che intendesse raggiungere i massimi valori degli indici di funzionamento dei laboratori X Y Z?


Scaricare ppt "LA STATISTICA E IL PROCESSO DECISIONALE Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per lattività pubblica, richiede:"

Presentazioni simili


Annunci Google