La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

LA STATISTICA E IL PROCESSO DECISIONALE

Presentazioni simili


Presentazione sul tema: "LA STATISTICA E IL PROCESSO DECISIONALE"— Transcript della presentazione:

1 LA STATISTICA E IL PROCESSO DECISIONALE
Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per l’attività pubblica, richiede: Volontà nella RICERCA STATISTICA di confrontarsi con realtà caratterizzate da comportamenti, logiche di azione e condizioni ambientali particolari e spesso sconosciute Volontà nell’ATTIVITA’ CONCRETA di accogliere il contributo di una disciplina considerata da sempre troppo astratta

2 imparare sistematicamente dall’esperienza;
Valutare e decidere 1/4 La valutazione è un processo intellettuale di analisi e sintesi, le cui finalità fondamentali sono: imparare sistematicamente dall’esperienza; utilizzare quanto appreso per migliorare le attività correnti e promuovere lo sviluppo della programmazione attraverso un’accurata selezione di alternative per l’azione futura

3 La valutazione è uno strumento orientato all’assunzione di decisioni
Valutare e decidere 2/4 La valutazione è uno strumento orientato all’assunzione di decisioni Contesto tecnico-statistico Contesto politico Nelle attività di Valutazione le operazioni statistiche fornendo le basi per la decisione acquistano valore politico Contesto tecnico-statistico Contesto politico Nelle attività di Valutazione le decisioni politiche senza un apporto tecnico-statistico non sono in grado di rispondere a bisogni informativi

4 Valutare e decidere 3/4 La necessità di valutare può derivare da una molteplicità di bisogni: la carenza di informazioni, necessarie all’attività programmatoria, relative alla conoscenza dei bisogni e alla determinazione degli obiettivi; la mancanza di sufficienti conoscenze utili alla gestione di un sistema operativo già esecutivo; la necessità di monitoraggio in medio tempore sullo stato di avanzamento e di realizzazione delle attività intraprese; l’esigenza di verifiche al termine delle attività

5 Valutare e decidere Schema di processo valutativo 4/4 Sistema
decisionale Quesiti conoscitivi informativo Sui fenomeni del sistema operativo Modello di sistema operativo Relazioni tra le variabili Dei soggetti decisori Variabili in gioco Indicatori

6 La decisione come processo
1/14 Ogni decisione, sia essa individuale o collettiva, personale o istituzionale, quale espressione di un impegno ed intervenire nella realtà, è il prodotto ultimo di un insieme di attività di analisi, elaborazione e confronto PROCESSO DECISIONALE MODELLO

7 La decisione come processo
2/14 MODELLO Modello semplificato del processo decisionale mirato a trattare il contributo della STATISTICA Tre fasi sequenziali facenti capo a corrispondenti attività e richiedenti informazioni più o meno ampie (identificazione del problema, formulazione di soluzioni, adozione di una decisione) Componenti relative al contesto e agli attori (risorse, vincoli ambientali, sistema di valori e attese dei soggetti, personali conoscenze ed esperienze in riferimento al problema, livello di sensibilità tecnico-scientifica) Direzione del processo secondo una logica incrementale (riduzione dell’incertezza e delle alternative) Assunzioni per la formulazione del modello

8 Problema GAP Dimensione del problema
La decisione come processo: l’identificazione del problema 3/14 Attese di un soggetto responsabile del processo decisionale Sue percezioni relative al livello di realizzazione di queste nella realtà GAP Problema Dimensione del problema Nella fase di identificazione del problema, molto spesso il decisore non utilizza strumenti tecnici idonei a misurare la realtà, e si limita a valutazioni di carattere personale o di convenienza politica Indicare più obiettivamente le aree su cui intervenire Porre obiettivi concreti al decisore Suggerire interventi meno dipendenti dalla sensibilità del decisore e dagli aspetti soggettivi e più rispondenti alle necessità oggettive Fornire un supporto all’imparzialità dell’attività successivamente svolta (es. Pubblica Amministrazione) Contributo della ricerca statistica

9 La decisione come processo: la formulazione delle soluzioni
4/14 Raccolta di informazioni Preparazione di proposte di soluzioni Due attività principali: Analisi (ricerca di alternative mediante elaborazione dal semplice al complesso, per individuare le implicazioni possibili, gli effetti di un intervento piuttosto di un’altro e le eventuali conseguenze dovute all’inazione) Selezione (riduzione delle diverse opzioni proponibili a poche scelte, operata sulla base di valutazioni di merito o di opportunità, di fattibilità, di cogenza normativa, ecc…) Nella letteratura politologica:

10 Attività di ricerca preparatoria alla decisione
La decisione come processo: la formulazione delle soluzioni 5/14 Nel modello semplificato: dimensioni e peculiarità del problema disponibilità di risorse ristrettezza dei vincoli conoscenze tecnico-scientifiche disponibili caratteristiche ambientali “stile decisionale” del decisore (modus procedendi caratterizzato da sistematicità e da consapevolezza) Attività di ricerca preparatoria alla decisione (raccolta di informazioni e proposta di soluzioni) Minima (previsione di un’unica soluzione) Ampia (previsione di più soluzioni)

11 La decisione come processo: l’adozione di una decisione
6/14 In tale fase: vengono prese in esame le soluzioni possibili, precedentemente elaborate; vengono messe a confronto tali soluzioni, con lo scopo di identificare la più soddisfacente; viene infine operata la scelta. In un processo decisionale: Sistema di valori e di priorità del decisore (efficienza economica, efficacia sociale, convenienza politica, in termini di risultati, in termini di impatto, ecc…) Scelta e adozione di una decisione Sostenuto da: Ricerca e utilizzo di informazioni nelle fasi precedenti (con l’ausilio di tecniche statistiche)

12 La decisione come processo: le informazioni e il processo decisionale
7/14 La fiducia nella metodologia statistica e negli strumenti informativi Il sistema dei valori e delle attese Lo stile decisionale La natura La complessità Le risorse disponibili I vincoli esistenti UTILIZZO DI DATI STATISTICI NEL PROCESSO DECISIONALE VARIABILI DIPENDENTI DAL DECISORE: VARIABILI DIPENDENTI DAL PROBLEMA: VARIABILI DIPENDENTI DALL’AMBIENTE: Schema delle variabili che influenzano l’utilizzo di dati statistici

13 La decisione come processo: le informazioni e il processo decisionale
8/14 Sovrintende l’intero processo decisionale: VARIABILI DIPENDENTI DAL DECISORE: La fiducia nella metodologia statistica e negli strumenti informativi Il sistema dei valori e delle attese Lo stile decisionale attraverso le attese, influisce sulla fase di identificazione del problema; determina i contenuti informativi rilevanti; orienta la scelta del sottoinsieme di soluzioni possibili; su quali possibili conseguenze delle soluzioni proposte focalizzare l’attenzione e quali elementi trascurare; indirizza la valutazione delle alternative e decreta la più soddisfacente; stabilisce quali siano gli aspetti della realtà da considerare in vista di nuove decisioni.

14 La decisione come processo: le informazioni e il processo decisionale
9/14 Riconoscimento difficile dei criteri e delle logiche sottostanti: VARIABILI DIPENDENTI DAL DECISORE: La fiducia nella metodologia statistica e negli strumenti informativi Il sistema dei valori e delle attese Lo stile decisionale componenti di natura soggettiva; presenza di aree grigie nel processo decisionale, con scelta di non confrontarsi apertamente per evitare possibili scontri; utilizzo di criteri non legittimi e utilizzo di informazioni con intento strumentale; resistenza ad esporsi con valori ed attese troppo rigorosi per il timore di valutazione critica e di controllo interno ed esterno sul proprio operato; Es. Instabilità dei sistemi di valori e attese propri della Pubblica Amministrazione, per complessità dei meccanismi che sovrintendono al reale con cui confrontarsi, e per continue modifiche degli equilibri necessari all’assunzione di una decisione, alla cui formazione concorrono numerose parti.

15 La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione 10/14 Due estremi di connubio tra metodi statistici e processi decisionali: Misconoscimento della validità della funzione informativa della statistica Prevalere dell’approccio burocratico nella formazione della decisione, caratterizzata da: rigidità delle forme e delle procedure; pretta applicazione delle norme; inalterabilità delle routine; limitatezza degli strumenti informativi; attribuzione della funzione di formazione e analisi dei dati a personale amministrativo non qualificato. Produzione di decisioni come atti amministrativi formali, meri esecuzioni della legge

16 La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione 11/14 Riconoscimento del contributo della statistica al soddisfacimento del fabbisogno informativo e della sua rilevanza nell’attività decisionale Attività pubblica maggiormente svincolata dai formalismi e più marcatamente caratterizzata da un approccio tecnico verifica sistematica della rilevanza dei contenuti conoscitivi in vista della decisione; attenzione alla qualità e alle potenzialità dell’apparato informativo; Produzione di decisioni come atti di pianificazione dell’attività amministrativa

17 La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione 12/14 Statistici Decisori Mansioni concettuali e esecutive di preparazione dell’informazione opportuna alla decisione Abilità nel “discriminare tra strumenti” Operare le decisioni mediante l’esercizio dell’attività di scelta tra soluzioni possibili Abilità nel “discriminare tra politiche” Ricerca del compromesso tra la diversa natura di valori e di attese, di abilità e di sensibilità, in modo che si realizzi una proficua collaborazione e che i risultati finali rappresentino un equilibrio tra i rispettivi modi di operare

18 La decisione come processo: Le cause della resistenza del soggetto Pubblica Amministrazione all’utilizzo dell’informazione statistica 13/14 Difficoltà per l’informazione statistica ad entrare nei processi decisionali della Pubblica Amministrazione per cause: tecniche politiche frazionamento su più livelli dell’attività pubblica e della responsabilità del pubblico servizio che ostacola la costruzione di sistemi informativi omogenei; “formalismo giuridico”, ovvero attitudine del soggetto pubblico a incentrare la propria azione sul dettato letterale della norma; il principio di legalità ha assoluta priorità su qualunque altro criterio ispiratore (buon andamento, efficacia, efficienza, economicità, ecc..); carenza di stuff dedicato all’attività di raccolta, produzione e gestione delle informazioni, interno all’Amministrazione o esterno, ma ad essa legato da un vincolo di collaborazione stabile e duraturo. ambientali

19 La decisione come processo: La cultura statistica
14/14 Quale diffusione della cultura statistica? Quale diffusione della valutazione? Uso controverso del termine e scarsa applicazione corretta anche nella Pubblica Amministrazione per generale carenza di cultura quantitativa Applicazione solo parziale di interventi del legislatore a sostegno dei sistemi informativi nella Pubblica Amministrazione Ambiente non ancora propenso al riconoscimento del contributo degli strumenti conoscitivi nel processo decisionale attuare una “politica attiva”, da realizzare attraverso un inserimento più fattivo ed articolato, con valenze operative sempre più accentuate muoversi con disinvoltura in condizioni non ideali di applicazione del metodo mostrare un atteggiamento disposto al dialogo e un approccio elastico Per i tecnici che si occupano di valutazione, o comunque di produzione di dati e statistiche di sostegno alla pubblica azione, saper:

20 LA VALUTAZIONE: Introduzione
1/7 Funzione della Valutazione Momento qualificante delle attività di Programmazione di azioni e interventi che intende raggiungere delle finalità o obiettivi (benessere sociale od economico di una popolazione o comunità), attraverso interventi specifici, mirati, i quali vengono perseguiti e condotti sempre con risorse limitate (umane, economiche, culturali, professionali) La Valutazione (V) è un momento importante che deve caratterizzare ogni passo della programmazione, per questo più che parlare della V ad es. dei servizi, ha senso parlare di V come una condizione che caratterizza ogni passo del processo programmatorio. Valutazione Sviluppo della Qualità (Quality Improvement) Processo di natura tecnico-organizzativa mirato a garantire livelli di qualità sempre più elevati nei risultati finali di un sistema produttivo attraverso cambiamenti continui e progressivi in variabili di struttura e di processo che caratterizzano la specifica produzione.

21 LA VALUTAZIONE: Introduzione
2/7 Primi percezioni della necessità di V sin dagli anni '30 negli USA. L'espressione del "bisogno" non è più percepita come sufficiente perché un intervento (qualunque) sia ritenuto giusto, opportuno, utile. Da cui la necessità di individuare i motivi, le ragioni dell’intervento e misurare i risultati ottenuti a preventivo e a consuntivo. La nascita della cultura della V viene collocata negli anni ‘60, nello scenario dei programmi sociali delle amministrazioni democratiche americane. Si pone sempre più forte la necessità di dimostrare la produttività, l’efficienza, i benefici (sia economici che sociali) delle politiche economiche e sociali nelle quali viene speso il denaro dei “cittadini-contribuenti”. Solo dagli anni '90 con in concetto di "qualità" si comincia a parlare di V, ma ancora in modo limitato e non sistematico.

22 LA VALUTAZIONE: Introduzione
3/7 Nel 1981, l’Organizzazione Mondiale della Sanità si esprime così sulla Valutazione: “Un modo sistematico di imparare dall’esperienza e di utilizzare quanto appreso per migliorare le attività correnti e promuovere lo sviluppo della programmazione attraverso un’accurata selezione di alternative per l’azione futura”. approccio empirico, ragionato, mirato, di osservare il servizio e le attività connesse accento sul fabbisogno di informazioni, sulla raccolta sistematica di dati e sulla loro trasformazione in informazioni

23 LA VALUTAZIONE: Introduzione
4/7 Una successiva e importante definizione di V è fornita da Patton: "La pratica della Valutazione riguarda la raccolta sistematica di informazioni circa le attività, le caratteristiche e i risultati di programmi, personale e strutture destinata a persone interessate a giudicare come specifici aspetti di quei programmi, di quel personale, di quelle strutture abbiano operato e abbiano influito sul sistema.” raccolta sistematica e organizzata di informazioni relativamente ad un insieme vasto e complesso di elementi del Sistema ruolo centrale alla Statistica come metodo e insieme di tecniche atte alla produzione di informazioni da dati empirici qualitativi e quantitativi vincolo di assegnare a tali informazioni il compito di esprimere giudizi da parte di specifici soggetti il termine V in generale destinato a : a) programmi, b) personale, c) politiche, d) strutture; e) altri processi valutativi

24 LA VALUTAZIONE: Introduzione
5/7 Il Congresso dell’Associazione Italiana di Valutazione del 1997 precisava: "La Valutazione risulta senz’altro di grande aiuto quando si vuole individuare il modo migliore per perseguire gli obiettivi, soprattutto in una situazione come quella italiana, caratterizzata dall’attenzione alle procedure piuttosto che al perseguimento dei risultati, oltre che da un certo fatalismo sulle difficoltà di riforma delle istituzioni pubbliche.” “Valutare significa confrontare i risultati ottenuti da politiche e interventi pubblici con gli obiettivi individuati e con i problemi che essi intendevano affrontare: la Valutazione è, quindi, uno strumento chiave per valorizzare le scelte.” “La V è un processo attraverso il quale si intende esprimere un giudizio in merito ad una decisione da prendere o ad una politica che si è realizzata” (Bertin, l995).

25 LA VALUTAZIONE: Introduzione
6/7 La valutazione deve essere svolta da esperti o quanto meno da persone competenti. È specialistica e interdisciplinare (Stame, 1997). Alcune discipline hanno sviluppato al loro interno saperi e competenze valutative, dando così origine a degli esperti di valutazione Ogni ricerca valutativa oltre ad attingere a uno o più dei saperi fondanti, dovrà entrare in contatto con le discipline che si occupano delle attività o delle questioni da valutare Sono necessarie competenze tecniche proprio dell’ambito metodologico, quantitativo e quindi anche della Statistica Bisogna entrare nell’ambito sostantivo, conoscere la sostanza del problema La V è il risultato di un gruppo di lavoro, di una équipe di “esperti” che interagiscono nelle singole componenti, sul problema sostantivo. Non un lavoro di élite di “esperti” che forniscono il loro contributo anche altamente specialistico ma distinto dagli altri, in termini anche astratti e non collegati al contesto sostantivo

26 LA VALUTAZIONE: Introduzione
7/7 È essenziale concepire la V come uno strumento orientato alla assunzione di decisioni, e di collegare strettamente il processo valutativo con quello decisionale, sia a livello operativo che politico e di governo. Il processo attraverso cui si effettua una V deve essere considerato altrettanto importante delle conclusioni a cui si perviene, dato che il coinvolgimento nello stesso processo spesso induce a migliorare la comprensione delle attività oggetto di valutazione e un più costruttivo approccio alla loro gestione e all’azione futura.

27 LA VALUTAZIONE: I bisogni della V
1/1 I bisogni di valutazione sono molteplici e possono essere classificati in tre grandi categorie: necessità di alimentare la conoscenza utile per gestire un particolare segmento di piano già reso esecutivo dagli organi di governo: a questo aspetto della valutazione è interessata la struttura operativa dei servizi, in quanto responsabile dell’uso corrente delle risorse ai fini del perseguimento degli obiettivi di piano e titolare della decisioni necessarie a far funzionare il sistema adattandolo in via continuativa alle circostanze concrete bisogni valutativi collegati con il governo di un segmento temporale di piano: si tratta di effettuare verifiche periodiche sullo stato di attuazione del piano e sulla sua idoneità a perseguire gli obiettivi previsti, verifiche finalizzate a rendere disponibili conoscenze utili per l’aggiornamento periodico del piano bisogni valutativi collegati con il governo del processo programmatorio visto nella sua continuità storica di medio periodo

28 LA VALUTAZIONE: Il quando della V
1/3 La V può intervenire su diversi livelli e in diversi momenti del progetto, dell’azione o della politica considerata: valutazione ex-ante: interviene prima dell’esecuzione del progetto, al livello dell’iniziale definizione di obiettivi e strategie. Si analizzano le possibili alternative di un progetto, individuando la/le soluzione/i migliore/i per attuarlo e prevedendo i possibili esiti. Aiuta il decisore a ridurre l’incertezza nelle scelte. È finalizzata “per decidere” e “per selezionare”.

29 LA VALUTAZIONE: Il quando della V
2/3 valutazione in itinere: si applica nel corso della realizzazione del progetto con l’obiettivo di evidenziarne gli effetti, di valutarne l’impatto e di rilevare le insorgenze di conseguenze non previste. Consente di verificare se la realizzazione del progetto si sta dirigendo verso gli obiettivi prefissati. È ancora poco presente nei servizi pubblici italiani. Il monitoraggio, che consiste in una attività di rilevazione sistematica e continuativa per verificare lo stato di avanzamento dei progetti, è lo strumento che permette di effettuare la valutazione in itinere.

30 LA VALUTAZIONE: Il quando della V
3/3 valutazione ex-post: interviene quando il progetto è completo e concluso, per cercare di tener conto degli effetti realmente prodotti dal progetto e per verificare se gli obiettivi iniziali siano stati raggiunti. Essa riveste un interesse fondamentale, perché consente di trarre degli insegnamenti per eventuali progetti futuri e al contempo permette di correggere, qualora sia possibile, parti del progetto originario. Questo tipo di valutazione viene utilizzata solo in pochissimi casi e principalmente, quando è imposta dalla legge.

31 LA VALUTAZIONE: Glossario dei principali termini utilizzati negli ambiti della valutazione e gestione basata sui risultati (documento Ocse/Dac – 2002) Il Gruppo di lavoro sulla valutazione del Comitato aiuto allo sviluppo (Dac) è un forum internazionale, nel quale gli esperti di valutazione in servizio presso agenzie di sviluppo bilaterali o multilaterali si riuniscono periodicamente per condividere le proprie esperienze, con l’obiettivo di migliorare la pratica della valutazione e rafforzarne l’impiego come strumento per le politiche di cooperazione GLOSSARIO (www..org/dac/evaluation). Valutazione: L’apprezzamento sistematico e oggettivo su formulazione, realizzazione ed esiti di un progetto, programma o politica di sviluppo che si effettua in corso d’opera o dopo il completamento delle attività previste. Essa si propone di esprimere un giudizio sulla rilevanza e il raggiungimento degli obiettivi, su efficienza, efficacia, impatto e sostenibilità. Una valutazione dovrebbe fornire informazioni credibili e utili e consentire ai beneficiari e ai donatori l’integrazione degli insegnamenti appresi nei loro processi decisionali. Per valutazione si intende anche il processo di determinazione del valore e dell’importanza dei possibili effetti indotti da un’attività, politica o programma. Trattasi della formulazione di un giudizio, nel modo più sistematico e oggettivo possibile, su un intervento di sviluppo pianificato, in fase di realizzazione o già completato. Nota: in alcuni casi, la valutazione comporta la definizione di standard appropriati, un esame delle prestazioni rese in rapporto a detti standard, un giudizio sui risultati ottenuti rispetto a quelli originariamente attesi e l’identificazione degli insegnamenti più rilevanti scaturiti dall’esperienza. Termine correlato: riesame.

32 GLOSSARIO (www..org/dac/evaluation).
Valutazione a grappoli: Valutazione di un insieme di attività, progetti e/o programmi tra loro correlati. Valutazione congiunta: Valutazione alla quale partecipano diversi organismi donatori e/o partner. Nota: esistono vari gradi di “associazione” a seconda della misura in cui i singoli partner cooperano nel processo di valutazione, mettono in comune le loro risorse e concorrono all’elaborazione dei documenti di valutazione. Le valutazioni congiunte possono contribuire al superamento dei problemi di attribuzione nello stabilire l’efficacia dei programmi e delle strategie, la complementarità degli sforzi sostenuti dai diversi partner, la qualità del coordinamento, ecc. Valutazione di processo: Valutazione delle dinamiche interne degli enti esecutori, degli strumenti a loro disposizione per le politiche di sviluppo, dei loro meccanismi di funzionamento, delle loro modalità di gestione e dei collegamenti esistenti tra questi elementi. Termine correlato: valutazione formativa. Valutazione di progetto: Valutazione di un singolo intervento di sviluppo ideato per raggiungere determinati obiettivi, con risorse e tempi di realizzazione definiti, spesso nel contesto di un programma più vasto. Nota: l’analisi costi-benefici costituisce uno dei principali strumenti di valutazione per i progetti che presentano benefici quantificabili. Quando i benefici non possono essere quantificati, il metodo di indagine appropriato è l’analisi costo-efficacia. Valutazione di programma: Valutazione di un insieme di interventi combinati e destinati al raggiungimento di specifici obiettivi di sviluppo a livello globale, di area, di paese, o al raggiungimento di obiettivi di sviluppo settoriale. Nota: un programma di sviluppo è un intervento temporalmente vincolato, comprendente molteplici attività che possono interessare in modo trasversale diversi settori, temi e/o aree geografiche. Termine correlato: valutazione di programma-paese.

33 GLOSSARIO (www..org/dac/evaluation).
Valutazione di programma-paese: Valutazione del portafoglio degli interventi di sviluppo di uno o più donatori o agenzie, e della relativa strategia di assistenza, in un paese partner. Valutazione di programma settoriale: Valutazione di un insieme di interventi di sviluppo settoriali, in uno o più paesi, che contribuiscono al conseguimento di un obiettivo di sviluppo specifico. Nota: un settore include le attività di sviluppo comunemente raggruppate secondo le competenze della pubblica amministrazione come la salute, l’educazione, l’agricoltura, i trasporti, ecc. Valutazione esterna: Valutazione di un intervento di sviluppo condotta da enti e/o individui al di fuori degli organismi finanziatori o esecutori. Valutazione ex ante: Valutazione di un intervento di sviluppo eseguita prima della sua realizzazione. Termine correlato: valutazione preliminare, controllo preliminare di qualità. Valutazione ex post: Valutazione di un intervento di sviluppo eseguita dopo il suo completamento. Nota: essa può essere effettuata subito dopo o molto tempo dopo la conclusione dell’intervento con l’intento di identificare i fattori di successo o insuccesso, di valutare la sostenibilità dei risultati e l’impatto, e di trarre conclusioni che possano influenzare altri interventi. Valutazione formativa: Valutazione volta a migliorare le prestazioni rese che viene generalmente effettuata durante la fase di realizzazione di progetti o programmi. Nota: le valutazioni formative possono essere effettuate per altre ragioni quali la verifica di conformità, esigenze di tipo legale o come componenti di valutazioni più ampie.

34 GLOSSARIO (www..org/dac/evaluation).
Valutazione indipendente: Valutazione realizzata da enti o persone non soggetti a controllo da parte dei responsabili della formulazione e della realizzazione di un intervento di sviluppo. Nota: la credibilità di una valutazione dipende in parte dal grado di indipendenza con la quale è stata effettuata. L’indipendenza implica la libertà da influenze politiche e da pressioni degli enti interessati e si caratterizza per un libero accesso alle informazioni e per un’autonomia totale nell’investigazione e nella presentazione dei risultati. Valutazione intermedia: Valutazione condotta circa alla metà della fase di realizzazione dell’intervento. Termine correlato: valutazione formativa. Valutazione interna: Valutazione di un intervento di sviluppo eseguita da un’unità e/o da persone che dipendono dall’ente finanziatore, dal partner locale o dall’ente esecutore. Termine correlato: autovalutazione. Valutazione partecipativa: Metodo di valutazione nel quale i rappresentanti di agenzie e di altre parti interessate (inclusi i beneficiari) collaborano alla definizione, realizzazione e interpretazione dei risultati di una valutazione. Valutazione preliminare: Un giudizio complessivo sulla rilevanza, fattibilità e impatto potenziale di un intervento di sviluppo effettuato prima della decisione in merito al finanziamento dell’intervento stesso. Nota: presso le banche e le agenzie di sviluppo, la valutazione preliminare abilita gli organi deliberanti a decidere se la proposta di finanziamento all’esame costituisce un investimento appropriato per le loro risorse. Termine correlato: valutazione ex ante. Valutazione riepilogativa: Studio condotto alla fine di un intervento (o di una sua fase) per determinare in che misura sono stati raggiunti i risultati attesi. La valutazione riepilogativa è volta a fornire informazioni sul valore di un programma. Termine correlato: valutazione di impatto. Valutazione tematica: Valutazione di un gruppo selezionato di interventi, tutti indirizzati verso una specifica priorità di sviluppo, che interessa trasversalmente più paesi, aree e settori.

35 LA VALUTAZIONE: DAC Evaluation Quality Standards
Il seguente contributo offre uno schema di riferimento delle fasi e componenti il processo di Valutazione così come proposto da un gruppo di studio DAC in collaborazione con l’OECD (www.oecd.org/dac/evaluationnetwork). Standard di Qualità per la valutazione stabiliti dal DAC (Comitato di Aiuto allo Sviluppo / Development Assistance Committee) (per l’applicazione di una fase sperimentale) Introduzione Gli standard di qualità della valutazione stabiliti dal DAC identificano i punti chiave necessari (identify the key pillars needed) per il processo e per la realizzazione (product) di una valutazione di qualità. Sono stati preparati dai membri del DAC allo scopo di definire le aspettative dei paesi membri relativamente ai processi e alle realizzazioni (product) di valutazione. Gli standard non sono vincolanti per i paesi membri ma sono una guida per una “good practice” con l’obiettivo di migliorare la qualità delle valutazioni di intervento allo sviluppo. Intendono contribuire ad un approccio armonizzato alla valutazione in linea con i principi della Dichiarazione di Parigi sull’Efficacia dell’aiuto1

36 Gli standard hanno lo scopo di:
a) fornire gli standard per il processo (conduct) e per le realizzazioni/prodotti (outputs) delle valutazioni; b) facilitare il confronto delle valutazioni attraverso i paesi (metavalutazione); c) facilitare le associazioni e la collaborazione sulla valutazione congiunta (joint-evaluation); d) permettere ai paesi membri di utilizzare reciprocamente i risultati e i rapporti sulle valutazioni (compreso good practice e insegnamenti appresi dalla valutazione); e e)semplificare gli sforzi di valutazione. Gli Standard supportano le valutazioni che aderiscono ai principi di valutazione che troviamo nei “Principles for the Evaluation of Development Assistance” (Principi per la Valutazione di assistenza allo Sviluppo), includendo imparzialità e indipendenza, credibilità e utilità2, gli standard dovrebbero essere letti in accordo con quei principi. I Principi si concentrano sulla gestione e sulla organizzazione istituzionale dei sistemi di valutazione all’interno delle agenzie di sviluppo e rimangono il riferimento (benchmark) rispetto al quale sono valutati i membri OECD attraverso il meccanismo delle DAC Peer Reviews3. Al contrario gli Standard forniscono indicazioni sul processo (conduct) delle valutazioni e sulle relative rendicontazioni. Sebbene gli standard non siano vincolanti per ogni valutazione, dovrebbero comunque essere applicati il più largamente possibile e laddove non fosse possibile, dovrebbe essere fornita una breve spiegazione. Il termine “intervento di sviluppo” (‘development intervention’) è usato negli standard come un termine generale, per riferirsi all’oggetto della valutazione e può riferirsi ad una attività, ad un progetto, ad un programma, ad una strategia, ad una politica, ad un tema, ad un settore, ad una zona operativa, alle prestazioni istituzionali, etc. Gli standard riconoscono che la realizzazione di una valutazione può avvenire in una varietà di forme, incluse le relazioni orali o scritte, esposizioni e gruppi di lavoro. Il termine “rapporto/relazione di valutazione (evaluation report)” è usato per tutte le forme che può assumere la realizzazione di una valutazione.

37 Spiegazione razionale, scopo e obiettivi di una valutazione.
1.1 Spiegazione razionale della valutazione. Descrive perchè e per chi la valutazione è intrapresa e perchè viene intrapresa in un particolare momento temporale. 1.2 Lo scopo della valutazione. Lo scopo della valutazione è in linea con la funzione di apprendimento e rendicontabilità della valutazione. Per esempio lo scopo della valutazione potrebbe essere di: - Contribuire a migliorare una politica, procedura o tecnica di assistenza, - Considerare la continuazione o l’interruzione di un progetto; Rendere conto, alle persone interessate (stakeholder) e ai contribuenti, delle spese per l’assistenza.DAC Evaluation Quality Standards 1.3 Gli obiettivi di una valutazione . Gli obiettivi della valutazione specificano cosa la valutazione mira a realizzare. Per esempio: - accertare risultati (prodotti (output), effetti a medio termine (outcome), impatto (impact)) e valutare l'efficacia, l'efficienza e l'attinenza di un intervento specifico di sviluppo; - fornire risultati (findings), conclusioni e raccomandazioni riguardo ad uno specifico programma o ad una specifica politica.

38 2. Portata della valutazione . 2.1 Portata della valutazione.
DAC Evaluation Quality Standards 2. Portata della valutazione . 2.1 Portata della valutazione. La portata della valutazione è chiaramente definita specificando i temi (issues) trattati, i fondi realmente spesi, il periodo di tempo, i tipi di intervento, la copertura geografica, i gruppi target, così come altri elementi di intervento allo sviluppo interessati alla valutazione. 2.2 Logica e risultati di intervento. Il rapporto di valutazione descrive e valuta brevemente la logica di intervento e distingue i risultati a livelli differenti: input, attività, effetti a medio termine (outcome) e impatti. Il rapporto fornisce inoltre una breve valutazione globale della logica di intervento. 2.3 Criteri di valutazione. Il rapporto di valutazione applica i cinque criteri stabiliti dal DAC per la valutazione dell’assistenza allo sviluppo: pertinenza, efficienza, efficacia, impatto e sostenibilità. I criteri applicati per la valutazione data, sono definiti in termini non ambigui, qualora non venga applicato un particolare criterio, questo deve essere spiegato nella relazione di valutazione, così come nel caso in cui siano applicati criteri aggiuntivi. 2.4 Quesiti relativi alla valutazione. I quesiti sollevati, così come ogni revisione ai quesiti originali sono documentati nel rapporto affinché i lettori siano in grado di accertare se la squadra di valutazione li ha sufficientemente valutati.

39 3.1 Il contesto relativo allo sviluppo e alla politica.
DAC Evaluation Quality Standards 3. Contesto. 3.1 Il contesto relativo allo sviluppo e alla politica. Il rapporto di valutazione fornisce una descrizione del contesto politico relativo all’intervento di sviluppo, alla documentazione della politica dell’agenzia di sviluppo e dei partner, agli obiettivi ed alle strategie. Il contesto di sviluppo può riferirsi all’economia nazionale e regionale e ai livelli di sviluppo. Il contesto politico può riferirsi alle strategie di riduzione della povertà, alla parità dei sessi, alla protezione dell’ambiente e ai diritti umani. 3.2 Il contesto istituzionale. Il rapporto di valutazione fornisce una descrizione dell’ambiente istituzionale e delle persone interessate (stakeholder) relativamente all’intervento di sviluppo, in modo che la loro influenza possa essere identificata e valutata. 3.3 Il contesto socio-politico. Il rapporto di valutazione descrive il contesto socio-politico entro cui l’intervento avviene e la relativa influenza sui risultati e sull’effetto a medio termine (outcome) e sull’impatto dell’intervento di sviluppo. 3.4 Misure per l’implementazione /esecuzione. Il rapporto di valutazione descrive le misure organizzative stabilite per l’implementazione/esecuzione dell’intervento di sviluppo, incluso i ruoli dei donatori e dei partner.

40 4. Metodologia di valutazione.
DAC Evaluation Quality Standards 4. Metodologia di valutazione. 4.1 Spiegazione della metodologia usata. Il rapporto di valutazione descrive e spiega il metodo e il processo di valutazione e ne discute la validità e l’attendibilità. Riconosce tutti i vincoli incontrati e il loro impatto sulla valutazione compreso l’impatto sulla indipendenza della valutazione. Descrive in modo dettagliato i metodi e le tecniche usate per la raccolta e la elaborazione dei dati e delle informazioni. Vengono giustificate le scelte e vengono spiegati limiti e imperfezioni. 4.2 Valutazione dei risultati. I metodi per la valutazione dei risultati sono specificati. I fattori di attribuzione e i fattori di successo o di disturbo/insuccesso dovrebbero essere identificati (addressed). Se gli indicatori vengono usati come base per la valutazione dei risultati, questo dovrebbe avvenire seguendo i criteri detti SMART (specifico, misurabile, raggiungibile, rilevante e vincolato a un termine).

41 4.3 Parti interessate (stakeholder) consultate.
DAC Evaluation Quality Standards 4.3 Parti interessate (stakeholder) consultate. Le parti interessate vengono coinvolte nel processo di valutazione per l’identificazione delle problematiche e forniscono input per la valutazione. Vengono consultati sia i donatori che i partner. Il rapporto di valutazione indica le parti interessate (stakeholders) consultate, i criteri per la loro selezione e descrive la partecipazione delle parti interessate. Viene inoltre indicato se non tutte le parti interessate sono state consultate, e vengono inoltre descritti i metodi e le motivazioni per la selezione di particolari parti interessate (stakeholders) 4.4 Campionamento Il rapporto di valutazione spiega la selezione di ogni campione. Devono essere identificati i limiti riguardanti la rappresentatività dei campioni di valutazione. 4.5 Squadra di valutazione. La composizione delle squadre di valutazione dovrebbe possedere un misto di abilità valutative e di conoscenza tematica, dovrebbe essere equilibrata nel genere, e includere professionisti provenienti dai paesi o regioni interessate. .

42 5.1 Trasparenza delle fonti di informazioni .
DAC Evaluation Quality Standards 5. Fonti di informazione. 5.1 Trasparenza delle fonti di informazioni . Il rapporto di valutazione descrive le fonti di informazioni utilizzate (documentazione, dichiaranti, letteratura etc. ) sufficientemente dettagliate di modo che possa essere accertata l’adeguatezza delle informazioni. Vengono incluse le liste complete degli intervistati e i documenti consultati, fino al punto in cui ciò non entri in conflitto con la segretezza e la riservatezza dei partecipanti . 5.2 Affidabilità ed esattezza delle fonti di informazione. La valutazione crossvalidates e valuta criticamente le fonti di informazioni usate e la validità dei dati usando una varietà di metodi e fonti di informazioni.

43 6. Indipendenza. 6.1 Indipendenza dei valutatori nei confronti delle parti interessate (stakeholders). Il rapporto di valutazione indica il grado di indipendenza dei valutatori dalla funzione politica, dalla funzione operativa e di gestione dell’agente commissionante, dagli esecutori, e dai beneficiari. Eventuali conflitti di interessi devono essere apertamente e onestamente evidenziati. 6.2 Processo di valutazione aperto e libero. La squadra di valutazione deve essere in grado di lavorare liberamente e senza interferenze. Deve esserle assicurata collaborazione e accesso a tutte le informazioni. Il rapporto di valutazione indica tutti gli impedimenti che potrebbero avere avuto effetto sul processo di valutazione.

44 7. Etica di valutazione. 7.1 Valutazione condotta in modo professionale e etico. Il processo di valutazione mostra sensibilità al genere, alle credenze, agli usi e ai costumi di tutte le parti interessate e viene svolto con integrità e onestà. Devono essere protetti i diritti e il welfare di coloro che partecipano alla valutazione. L’anonimato e la riservatezza degli informatori individuali dovrebbero essere protetti se richiesti e/o secondo quanto previsto dalla legge. 7.2 Riconoscimento dei disaccordi nella squadra di valutazione. I membri della squadra di valutazione dovrebbero avere l’opportunità di dissociarsi da particolari giudizi e raccomandazioni. Qualunque divergenza di opinioni irrisolte all’interno della squadra dovrebbe essere inserita nel rapporto.

45 8. Garanzia della qualità.
8.1 Inserimento delle osservazioni delle parti interessate (stakeholder). Alle parti interessate viene data l’opportunità di esprimere commenti sui risultati, sulle conclusioni, sulle raccomandazioni e sugli insegnamenti appresi dalla valutazione. Il rapporto di valutazione riflette queste osservazioni e riconosce tutti i disaccordi sostanziali. Nelle dispute sui fatti che possono essersi verificati, i valutatori dovrebbero indagare e cambiare la stesura preliminare del rapporto se necessario. Nel caso di opinione o interpretazione, le osservazioni delle parti interessate dovrebbero essere riprodotte alla lettera, in un allegato per esempio fino al punto in cui queste non entrino in conflitto con i diritti e il welfare dei partecipanti. 8.2 Controllo di qualità. Il controllo di qualità è esercitato lungo tutto il processo di valutazione. Dipende dalla portata e dalla complessità della valutazione, il controllo di qualità è eseguito sia internamente che attraverso un’autorità esterna, peer review, o un gruppo di riferimento. I controlli di qualità aderiscono al principio di indipendenza dei valutatori.

46 9. Rilevanza dei risultati di valutazione.
9.1 Formulazione dei risultati della valutazione. I risultati della valutazione sono relativi all’oggetto e allo scopo della valutazione. I risultati dovrebbero chiaramente scaturire dai quesiti posti dalla valutazione e dall’analisi dei dati, mostrando una linea netta di prova a sostegno delle conclusioni (??). Qualsiasi discrepanza tra implementazione attesa e reale dell’oggetto di valutazione deve essere spiegata. 9.2 Valutazioni effettuate entro il termine e il budget assegnati. La realizzazione della valutazione e la messa a disposizione dei risultati sono correlate in termini di tempo allo scopo della valutazione. Eventuali cambiamenti nella programmazione o nel budget devono essere spiegati nel rapporto. Deve essere spiegata qualsiasi discrepanza tra implementazione e prodotto della valutazione attesi e reali. 9.3 Raccomandazioni e insegnamenti appresi dalla valutazione. Raccomandazioni e insegnamenti appressi dalla valutazione sono destinati agli utenti futuri e sono perseguibili entro le responsabilità degli utenti. Le raccomandazioni sono proposte perseguibili e gli insegnamenti appresi (dalla valutazione) sono generalizzazioni di conclusioni applicabili in un uso più ampio. 9.4 Utilizzo della valutazione. La valutazione richiede un riconoscimento e una risposta espliciti dall’amministrazione per quanto riguarda l’aggiornamento futuro dei risultati della valutazione. L’amministrazione assicurerà la diffusione, il deposito e la gestione sistematica dei prodotti della valutazione per assicurare un facile accesso e per massimizzare i benefici dei risultati della valutazione.

47 10. Completezza. 10.1 Le conclusioni rispondono alle domande di valutazione. Il rapporto di valutazione risponde a tutte le domande e ai bisogni di informazione elencati nell’ambito di valutazione. Dove non è possibile, devono essere fornite motivazioni e spiegazioni. 10.2 Chiarezza dell’analisi. L’analisi è strutturata con un flusso logico. Le informazioni e i dati sono presentati e interpretati in modo sistematico. I risultati e le conclusioni sono chiaramente identificati e scaturiscono logicamente dall’analisi dei dati e delle informazioni. I presupposti di fondo sono resi espliciti e tenuti in considerazione. 10.3 Distinzione tra conclusioni, raccomandazioni e insegnamenti appresi I rapporti di valutazione devono distinguere chiaramente i risultati, dalle conclusioni e dalle raccomandazioni. La valutazione presenta conclusioni, raccomandazioni e insegnamenti appresi separatamente e con una distinzione del tutto logica tra esse. Le conclusioni sono convalidate dai risultati e dalle analisi. Raccomandazioni e insegnamenti appresi vengono logicamente dopo le conclusioni. 10.4 Chiarezza e rappresentatività del sommario. Il rapporto di valutazione contiene un sommario esecutivo. Il sommario fornisce una descrizione/visione d’insieme del rapporto, evidenziando le principali conclusioni, raccomandazioni e insegnamenti appresi.

48 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 1/12
Utilità dare risposta coerente a quesiti e problemi rilevanti e specifici offrire soluzioni spendibili rispetto alle esigenze della Valutazione portare benefici chiari all’intero progetto e al sistema preventivare un investimento di risorse per svolgere la Valutazione al meglio Fattibilità Considerare il livello di realizzo del progetto tenendo conto di: Possibili resistenze in particolare negli interventi di innovazione Realtà spesso contraddittorie e complesse (es. personale con varie funzioni) Inerzie che rendono difficile valutare l’impatto del processo

49 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 2/12
Forte vincolo alla pertinenza e appropriatezza rispetto alle finalità corrispondenza piena fra attività di analisi e bisogno valutativo desiderato nel collegamento fra Sistema informativo e Sistema sostantivo, individuazione degli aspetti veramente affini con il problema in studio e realmente influenti sul risultato finale Accuratezza metodologica Competenza accurata nella metodologia della ricerca e nelle tecniche di analisi statistica

50 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 3/12
Nella visione più ampia di valutazione la quale può riguardare aspetti sia della programmazione, della pianificazione che della gestione di progetti o interventi, gli obiettivi della valutazione possono così essere descritti (Bertin): determinazione del livello di raggiungimento degli obiettivi del programma: individuare diversi livelli di possibile raggiungimento degli obiettivi del programma e una volta individuato il livello, ipotizzare delle conseguenze nella fase successiva del programma accertamento degli aspetti forti e gli aspetti deboli degli elementi considerati nel prendere decisioni e nel costruire il programma: qui emerge la competenza del valutatore il quale entra nella sostanza del problema; in un processo, in un programma, ci sono degli anelli forti e degli anelli deboli di congiunzione, questo sempre perché ogni intervento è fatto con le risorse e queste sono limitate. Le situazioni più problematiche che si incontrano nei Sistemi complessi vengono risolte spesso in condizioni di incertezza, l’informazione disponibile non sempre è sufficiente per chiarire i dubbi, questa consapevolezza contribuisce a procedere adeguatamente

51 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 4/12
determinazione del livello di generalizzabilità ed estensione di un programma ad altri gruppi di popolazione: obiettivo importantissimo in un intervento è quello di vedere se, in termini quasi sperimentali, si può estendere al resto della popolazione o prevedere le possibili conseguenze in altre tipologie di popolazione o anche in altri paesi produzione di nuove conoscenze sul programma, sui suoi effetti o sui problemi che si possono incontrare nella sua implementazione: è nell’osservazione sistematica delle varie fasi del programma che si acquisiscono nuove conoscenze necessarie a conoscere meglio la realtà, a capire come il sistema reagisce e a mettere in luce degli aspetti fino ad allora sconosciuti

52 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 5/12
confronto di strategie o programmi alternativi rispetto all’efficacia o ai costi/efficienza: per vedere qual è il miglior programma alternativo che a parità di condizioni, di fattori, realizza meglio gli obiettivi previsti identificazione delle ipotesi per studi ed approfondimenti futuri: in ogni attività di ricerca ci sono dei problemi aperti che possono identificare e stimolare altre ipotesi di studio. Occorre chiedersi, anche a seguito di un intervento, quali sono i problemi aperti che si prospettano, che possono coincidere con le ipotesi di partenza ma che possono anche divergere, comportando l’emergere di problemi nuovi, di ipotesi di studio nuove.

53 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 6/12
È possibile capire cosa vogliamo valutare attraverso i livelli di applicazione, che possono essere distinti nelle seguenti categorie: FRONT END ANALYSIS: questo tipo di valutazione precede l’applicazione del programma e fornisce una guida nell’attuazione, nella costruzione ed implementazione del programma. Questo è molto importante perché serve a prevedere i potenziali problemi che si incontrano. L’analisi verte sulla misurazione dell’opportunità di implementare un programma operato in un preciso contesto spazio-temporale e sulla fattibilità dell’intervento EVALUABILITY ASSESSMENT: ha una funzione più incentrata alla valutazione in senso tecnico, si tratta di capire quali sono i problemi tecnici, quali limiti si possono incontrare applicando diverse strategie

54 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 7/12
FORMATIVE EVALUATION: questo tipo di valutazione ha proprio il compito di valutare i progetti di informazione, le attività che vedono un coinvolgimento diretto di elementi che sono risorse umane. E’ tra i più complessi perché qui la centralità è la risorsa umana. Si possono avere informazioni per la gestione e lo sviluppo del programma in merito alle caratteristiche delle risorse umane. Fra le varie risorse, l’economica, quella delle strutture dei servizi, ecc., è quella umana la più difficile da gestire e quindi anche da valutare IMPACT OR SUMMATIVE EVALUATIONS: è una componente della valutazione che mira a quantificare, dimensionare gli sforzi che si stanno facendo per applicare il programma. Mette in evidenza l’aspetto dell’impegno devoluto per il programma, per l’investimento. Quando si attiva un programma nuovo, un’iniziativa nuova, possono emergere le inerzie del sistema, a volte difficili da valutare a priori (es. operatori che dovranno lavorare con procedure nuove e sperimentali nei confronti dell’utenza, possono reagire in maniera imprevista e corporativa)

55 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 8/12
Rispetto alla complessità dei livelli degli obiettivi c’è una risposta sufficientemente soddisfacente e organica prodotta con l’approccio metodologico chiamato della Valutazione Differenziale, che poggia su pochi, semplici ma ordinati principi: l’opportunità di segmentare ogni progetto, programma, piano di intervento in fasi logicamente e temporalmente consequenziali, ciascuna delle quali va assoggettata ad una specifica valutazione interna. Una prima fase può essere rappresentata ad esempio dalla rilevanza del problema. Quando si decide di attivare un programma, un intervento, è per rispondere ad un problema emergente, rilevante; allora la prima fase è quella della evidenza della rilevanza di un problema. Un’altra fase può essere ad esempio la valutazione delle risorse disponibili, ecc. Il principio della valutazione differenziale serve proprio per questo: si valutano le varie fasi logiche e temporali internamente, per vedere i punti di errore e quali sono i punti critici in ogni aspetto

56 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 9/12
la necessità di selezionare alcune categorie cruciali di valutazione da applicare con atteggiamento specifico a ciascuna delle fasi precedentemente definite. Ad esempio si può considerare la categoria dell’impatto sulla popolazione in termini di aspettative, in termini di immagine, di investimento in strategie di attuazione di programmi diversi l’accortezza di adottare strumenti di osservazione e misura del divenire dei processi in ragione della fase e della categoria di analisi; nelle singole fasi occorre utilizzare strumenti di osservazione diversi l’affermazione del principio della retroazione: nei casi in cui la valutazione dimostri il mancato raggiungimento degli obiettivi intermedi ad essa specifici, si considerano i livelli di raggiungimento degli obiettivi precedenti. Nella logica del processo la sequenzialità temporale o di esecuzione logica temporale è tale per cui se un passaggio è saltato o è insoddisfacente la ragione è da ricercare anche nelle fasi precedenti. L’analisi del diverso livello di raggiungimento, di soddisfazione, di realizzo dei vari passaggi permette di poter avanzare ipotesi sul perché del mancato raggiungimento dell’obiettivo

57 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 10/12
Va ricordato che delle quattro ragioni fondative dell’approccio differenziale, mentre hanno ottenuto pieno riconoscimento e adeguata applicazione le prime tre, divenute condizione di sensibilità concorde tra gli operatori, la quarta non pare ancora penetrata nei modi di gestire le attività programmatiche, valendo piuttosto il costume (o la credenza) che, una volta decollati con un nuovo progetto, esso debba essere portato necessariamente a conclusione, qualsiasi siano state le condizioni esecutive incontrate durante il processo realizzativo: viene a cadere così l’essenza stessa della logica differenziale, che presuppone abilità di aggiustamento e coraggio autoriflessivo, pena la caduta della qualità stessa dell’attività avviata

58 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 11/12
Va anche ricordato che la valutazione differenziale mantiene un ragionevole rispetto per i caratteri dell’altro approccio assai diffuso in letteratura e nella pratica, fondato su forti paradigmi scientifici ma adatto a situazioni segnate da semplicità di contesto e facilità di applicazione (l’approccio cosiddetto della valutazione sperimentale): quest’ultimo opera infatti nella intenzione di misurare l’effetto netto di un unico trattamento fatto intervenire, sotto stretto controllo delle condizioni di disturbo, da parte del ricercatore. Anche il modello differenziale ha alla sua base la ratio della confrontabilità tra i gruppi, dell’analisi prima-dopo l’azione compiuta, dell’isolamento dei fattori, ma esso si scontra con la complessità della situazione, l’ampiezza anche temporale dei processi, la pluralità degli attori e delle funzioni

59 GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 12/12
Flusso di programmazione e valutazione

60 Le dimensioni e le variabili della Valutazione 1/6
Il sistema dei servizi è un sistema produttivo: a fronte di bisogni ad esempio di salute presenti nella comunità, il sistema dispone di risorse umane e materiali che, attraverso processi trasforma in prodotti (es. prestazioni di cura), ai quali corrispondono risultati in salute (es. guarigione da stati morbosi acuti) Pertinenza Misura il rapporto tra RISULTATI/OBIETTIVI e BISOGNI REALI DI SALUTE Efficacia " RISULTATI OBIETTIVI PRODOTTI (iniziali) Efficienza PRESTAZIONI PRODOTTE come è stato eseguito (es. n. di analisi compiute per ogni operatore, n. di telefonate a cui è stata data risposta, ecc.) RISORSE IMPIEGATE Rendimento RISORSE Avanzamento Grado di realizzazione di un progetto Impatto Effetti sul sistema sociale complessivo

61 Le dimensioni e le variabili della Valutazione 2/6
La Joint Commission on Accreditation of Helthcare Organization che opera in USA, indica anche le seguenti dimensioni da misurare per una completa Valutazione del Servizio sanitario: Accessibilità Facilità per l’utente di accedere alle prestazioni in caso di bisogno. Un servizio, in caso di bisogno, è accessibile o no? Tempestività Disponibilità delle prestazioni in termini utili rispetto allo stato di bisogno Es.: se un soggetto chiede di fare una analisi medica, la tempestività incide in termini di salute, perché ci sono esami che non si possono rimandare. Correttezza Corrispondenza delle prestazioni ottenute agli standard in base allo stato dell’arte. Ciò che viene fatto deve essere congruo, coerente, vicino all’istanza. Efficacia Grado di potenziale soddisfacimento del bisogno tramite la prestazioni ricevuta. Pertinenza Corrispondenza tra prestazione ottenuta e bisogno presentato dall’utente. Rendimento Ottenimento dei risultati attesi al minimo costo. Continuità Coordinamento e integrazione tra prestazioni necessarie al soggetto. Si può pensare al paziente che, appena uscito dall’ospedale, sia seguito da altre strutture grazie ad un coordinamento fra servizi.

62 Le dimensioni e le variabili della Valutazione 3/6
Riservatezza Garanzia di non diffusione ad estranei di informazioni concernenti se stessi e il proprio stato di salute. Partecipazione Coinvolgimento del paziente e dei familiari nelle decisioni relative alla prestazione. Garanzia Livello di sicurezza rispetto alle possibilità di ottenere prestazioni in caso di bisogno.

63 Le dimensioni e le variabili della Valutazione 4/6
Alcune caratteristiche dei processi di controllo attuati attraverso la VERIFICA e la VALUTAZIONE: FUNZIONI DI CONTROLLO QUANDO PERCHE’ COSA CONTROLLARE VERIFICA Durante l’esecuzione del progetto Per gestire al meglio il progetto Risultati che via via si vanno perseguendo Avanzamento Uso risorse VALUTAZIONE Alla fine Per imparare per il futuro: riprogettare Risultati finali rispetto a:  obiettivi fissati  bisogni reali Cause di ottimi o cattivi risultati Livelli di efficienza IN SEDE DI PROGETTAZIONE Si stabiliscono i criteri da seguire cosa controllare come controllare chi controllare DURANTE L’ESECUZIONE A CONSUNTIVO si raccolgono e si elaborano i dati si esprimono i giudizi in relazione ai giudizi, eventualmente

64 Le dimensioni e le variabili della Valutazione 5/6
Le variabili che entrano in gioco nella valutazione sono di tre tipi: VARIABILI FINALI: queste non stanno ad significare “il risultato” del processo ma significano “tutto ciò che emerge alla fine di ogni singola fase della valutazione”. Possiamo avere “variabili intermedie” e “variabili finali”. Per “variabili finali” si intende fenomeni che esprimono i “fini” per i quali il micro-sistema produce. Si intendono quindi quelle variabili che, a vario titolo, sono il risultato del processo attivato. Es.: numero di prestazioni erogate, di diagnosi, di prestazioni effettuate per operatore. Quando si parla di “variabili finali” si possono intendere quelle riferite alla fine di tutto il processo (cosa salta fuori alla fine) ma non solo VARIABILI STRUMENTALI: ossia variabili sulle quali operare per ottenere certi risultati. Sono espressione di fenomeni del micro-sistema produttivo (risorse, processi, prodotti) sui quali si può intervenire attraverso l’azione di sviluppo di qualità, al fine di determinare variazioni positive nelle variabili finali. Sono variabili che definiscono il sistema, che compongono il sistema. Ad esempio senza risorse umane non si può avere il “sistema ospedaliero”, ecc.

65 Le dimensioni e le variabili della Valutazione 6/6
VARIABILI CONCOMITANTI: sono quelle variabili sulle quali non si può intervenire ma bisogna subirle. Variabili concomitanti sono: la distribuzione per sesso degli operatori (tanti maschi, tante femmine); se l'unità che dobbiamo valutare si trova ad esempio in un contesto urbano oppure rurale; sono elementi che non si possono modificare. Ad esempio se si vuole valutare il livello di difficoltà che si ha nello studio della statistica, una variabile concomitante è il diploma di maturità posseduto da ogni studente; un fattore inevitabile, immutabile ma che ovviamente deve essere considerato nel momento in cui si procede alla valutazione. Le variabili concomitanti svolgono il loro ruolo sia sul versante degli investimenti, sia sul versante degli effetti finali.

66 Gli indicatori 1/2 L’Organizzazione Mondiale della Sanità definisce “indicatore” un’informazione selezionata in modo opportuno, che aiuta a misurare i cambiamenti in relazione a criteri prioritari e permette di monitorare aspetti specifici dell’“attività” sanitaria, o fattori permanenti alla determinazione della stessa. Gli indicatori possono soddisfare diverse finalità: comparative (quantificando il fenomeno di interesse), valutative (cogliendo la posizione assunta dal fenomeno quantificato, rispetto a standard di riferimento) e programmatorie (suggerendo la possibilità di miglioramento rispetto alla posizione ricoperta). L’indicatore è lo strumento attraverso il quale si concretizza, si operativizza una variabile o un suo aspetto particolare. In termini generali può essere definito come indicatore l’espressione empirica di una variabile. La variabile è un concetto, l’indicatore un suo referente esperenziale.

67 Gli indicatori 2/2 Di seguito vengono descritti alcuni indicatori nell’area dell’assistenza sanitaria. All’interno di ciascun livello di assistenza e/o area di domanda, nel D.Lgs. luglio 95, sono enucleati una serie di indicatori, espressione delle principali classi di fenomeni: INDICATORI SOCIO-ECONOMICI (riguardanti orientativamente i fenomeni socio-economici, demografici e culturali, ecc.); INDICATORI DI STATO DI SALUTE (per genere, età, ambiente di vita, ecc. degli assistiti); INDICATORI DI DOMANDA ESPRESSA E DI ACCESSIBILITÀ (sulla disponibilità del servizio, in termini di strutture e/o di entità delle liste di attesa, sulla numerosità degli utenti reali o potenziali, sulla dimensione della domanda espressa dalla popolazione); INDICATORI DI RISORSE (risorse finanziarie: spesa corrente pro-capite, rapporto tra spesa corrente specifica per livello e/o area di domanda e spesa corrente totale, costo medio per tipologia di operatori; risorse umane); INDICATORI DI ATTIVITA’ (relativa a servizi e prestazioni erogati in rapporto al personale impiegato e agli utenti effettivi e potenziali); INDICATORI DI EFFICACIA (per cogliere i risultati conseguiti, scindibili in: indicatori di risultato complessivo, per valutare il conseguimento degli obiettivi del PSN, e indicatori di risultato tecnico, per valutare la qualità dell’assistenza erogata dai servizi sanitari).

68 Esempio Tre laboratori di analisi biomediche della USL n.100 sono caratterizzati dai seguenti parametri di funzionamento: Parametri Laboratorio A B C 1. Ore settimanali di attività (risorse) 24 30 20 Prestazioni (analisi) 960 1500 1200 Risultati (n. di casi effettivamente diagnosticati) 900 720 Qual è il laboratorio più efficace? Qual è il laboratorio più efficiente? Qual è il laboratorio con rendimento più alto? Quali dovrebbero essere i livelli di attività e di risultato di un quarto laboratorio D, funzionamento di 26 ore, che intendesse raggiungere i massimi valori degli indici di funzionamento dei tre laboratori A, B e C?

69 PRESTAZIONI / RISORSE = 60
Esempio A B C a) EFFICACIA 900/24 = 37,5 1200/30 = 40 720/20 = 36 b) EFFICIENZA 960/24 = 40 1500/30 = 50 1200/20 = 60 c) RENDIMENTO 900/960 = 0,9375 1200/1500 = 0,8 720/1200 = 0,6 d) Poiché ho 26 ore e devo raggiungere i livelli massimi come si fa? EFFICACIA = 40 RISULTATI / RISORSE = 40 26 × 40 = 1040 EFFICIENZA = 60 PRESTAZIONI / RISORSE = 60 26 × 60 = 1560 RENDIMENTO = 66.7% RISULTATI / PRESTAZIONI = 66.7% (1040 : 1560) × 100 = 66.7%

70 LABORATORIO INDIVIDUALE SU: VALUTAZIONE .
VERO FALSO 1. E’ una tecnica di analisi dei processi decisionali nei servizi 2. Una procedura di misurazione è rappresentata dall’analisi della Qualità 3. La V ex ante si basa sui risultatati prodotti alla fine del processo 4. Si basa prevalentemente sulle aspettative dell’utenza 5. L’impatto di un intervento viene affrontato nella V ex ante 6. Si svolge in ogni unità di intervento una volta all’anno 7. E’ sempre associata alle norme di Classificazione della Qualità 8)Permette di misurare diversi aspetti del servizio 9)E’ imposta per legge a tutte le aziende erogatrici di servizi 10.Si configura come un metodo occasionale di osservare l’esperienza 11.La rilevanza dell’intervento o progetto deve emergere nella fase di V ex-post 12.La verifica dell’uso delle risorse è la fase centrale nella Valutazione 13. Il rendimento di un Progetto o intervento è funzione delle sole risorse impiegate 14. L’efficacia è una variabile concomitante nella valutazione del Progetto

71 analizzzati) LABORATORIO SU :INDICATORI DELLA VALUTAZIONE DEI SERVIZI.
Tre laboratori di analisi cliniche sono caratterizzati dai seguenti parametri di funzionamento Parametri Laboratori X Y Z 1) Ore settimanali di attività 2) Prestazioni (n. di prelievi effettuati) 3) Risultati (n. di casi effettivamente analizzzati) Qual è l’ufficio più efficiente? Qual è l’ufficio più efficace? Qual è l’ufficio con rendimento più alto? Quali dovrebbero essere i livelli di attività e di risultato di un quarto ufficio che lavora 36 ore, che intendesse raggiungere i massimi valori degli indici di funzionamento dei laboratori X Y Z?


Scaricare ppt "LA STATISTICA E IL PROCESSO DECISIONALE"

Presentazioni simili


Annunci Google