La valutazione errante e il regno del metodo Introduzione di Claudio Bezzi alla sessione trasversale Metodo X° Congresso AIV Roma, 19-21 aprile 2007.

Presentazione sul tema: "La valutazione errante e il regno del metodo Introduzione di Claudio Bezzi alla sessione trasversale Metodo X° Congresso AIV Roma, 19-21 aprile 2007."— Transcript della presentazione:

1 La valutazione errante e il regno del metodo Introduzione di Claudio Bezzi alla sessione trasversale Metodo X° Congresso AIV Roma, 19-21 aprile 2007

2 Claudio Bezzi, bezzi@valutazione.it Una premessa assertiva la valutazione si basa su pratiche di ricerca sociale; senza tale ricerca la valutazione è solo chiacchiere quindi…

3 Claudio Bezzi, bezzi@valutazione.it Alcuni assiomi: La promessa valutativa risiede nella sua multidisciplinarietà; Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; Lagire valutativo, nel momento della ricerca, si confronta con unenorme mole di proposte tecniche, non equivalenti, gravide di teoria e di conseguenze empiriche

4 Claudio Bezzi, bezzi@valutazione.it La promessa valutativa risiede nella sua multidisciplinarietà; Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; Conseguentemente lagire valutativo, nel momento della ricerca, si confronta con unenorme mole di proposte tecniche Alcuni assiomi: è il livello - in un certo senso - ontologico della valutazione; non riguarda semplicemente l accostamento di discipline ma guarda a ciò che Scriven chiama transdisciplina; implica unattenzione al dialogo, al pluralismo, e a forti implicazioni nellambito dei cosiddetti Mixed Methods

5 Claudio Bezzi, bezzi@valutazione.it Alcuni assiomi: Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; è il livello epistemologico della valutazione; significa che non si tratta di applicare procedure, e che ogni azione di raccolta e analisi di dati e informazioni è gravida di teoria, e performa il risultato contribuendo a costruire un determinato e diverso giudizio valutativo

6 Claudio Bezzi, bezzi@valutazione.it Alcuni assiomi: Lagire valutativo, nel momento della ricerca, si confronta con unenorme mole di proposte tecniche è il livello metodologico della valutazione; non è mai da confondere col tecnicismo e con loperazionismo; ha senso solo se illuminato dalla precedente riflessione teorica; implica necessariamente unadeguata preparazione su strategie e tecniche.

7 Claudio Bezzi, bezzi@valutazione.it I valutatori sono pronti? Allestero generalmente sì In Italia probabilmente non abbastanza

8 Claudio Bezzi, bezzi@valutazione.it basato solo sullanalisi degli articoli della RIV dal 2000 al 2005

9 Claudio Bezzi, bezzi@valutazione.it Criteri dellesercizio Analizzati solo gli articoli principali, non gli editoriali, le rubriche quali Notizie dalla comunità, etc. Non inclusi gli articoli di autori stranieri. Citazioni: non si sono contate le ricorrenze entro lo stesso articolo. Limiti dellesercizio Soggettività nellattribuzione degli articoli. Evidenti limiti nella catalogazione delle citazioni, con margini di errore elevati.

10 Claudio Bezzi, bezzi@valutazione.it I valori assoluti RIV 2000/2001: Articoli in totale: 29 Citazioni: 547 RIV 2003-2005: Articoli in totale: 73 Citazioni: 1.533 Il secondo ciclo di pubblicazioni presenta 2,5 volte gli articoli del primo ciclo e 2,8 volte il numero delle citazioni

11 Claudio Bezzi, bezzi@valutazione.it Cosa si è pubblicato Solo ¼ dei testi (nel periodo 2003-05) si possono considerare teorico-metodologici specialistici

12 Claudio Bezzi, bezzi@valutazione.it Cosa si è pubblicato Solo 19% dei testi 2003-2005 riguardano casi concreti… … dei quali, in poco meno della metà, non si capisce cosa abbiano realmente fatto

13 Claudio Bezzi, bezzi@valutazione.it Cosa si è citato Il 60% circa di ciò che si cita riguarda elementi di sfondo, collaterali, contigui, ma non valutativi I testi valutativi non italiani sono in crescita, ma restano ultimi come quantità di citazioni

14 Claudio Bezzi, bezzi@valutazione.it Selezione di Autori citati I testi stranieri più citati Autori come Scriven, Weiss, Fetterman (per non parlare di altri importanti autori) raccolgono frequenze irrisorie

15 Claudio Bezzi, bezzi@valutazione.it Riepilogo Un numero molto ridotto di articoli sono classificabili come specialistici, con oggetto teoria e metodo; la maggior parte resta di carattere introduttivo, o relativo a temi collaterali. Pochissimi trattano casi concreti, e una esigua minoranza mostra concretamente come si sono fatte le cose.

16 Claudio Bezzi, bezzi@valutazione.it Riepilogo Anche se il dato è in crescita, si cita poca valutazione (perché non serve o perché non si legge?); di questa, una parte minoritaria riguarda testi stranieri. I classici risultano poco frequentati, con mancanze clamorose (p.es. Scriven) e stereotipie eclatanti (p.es. di Patton si cita quasi solo Utilization-focused Evaluation, di Guba e Lincoln la 4^ Generation, etc.)

17 Claudio Bezzi, bezzi@valutazione.it

18 I valori assoluti: le citazioni Tipo di citazioni 2000/012003/05 Citazioni relative al tema trattato, non di carattere valutativo, in lingua 126390 Citazioni relative al tema trattato, non di carattere valutativo, in italiano 228528 Citazioni valutative, altre rispetto agli autori indicati sotto, in lingua 76283 Citazioni valutative, altre rispetto agli autori indicati sotto, in italiano 117332 Totali5471.533

19 Claudio Bezzi, bezzi@valutazione.it Alcuni Autori citati Autori citati 2000/012003/05 Means, Evaluating socio-economics programmes …, 1999, 6 voll.39 Guba e Lincoln, Fourth Generation Evaluation, 198921 Patton, Utilization-focused Evaluation, 199957 Rossi, Freeman e Lipsey, Evaluation. A systematic approach, 199964 Fetterman – vari testi sullempowerment23 Scriven, Evaluation Thesaurus, 199112 Scriven, Hard-Won Lessons in Program Evaluation3- Pawson e Tilley, Realistic Evaluation, 199749 Bertin, Decidere nel pubblico…, 198911 Bertin, Valutazione e sapere sociologico, 199523 Bezzi, La valutazione dei servizi alla persona, 200033 Bezzi, Il disegno della ricerca valutativa, 2001 e 2003913 Bezzi-Palumbo (a cura), Strategie di valutazione, 1998 (o saggi ivi contenuti)55 Martini e Cais, Controllo (di gestione) e valutazione (delle politiche)…, 200042 Palumbo, Il processo di valutazione…, 200199 Stame, Lesperienza della valutazione, 199888