La valutazione errante e il regno del metodo Introduzione di Claudio Bezzi alla sessione trasversale Metodo X° Congresso AIV Roma, aprile 2007

Claudio Bezzi, Una premessa assertiva la valutazione si basa su pratiche di ricerca sociale; senza tale ricerca la valutazione è solo chiacchiere quindi…

Claudio Bezzi, Alcuni assiomi: La promessa valutativa risiede nella sua multidisciplinarietà; Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; Lagire valutativo, nel momento della ricerca, si confronta con unenorme mole di proposte tecniche, non equivalenti, gravide di teoria e di conseguenze empiriche

Claudio Bezzi, La promessa valutativa risiede nella sua multidisciplinarietà; Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; Conseguentemente lagire valutativo, nel momento della ricerca, si confronta con unenorme mole di proposte tecniche Alcuni assiomi: è il livello - in un certo senso - ontologico della valutazione; non riguarda semplicemente l accostamento di discipline ma guarda a ciò che Scriven chiama transdisciplina; implica unattenzione al dialogo, al pluralismo, e a forti implicazioni nellambito dei cosiddetti Mixed Methods

Claudio Bezzi, Alcuni assiomi: Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; è il livello epistemologico della valutazione; significa che non si tratta di applicare procedure, e che ogni azione di raccolta e analisi di dati e informazioni è gravida di teoria, e performa il risultato contribuendo a costruire un determinato e diverso giudizio valutativo

Claudio Bezzi, Alcuni assiomi: Lagire valutativo, nel momento della ricerca, si confronta con unenorme mole di proposte tecniche è il livello metodologico della valutazione; non è mai da confondere col tecnicismo e con loperazionismo; ha senso solo se illuminato dalla precedente riflessione teorica; implica necessariamente unadeguata preparazione su strategie e tecniche.

Claudio Bezzi, I valutatori sono pronti? Allestero generalmente sì In Italia probabilmente non abbastanza

Claudio Bezzi, basato solo sullanalisi degli articoli della RIV dal 2000 al 2005

Claudio Bezzi, Criteri dellesercizio Analizzati solo gli articoli principali, non gli editoriali, le rubriche quali Notizie dalla comunità, etc. Non inclusi gli articoli di autori stranieri. Citazioni: non si sono contate le ricorrenze entro lo stesso articolo. Limiti dellesercizio Soggettività nellattribuzione degli articoli. Evidenti limiti nella catalogazione delle citazioni, con margini di errore elevati.

Claudio Bezzi, I valori assoluti RIV 2000/2001: Articoli in totale: 29 Citazioni: 547 RIV : Articoli in totale: 73 Citazioni: Il secondo ciclo di pubblicazioni presenta 2,5 volte gli articoli del primo ciclo e 2,8 volte il numero delle citazioni

Claudio Bezzi, Cosa si è pubblicato Solo ¼ dei testi (nel periodo ) si possono considerare teorico-metodologici specialistici

Claudio Bezzi, Cosa si è pubblicato Solo 19% dei testi riguardano casi concreti… … dei quali, in poco meno della metà, non si capisce cosa abbiano realmente fatto

Claudio Bezzi, Cosa si è citato Il 60% circa di ciò che si cita riguarda elementi di sfondo, collaterali, contigui, ma non valutativi I testi valutativi non italiani sono in crescita, ma restano ultimi come quantità di citazioni

Claudio Bezzi, Selezione di Autori citati I testi stranieri più citati Autori come Scriven, Weiss, Fetterman (per non parlare di altri importanti autori) raccolgono frequenze irrisorie

Claudio Bezzi, Riepilogo Un numero molto ridotto di articoli sono classificabili come specialistici, con oggetto teoria e metodo; la maggior parte resta di carattere introduttivo, o relativo a temi collaterali. Pochissimi trattano casi concreti, e una esigua minoranza mostra concretamente come si sono fatte le cose.

Claudio Bezzi, Riepilogo Anche se il dato è in crescita, si cita poca valutazione (perché non serve o perché non si legge?); di questa, una parte minoritaria riguarda testi stranieri. I classici risultano poco frequentati, con mancanze clamorose (p.es. Scriven) e stereotipie eclatanti (p.es. di Patton si cita quasi solo Utilization-focused Evaluation, di Guba e Lincoln la 4^ Generation, etc.)

Claudio Bezzi,

I valori assoluti: le citazioni Tipo di citazioni 2000/012003/05 Citazioni relative al tema trattato, non di carattere valutativo, in lingua Citazioni relative al tema trattato, non di carattere valutativo, in italiano Citazioni valutative, altre rispetto agli autori indicati sotto, in lingua Citazioni valutative, altre rispetto agli autori indicati sotto, in italiano Totali

Claudio Bezzi, Alcuni Autori citati Autori citati 2000/012003/05 Means, Evaluating socio-economics programmes …, 1999, 6 voll.39 Guba e Lincoln, Fourth Generation Evaluation, Patton, Utilization-focused Evaluation, Rossi, Freeman e Lipsey, Evaluation. A systematic approach, Fetterman – vari testi sullempowerment23 Scriven, Evaluation Thesaurus, Scriven, Hard-Won Lessons in Program Evaluation3- Pawson e Tilley, Realistic Evaluation, Bertin, Decidere nel pubblico…, Bertin, Valutazione e sapere sociologico, Bezzi, La valutazione dei servizi alla persona, Bezzi, Il disegno della ricerca valutativa, 2001 e Bezzi-Palumbo (a cura), Strategie di valutazione, 1998 (o saggi ivi contenuti)55 Martini e Cais, Controllo (di gestione) e valutazione (delle politiche)…, Palumbo, Il processo di valutazione…, Stame, Lesperienza della valutazione,