La valutazione di sistema dalla cronologia alla tipologia

Valutazione di sistema Quando e dove ? Stati Uniti Guerra alla Povertà Presidenza Johnson ( ) Stati Uniti Educational evaluation Ralph Tyler - teoria del curricolo È necessaria una valutazione scientifica finalizzata al miglioramento della qualità dellistruzione

Valutazione di sistema Perché gli U.S.A. ? Provare lefficacia dellintervento pubblico negli affari sociali In Europa il WS è parte integrante del sistema istituzionale NON SI DUBITA DELLA EFFICACIA DEI SERVIZI dalla culla alla bara Lord Beveridge

Valutazione di sistema Quali sviluppi ? Stufflebeam (1985) età dellinnocenza (Tyler - Fisher) prevale il modello sperimentale; fase dello sviluppo/espansione (Stake - Parlett - Hamilton) forti pressioni sul sistema educativo (guerra fredda) si critica il modello sperimentale - illuminative evaluation: non solo i risultati ma anche il processo; fase della professionalizzazione (Scriven, Stake, McDonald) la valutazione diventa una professione - nascono associazioni professionali : goal free evaluation - responsive evaluation - democratic evaluation fase dellintegrazione (Madaus- Stufflebeam-Guba e Lincoln) - le domande e gli assunti dei coinvolti/stakeholders costitiscono il focus organizzativo della valutazione

Valutazione di sistema Quali modelli/approcci ? N.Stame positivista sperimentale - centrato sugli obiettivi; prospettivista - della qualità - centrato sugli standard; costruttivista-del processo sociale - centrato sugli stakeholders-i portatori di interesse.

Valutazione di sistema POSITIVISTA SPERIMENTALE Età dellinnocenza - Tyler Fisher Campbell Stanley … Età della professionalizzazione Fase dellintegrazione

Valutazione di sistema PROSPETTIVISTA DELLA QUALITA Età dellinnocenza - Tyler Fisher Campbell Stanley … Età della professionalizzazione Fase dellintegrazione

Valutazione di sistema COSTRUTTIVISTA DEL PROCESSO SOCIALE Età dellinnocenza - Tyler Fisher Campbell Stanley … Età della professionalizzazione Fase dellintegrazione

Valutazione di sistema - il modello positivista sperimentale Tyler - Fisher - Campbell Concepito per programmi volti ad affrontare gravi e ricorrenti problemi sociali (disoccupazione, criminalità …) Logica razionale: obiettivi/mezzi/risultati attesi Ciclo politico: decisione implementazione valutazione nuova decisione.

Valutazione di sistema - il modello positivista sperimentale Il programma è ipotizzato per determinare un cambiamento; Il cambiamento atteso è definito da: scopi (goals) e da obiettivi (objectives); Gli scopi (goals) definiscono aspirazioni (politiche) non quantificabili (es. eliminare la disoccupazione ridurre la povertà ridurre la dispersione scolastica…) Gli obiettivi (objectives) sono espressi attraverso indicatori quantitativi (es. creare 1000 posti di lavoro portare il livello di povertà sotto la media europea ridurre del 10% il numero degli abbandoni scolastici)

Valutazione di sistema - il modello positivista sperimentale La valutazione : 1.Confronta obiettivi e risultati 2.Verifica se si è prodotto cambiamento 3.Verifica se il cambiamento dipende dal programma o da altre concause

Valutazione di sistema - il modello positivista sperimentale Caratteri della valutazione: 1.Metodo di verifica quasi sperimentale dove il programma (gli imput) è la variabile indipendente e gli obiettivi la variabile dipendente; 2.Uso del gruppo di controllo; 3.Modelli di osservazione ex-post (confrontare la situazione dopo lintervento con quella pre-intervento); 4.Tecniche di ricerca quantitative - questionario 5.I valutatori sono esterni 6.Niente valutazione formativa (cosa non sta funzionando ?) 7.Solo valutazione sommativa (vale la pena proseguire ?)

Valutazione di sistema - il modello positivista sperimentale Le critiche: Come collegare goals ad objectives ? Gli obiettivi rischiano di essere poco chiari (di quanto REALISTICAMENTE deve ridursi labbandono perché si sia realizzata una significativa lotta alla dispersione scolastica ?); La valutazione sottovaluta tutto il processo di implementazione e osserva solo i risultati ; La valutazione può dimostrare che qualcosa si modifica dopo che è stato introdotto un input ma non è in grado di dire perché ciò avviene; Il fine giustifica i mezzi? (è il successo che determina la bontà di un programma?)

Valutazione di sistema - il modello prospettivista - della qualità Il programma è valutato sulla base di unidea di valore: Concetto di merito detenuto da attori interni e/o dai valutatori Standard definito allesterno del programma

Valutazione di sistema - il modello prospettivista - della qualità Goal free evaluation M.Scriven 1992 Chi valuta non può essere neutrale Gli obiettivi sono alibi La valutazione è un giudizio di valore

Valutazione di sistema - il modello prospettivista - della qualità Giudizio di valore merit valore intrinseco espresso nello standard di qualità di unattività worth valore estrinseco espresso dai bisogni dei destinatari

Valutazione di sistema - il modello prospettivista - della qualità Corso di inglese Merit La didattica della lingua Worth La domanda di apprendimento Prof ! Lei è bravissima Ma noi volevamo un corso di tedesco !!

Valutazione di sistema - il modello prospettivista - della qualità Fasi della valutazione (Scriven) : 1.Stabilire criteri di merito e standard di qualità 2.Misurare le performance dei singoli programmi 3.Creare un graduatoria dei programmi 4.Giudizio finale di valore

Valutazione di sistema - il modello prospettivista - della qualità Lelemento di confronto non è lobiettivo ma lo standard di qualità Modello positivista Il programma ha conseguito gli obiettivi ? Modello prospettivista Il programma è di buona qualità ?

Valutazione di sistema - il modello prospettivista - della qualità Il lessico della qualita TOTAL QUALITY Obiettivo strategico a lungo termine di unorgnizzazione Esprime unidea di eccellenza nella: competitività, redditività, costi, tempi, immagine, prodotto, servizio, controlli, ecologia.

Valutazione di sistema - il modello prospettivista - della qualità Il lessico della qualità BENCHMARKING Processo di analisi della propria organizzazione (prestazioni/processi) attuato tramite confronto con altre organizzazioni dello stesso settore o di altri ritenute eccellenti

Valutazione di sistema - il modello prospettivista - della qualità Il lessico della qualità EMPOWERMENT Creazione di una struttura/azione che insieme alla erogazione di formazione dei lavoratori/dipendenti consente a questi ultimi di diventare consapevoli delle proprie capacità e di poterle sviluppare (job enrichment).

Valutazione di sistema - il modello prospettivista - della qualità Il lessico della qualità COSTUMER SATISFACTION La soddisfazione del cliente intesa come obiettivo prioritario di un sistema di qualità. Si esplica in una strategia organizzativa/aziendale che si concreta in un insieme di scelte finalizzate alla produzione di quella qualità che incontra pienamente le esigenze del cliente. Non si tratta di una qualità del prodotto ma di una qualità del modo di lavorare dellorganizzazione, cioè di ciò che porta le persone a consolidare la loro prima scelta, ripetendola e riconfermandola nel tempo.

Valutazione di sistema - il modello prospettivista - della qualità Il modello positivista sperimentale si presta per la valutazione di programmi ad hoc Il modello prospettivista è adatto a valutare il rendimento di istituzioni e servizi Progetto Qualità nella Scuola Total Quality Management Sanità, Assistenza, Trasporti… Quali impieghi ?

Valutazione di sistema - il modello prospettivista - della qualità Lapproccio alla qualità oggi si identifica con la certificazione e con lapplicazione anche ai servizi pubblici del sistema ISO9000 (servizi privati) Il valutatore diventa un certificatore di standard e assicura losservanza di procedure stabiliti entrambi da unautorità esterna Quali sviluppi ?

Valutazione di sistema - il modello prospettivista - della qualità Le critiche: Come si fissano gli standard ? Rispetto a cosa ci si confronta (banchmerking) ? Mete da perseguire o soglie minime ? Chi stabilisce gli standard: lautorità politica, le amministrazioni, gli esperti, la concertazione tra parti sociali ? Sono nazionali o locali ?

Valutazione di sistema - il modello prospettivista - della qualità Le critiche La certificazione ISO 9000 si riferisce solo al merit e il worth? Siamo certificati ISO9000 e fanno ancora domande !!

Valutazione di sistema - il modello costruttivista - del processo sociale Guba e Lincoln 1989 valutazione di quarta generazione rispondente costruttivista Le domande le preoccupazioni gli assunti degli stakeholders sono il focus della valutazione La definzione di cosa sia un successo è un concetto che si forma in un momento successivo al varo del programma. Equando si sente lopinione degli stakeholders che si può formulare un giudizio.

Valutazione di sistema - il modello costruttivista - del processo sociale Stakeholder Con il termine Stakeholder si individuano i soggetti "portatori di interessi" nei confronti di un'iniziativa economica, sia essa un'azienda sia esso un progetto.Fanno, ad esempio, parte di questo insieme: i clienti, i fornitori, i finanziatori (banche e azionisti), i collaboratori, ma anche gruppi di interesse esterni come i residenti di aree limitrofe all'azienda o gruppi di interesse locali.aziendaprogettoclientifornitoribancheazionistiazienda

Valutazione di sistema - il modello costruttivista - del processo sociale Il Gruppo Telecom Italia suddivide i suoi stakeholders in otto categorie: clienti, fornitori, concorrenti, istituzioni, ambiente, comunità, risorse umane e azionisti. Bilancio e Piano Strategico di Sostenibilità sono stati ideati in modo da misurare e pianificare la performance relativa a ciascun stakeholder.

Gli stakeholders (portatori di interesse) principali per la promozione della sicurezza sono i cittadini, i familiari, le organizzazioni di rappresentanza dei cittadini, le associazioni di volontariato, gli enti locali, il personale e i dirigenti delle aziende sanitarie, i sindacati e le assicurazioni. Il coinvolgimento di tutti questi soggetti permette di acquisire e rinnovare la consapevolezza dei rischi, identificare possibili nuovi determinanti degli stessi pericoli e permette, quindi, di realizzare un sistema integrato per la gestione del rischio clinico. Valutazione di sistema - il modello costruttivista - del processo sociale

Assunti di fondo del modello: Ogni volta che si attua un programma esso muta a contatto del contesto; I problemi sentiti dai vari stakeholders saranno diversi e quindi le conclusioni non possono essere generalizzate; La valutazione di un progetto può fornirmi tendenze, indicazioni che si possono applicare in contesti simili.

Valutazione di sistema - il modello costruttivista - del processo sociale Come valutare ? La valutazione deve essere partecipata; I valutatori devono interagire con gli stakeholders; In presenza di interessi o posizioni in conflitto i valutatori assumono ruoli di negoziazione (arbitri - facilitatori); Il valutatore fa appello alla sua esperienza e confronta il caso con altri simili.

Valutazione di sistema - il modello costruttivista - del processo sociale A che serve la valutazione ? Finalità conoscitive: comprendere la situazione attraverso gli attori, definire i problemi, chiarire ciò che si può attenere con i programmi. Empowerment: potenziare le capacità dei beneficiari di utilizzare il programma, favorire il processo di apprendimento.

Valutazione di sistema Riassumendo ?

Valutazione di sistema APPROCCI: Postivista-sperimentale Prospettivista-della qualità Costruttivista-del processo sociale

Valutazione di sistema FOCUS: Obiettivi (positivista) Standard (qualità) Stakeholders (costruttivista)

Valutazione di sistema AMBITI DI RIFERIMENTO: Ciclo della decisione (positivista) Amministrazione e menagement del programma (qualità) Il contesto (costruttivista)

Valutazione di sistema UTILIZZAZIONE: Strumentale per la politica (positivista) Gestione e funzionamento dellamministrazione (qualità) Conoscitiva-Empowerment (costruttivista)

Valutazione di sistema VANTAGGI: serve a programmare meglio (positivista) serve al buon menagement (qualità) genera apprendimento per tutti gli stakeholders (costruttivista)

Valutazione di sistema PROBLEMI: Gli obiettivi non sono chiari. (positivista) Che cosè la qualità/come e chi fissa gli standard ? (qualità) Da dove cominciare e dove guardare ? (costruttivista)

Valutazione di sistema In coclusione ?

Valutazione di sistema Alla valutazione non ci si può sottrarre Divario tra offerta e domanda di fondi pubblici, Rivoluzione dellinformazione che incrementa la domanda di conoscenze valutative Norme che vincolano sempre più estesa finanziamenti a risultati Legge sulla trasparenza Legge sullautonomia AUMENTO DI RESPONSABILITA ANCHE GLI ENTI PUBBLICI NO-PROFIT DEVONO INTRAPRENDERE LA STRADA DELLE IMPRESE ECONOMICHE

Valutazione di sistema PER LA VALUTAZIONE CI SONO APPROCCI NON PARADIGMI In prospettiva sistemica i modelli non si escludono e possono quindi essere utilizzati a seconda del programma o del problema

Valutazione di sistema La valutazione va verso una sempre più marcata democratizzazione Valutare non è un atto esterno neutrale oggettivo. Valutare è unazione che chiede coinvolgimento partecipazione inclusione. Una valutazione efficace genera apprendimento e produce empowerment.

Valutazione di sistema Per imparare dai propri errori bisogna prima rendersi conto di starli commettendo A.Bloch Fine !!!