Monitoraggio e valutazione dei servizi formativi Gli Indicatori DOCENTI Emmanuele Crispolti (moduli 1 e 3) Alessandro Chiozza (moduli 2 e 4)

Valutazione ex ante – Audit Monitoraggio e valutazione dei servizi formativi Valutazione ex ante – Audit (esame della fattibilità dell’intervento) La valutazione ex ante consiste in una analisi delle attività formative prima che esse vengano tradotte in interventi didattici Permette di evitare dispendio di risorse e di tempi valutando se, a monte, il progetto risulta in grado di produrre i benefici previsti

Aree della Valutazione ex ante Monitoraggio e valutazione dei servizi formativi Aree della Valutazione ex ante Finanziaria Didattica Logistica Organizzativa

Aree della Valutazione ex ante Monitoraggio e valutazione dei servizi formativi Aree della Valutazione ex ante Finanziaria Investe gli aspetti di costo dell’intervento (costo del corso, costo ora/allievo, aderenza al preventivo, ecc.) Didattica Consiste nell’analisi delle condizioni di partenza di tre elementi: docenti (competenza, esperienza e linguaggio), allievi (competenze e disponibilità) e del programma (articolazione logica e sequenziale, modalità di esposizione dei contenuti)

Aree della Valutazione ex ante Monitoraggio e valutazione dei servizi formativi Aree della Valutazione ex ante Logistica Riguarda l’adeguatezza delle strutture (sede a norma, qualità del materiale utilizzato, supporti didattici previsti, mezzi di trasporto dei corsisti, ecc.) Organizzativa Si riferisce alla rilevanza dell’azione formativa per l’ambito organizzativo nel quale operano i destinatari finali dell’intervento

Valutazione ex ante – Indicatori di contenuto Monitoraggio e valutazione dei servizi formativi Valutazione ex ante – Indicatori di contenuto Chiara descrizione dell’analisi di contesto Chiara individuazione dei fabbisogni che hanno generato il progetto Chiara e puntuale descrizione identificazione di: finalità, obiettivi, risorse umane ed economiche, metodologie didattiche, azioni extra- didattiche, partner coinvolti Programma di dettaglio per singoli moduli Chiara individuazione delle competenze/profilo professionale da ottenere (articolate in conoscenze, abilità, comportamenti) Esistenza dell’analisi di fattibilità (costi, rispondenza alle esigenze dei fruitori diretti o indiretti) Individuazione di strumenti di controllo, valutazione e correzione da adottare Correlazione con le esigenze del mercato del lavoro e di sviluppo di imprese locali

Valutazione ex ante – Indicatori finanziari Monitoraggio e valutazione dei servizi formativi Valutazione ex ante – Indicatori finanziari copertura finanziaria: % di entrate da finanziamento del richiedente costo orario: costo medio per ora di formazione costo allievo: costo medio per formando incidenza spese per docenti: % costi docenza su totale costi incidenza spese strutturali: % costi di attivazione dell'azione formativa su totale costi

Valutazione in itinere - Indicatori Monitoraggio e valutazione dei servizi formativi Valutazione in itinere - Indicatori costo orario: costo medio per ora di formazione costo allievo: costo medio per formando attrattività corso: numero di pre-iscritti/numero iscritti incidenza teoria: ore di teoria/totale ore incidenza stage: ore di stage/totale ore disponibilità struttura: numero di ore disponibili al giorno/24 ore curriculum docenti: titolo di studio, esperienze numero tutor: numero di allievi/numero di tutor rispetto preventivi: ore erogate/ore previste

Valutazione ex post – Indicatori di efficacia Monitoraggio e valutazione dei servizi formativi Valutazione ex post – Indicatori di efficacia ore realizzate/ore previste numero di utenti iscritti/numero di utenti previsti numero di utenti formati/numero di utenti previsti analisi delle caratteristiche del gruppo selezionato rispetto al gruppo target previsto tasso di abbandono: numero finale di utenti/numero iniziale analisi delle cause di abbandono (disinteresse, assunzione, difficoltà di apprendimento, ecc.)

Valutazione ex post – Indicatori di efficienza (COSTI) Monitoraggio e valutazione dei servizi formativi Valutazione ex post – Indicatori di efficienza (COSTI) costi a preventivo/costi a consuntivo costo totale per allievo/costo preventivato per allievo costi rendicontati /costi preventivati costo orario: costo medio per ora di formazione costo allievo: costo medio per formato costo dei docenti: costi per docenti/totale costi costo dei docenti: costi per docenti/numero formati costi di struttura: costi di struttura/totale costi costi di struttura: costi di struttura/numero formati numero dei docenti/numero dei formati

Valutazione ex post – Impatto Monitoraggio e valutazione dei servizi formativi Valutazione ex post – Impatto corso finalizzato all’inserimento occupazionale: tasso di occupazione (% di allievi occupati a 12-24 mesi sul totale corsisti) corso per operatori di sportello: n° utenti orientati; grado di soddisfazione degli utenti corso per operatori alle vendite: scarto % tra numero di ordini acquisiti prima e dopo il corso nello stesso lasso di tempo corso per operatori all’assistenza informatica: scarto % tra numero di richieste evase con successo prima e dopo il corso nello stesso lasso di tempo corso per responsabili di CFP: scarto % tra progetti gestiti prima e dopo il corso nello stesso lasso di tempo

La Valutazione del gradimento - Indicatori Monitoraggio e valutazione dei servizi formativi La Valutazione del gradimento - Indicatori coerenza tra la formazione ricevuta e gli obiettivi professionali/ruolo ed attività grado di utilizzo dei contenuti di carattere generale e/o specialistico dell'intervento giudizio su materiale e équipe didattica giudizio sulle metodologie didattiche giudizio sull'organizzazione e sugli aspetti logistici giudizio su docenti e tutor grado di soddisfazione generale

Valutazione dell’apprendimento Monitoraggio e valutazione dei servizi formativi Valutazione dell’apprendimento La verifica degli apprendimenti e dei cambiamenti realizzati dai partecipanti può essere svolta sia durante l'azione formativa (ad esempio alla fine di ogni modulo) che al suo termine (come parte della valutazione ex post). L’apprendimento costituisce infatti il principale risultato dell’azione formativa. Per valutare quanto è stato appreso è quindi necessario stabilire in anticipo gli esiti attesi in termini di conoscenze, abilità e comportamenti (secondo la classica tripartizione).

… Valutazione dell’apprendimento Monitoraggio e valutazione dei servizi formativi … Valutazione dell’apprendimento Essendo l’apprendimento il fattore maggiormente legato alla soggettività dell'utente, esso può essere influenzato da fattori estranei all'azione o al suo livello qualitativo. Per valutare l’effetto dell’intervento formativo sulle conoscenze, competenze e comportamenti degli allievi è quindi necessario poter confrontare la situazione di partenza con quella al termine del corso. Bisogna pertanto prevedere dei test in ingresso al percorso formativo o all’inizio dei singoli moduli.

Esercizi e Role Playing Monitoraggio e valutazione dei servizi formativi … Valutazione dell’apprendimento CONOSCENZE Acquisizione nuovi concetti, teorie, informazioni, schemi logici ABILITA’ Acquisizione capacità operative ed applicative ATTEGGIAMENTI Mutamento dell’orientamento all’azione, al giudizio, alla reazione emotiva Questionari pre e post Esercizi e Role Playing Questionari ed interviste

Questionari per la valutazione dell’apprendimento Monitoraggio e valutazione dei servizi formativi Questionari per la valutazione dell’apprendimento Vantaggi Svantaggi Domande aperte Semplicità nel formulare le domande Consentono di scegliere il grado di articolazione delle conoscenze possedute Richiedono tempi lunghi di risposta Se l’argomento non è ben circoscritto, si rischia di avere risposte diverse ma tutte valide E’ necessaria una guida dettagliata sulle modalità di risposta Domande chiuse o a scelta multipla Utili per testare conoscenze di base Poco adeguate nella valutazione di competenze complesse

Differenziale semantico molto d’accordo/per nulla d’accordo Monitoraggio e valutazione dei servizi formativi La valutazione del gradimento: domande a risposta multipla Scala di Likert Differenziale semantico molto d’accordo/per nulla d’accordo contrapposizione tra due opposti: buono/cattivo; interessante/non interessante, ecc.

Monitoraggio e valutazione dei servizi formativi Scala di Likert Si chiede di indicare il grado di accordo o disaccordo con una affermazione Ha il vantaggio di risultare di facile e veloce risposta E’tipicamente utilizzata per misurare costrutti intangibili (ad esempio la soddisfazione nei servizi) Si tratta di una scala ad una dimensione basata su 5 o 7 gradi (da molto d’accordo a per nulla d’accordo, con il valore centrale neutro) Se si vuole permettere il posizionamento su un valore centrale neutro si deve proporre una scala con un numero dispari di posizioni; se si vuole evitare che tutti tendano a posizionarsi al centro è opportuno proporre una scala con un numero pari di posizioni, senza valore centrale neutro

Scala del differenziale semantico Monitoraggio e valutazione dei servizi formativi Scala del differenziale semantico Si chiede ai soggetti di valutare un oggetto su una scala a 5 o 7 gradi (il punto centrale neutro) legata a ciascun estremo a due aggettivi bipolari (come buono/cattivo, forte/debole, equilibrato/squilibrato, ecc.) Ad es. “Ha trovato i contenuti di questo corso”: Teorici I_I_I_I_I_I Pratici “Il modo in cui sono stati trattati i diversi argomenti ti è sembrato”: Superficiale I_I_I_I_I_I Approfondito