Monitoraggio e valutazione dei servizi formativi

Presentazione sul tema: "Monitoraggio e valutazione dei servizi formativi"— Transcript della presentazione:

1 Monitoraggio e valutazione dei servizi formativi
2° modulo La qualità dell’informazione e la predisposizione degli strumenti di rilevazione Perugia, 9 – 11 settembre 2008

2 Monitoraggio e valutazione dei servizi formativi
La qualità del prodotto e la qualità del processo Perugia, 9 – 11 settembre 2008

3 Caratteristiche generali dell’informazione statistica
Rilevanza Accuratezza Tempestività Accessibilità e trasparenza Confrontabilità Coerenza Completezza

4 Caratteristiche generali dell’informazione statistica
Rilevanza Capacità dell’informazione di soddisfare le esigenze conoscitive. Tale caratteristica è strettamente collegata con gli obiettivi dell’indagine Accuratezza Grado di corrispondenza tra la stima ottenuta dall’indagine e il vero (ma ignoto) valore della caratteristica di interesse

5 Caratteristiche generali dell’informazione statistica
Tempestività Brevità dell’intervallo di tempo compreso tra il momento della diffusione dell’informazione prodotta e l’epoca di riferimento della stessa Accessibilità e trasparenza Semplicità di reperire e acquisire l’informazione disponibile in relazione alle proprie finalità

6 Caratteristiche generali dell’informazione statistica
Confrontabilità Possibilità di paragonare nel tempo e nello spazio le statistiche riguardanti il fenomeno di interesse Coerenza Possibilità di combinare le inferenze semplici in induzioni più complesse Completezza Capacità di integrazione dei singoli processi al fine di fornire un quadro informativo soddisfacente

7 … in aggiunta Tutela della riservatezza Garanzia dell’anonimato per i soggetti che hanno fornito informazioni utili all’indagine

8 Caratteristiche generali delle procedure di acquisizione dell’informazione
Universalità e stabilità Praticabilità Verificabilità Parsimonia

9 Caratteristiche generali delle procedure di acquisizione dell’informazione
Universalità e stabilità Quanto la procedura è compresa in modo omogeneo dagli interessati e per un tempo sufficientemente lungo Praticabilità Grado di comparabilità delle procedure con il contesto legale e culturale entro il quale devono essere applicate e si riferisce anche all’esistenza di chiarimenti adeguati su come applicare le regole e come affrontare particolari problemi

10 Caratteristiche generali delle procedure di acquisizione dell’informazione
Verificabilità Necessità che la procedura preveda anche le istruzioni volte a definire i metodi e gli strumenti e le informazioni che consentono di controllare la sua applicazione Parsimonia Valutazione dell’impatto delle procedure sui costi dell’indagine

11 … in aggiunta Definizione di una serie di azioni di prevenzione, correzione e valutazione dell’errore relativamente alle varie fasi dell’indagine Azioni preventive al fine di rendere meno probabile l’errore Azioni di individuazione e correzione degli errori per risolvere incoerenze nelle informazioni raccolte prima dell’elaborazione o comunque della produzione statistica Azioni finalizzate a quantificare il livello di errore

12 Alcune azioni di controllo
Il contatto delle unità di rilevazione e la gestione della raccolta delle informazioni La tempistica e l’interazione fra gli Enti preposti alla rilevazione Le campagne di sensibilizzazione dei rispondenti La formazione del personale addetto alla rilevazione La supervisione delle operazioni e il recupero delle informazioni incomplete

13 Monitoraggio e valutazione dei servizi formativi
La predisposizione degli strumenti Perugia, 9 – 11 settembre 2008

14 Una prima definizione Strumento:
arnese, attrezzo, apparecchio atto all’esecuzione di determinate operazioni proprie di un’arte, di un mestiere o di una tecnica ciò di cui ci si serve per ottenere qualcosa strumento di precisione: strumenti di misura o di controllo che forniscono indicazioni più esatte di quelli di uso corrente

15 La coerenza degli strumenti di acquisizione dati
Con la tipologia di monitoraggio/valutazione Con l’oggetto del monitoraggio/ valutazione Con la metodologia di rilevazione Con il piano di indagine

16 Cosa monitoriamo/valutiamo
Un sistema di formazione/servizi L’attuazione di una norma Un progetto complesso Un corso di formazione …………………………….

17 Qual è l’oggetto del monitoraggio/valutazione
Livelli di apprendimento Gradimento dei servizi Impatto Economicità dell’intervento Realizzazione delle attività ………………………..

18 Quale metodologia di indagine
Relativamente: Alla tipologia di fonte (primaria, secondaria) Alla tipologia di dati (qualitativi, quantitativi) Alla tipologia di tecniche di rilevazione (in presenza, a distanza guidata, a distanza libera, ecc.) Al tempo della rilevazione

19 L’elaborazione del piano di indagine
Progettazione Definizione del campione Raccolta dati Gestione organizzativa Registrazione dati Diffusione

20 Esercitazione 1 Definizione di un piano di indagine relativamente al progetto già esaminato durante il primo modulo di formazione. In particolare individuare: Azioni da sottoporre a monitoraggio Soggetti interessati Tempi di rilevazione Metodologia di rilevazione Tipologia di strumenti

21 Le caratteristiche degli strumenti
Non strutturati (stimolo aperto/risposta aperta) Semistrutturati (Stimolo chiuso/ risposta aperta) Strutturati (stimolo chiuso/risposta chiusa)

22 Alcuni accorgimenti generali
Chiedere una sola cosa alla volta Ricercare una sola informazione alla volta Evitare domande lunghe e complesse Chiarire il contenuto dell’informazione richiesta direttamente nel quesito Evitare l’uso di negazioni

23 Alcuni accorgimenti generali
Fare attenzione all’introduzione delle “domande filtro” Organizzare i quesiti in sezioni tematiche Evitare questionari (interviste) troppo lunghi Essere certi di poter gestire le informazioni acquisite Valutare l’opportunità della risposta “non so”

24 Alcuni accorgimenti particolari
Dove ci sono risposte multiple: Costruire tutte le alternative di risposta con la stessa struttura grammaticale e la stessa lunghezza Le alternative di risposta devono essere tutte verosimili o plausibili tranne quella giusta che è assolutamente vera Evitare risposte generiche o che escludono le altre (nessuna delle precedenti) Valutare attentamente il numero di alternative, anche in relazione al numero di risposte da fornire

25 Alcuni accorgimenti particolari
Nella fase di somministrazione: Presentare brevemente ma con cura le caratteristiche della somministrazione Evitare particolari accentuazioni di frasi o risposte nella fase di somministrazione (ad esempio nell’intervista in presenza) Cercare di far ruotare le alternative di risposta soprattutto se queste sono molte (ad esempio nelle interviste telefoniche) Fare particolare attenzione alla lunghezza dello strumento (soprattutto nelle interviste a distanza in cui non c’è controllo sull’intervistato)

26 Alcuni accorgimenti particolari
L’uso delle scale (scala di Likert, differenziale semantico) Porre attenzione sui gradi in cui la scala si articola Valutare la possibilità di “forzare” una presa di posizione

27 Esercitazione 2 Predisporre uno o più strumenti per la valutazione di un modulo di formazione In particolare considerare: Aree da sottoporre a monitoraggio Soggetti interessati Indicatori Soglie