Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dell’informazione e la predisposizione degli strumenti di rilevazione Perugia, 9 – 11 settembre 2008

Monitoraggio e valutazione dei servizi formativi La qualità del prodotto e la qualità del processo Perugia, 9 – 11 settembre 2008

Caratteristiche generali dell’informazione statistica Rilevanza Accuratezza Tempestività Accessibilità e trasparenza Confrontabilità Coerenza Completezza

Caratteristiche generali dell’informazione statistica Rilevanza Capacità dell’informazione di soddisfare le esigenze conoscitive. Tale caratteristica è strettamente collegata con gli obiettivi dell’indagine Accuratezza Grado di corrispondenza tra la stima ottenuta dall’indagine e il vero (ma ignoto) valore della caratteristica di interesse

Caratteristiche generali dell’informazione statistica Tempestività Brevità dell’intervallo di tempo compreso tra il momento della diffusione dell’informazione prodotta e l’epoca di riferimento della stessa Accessibilità e trasparenza Semplicità di reperire e acquisire l’informazione disponibile in relazione alle proprie finalità

Caratteristiche generali dell’informazione statistica Confrontabilità Possibilità di paragonare nel tempo e nello spazio le statistiche riguardanti il fenomeno di interesse Coerenza Possibilità di combinare le inferenze semplici in induzioni più complesse Completezza Capacità di integrazione dei singoli processi al fine di fornire un quadro informativo soddisfacente

… in aggiunta Tutela della riservatezza Garanzia dell’anonimato per i soggetti che hanno fornito informazioni utili all’indagine

Caratteristiche generali delle procedure di acquisizione dell’informazione Universalità e stabilità Praticabilità Verificabilità Parsimonia

Caratteristiche generali delle procedure di acquisizione dell’informazione Universalità e stabilità Quanto la procedura è compresa in modo omogeneo dagli interessati e per un tempo sufficientemente lungo Praticabilità Grado di comparabilità delle procedure con il contesto legale e culturale entro il quale devono essere applicate e si riferisce anche all’esistenza di chiarimenti adeguati su come applicare le regole e come affrontare particolari problemi

Caratteristiche generali delle procedure di acquisizione dell’informazione Verificabilità Necessità che la procedura preveda anche le istruzioni volte a definire i metodi e gli strumenti e le informazioni che consentono di controllare la sua applicazione Parsimonia Valutazione dell’impatto delle procedure sui costi dell’indagine

… in aggiunta Definizione di una serie di azioni di prevenzione, correzione e valutazione dell’errore relativamente alle varie fasi dell’indagine Azioni preventive al fine di rendere meno probabile l’errore Azioni di individuazione e correzione degli errori per risolvere incoerenze nelle informazioni raccolte prima dell’elaborazione o comunque della produzione statistica Azioni finalizzate a quantificare il livello di errore

Alcune azioni di controllo Il contatto delle unità di rilevazione e la gestione della raccolta delle informazioni La tempistica e l’interazione fra gli Enti preposti alla rilevazione Le campagne di sensibilizzazione dei rispondenti La formazione del personale addetto alla rilevazione La supervisione delle operazioni e il recupero delle informazioni incomplete

Monitoraggio e valutazione dei servizi formativi La predisposizione degli strumenti Perugia, 9 – 11 settembre 2008

Una prima definizione Strumento: arnese, attrezzo, apparecchio atto all’esecuzione di determinate operazioni proprie di un’arte, di un mestiere o di una tecnica ciò di cui ci si serve per ottenere qualcosa strumento di precisione: strumenti di misura o di controllo che forniscono indicazioni più esatte di quelli di uso corrente

La coerenza degli strumenti di acquisizione dati Con la tipologia di monitoraggio/valutazione Con l’oggetto del monitoraggio/ valutazione Con la metodologia di rilevazione Con il piano di indagine

Cosa monitoriamo/valutiamo Un sistema di formazione/servizi L’attuazione di una norma Un progetto complesso Un corso di formazione …………………………….

Qual è l’oggetto del monitoraggio/valutazione Livelli di apprendimento Gradimento dei servizi Impatto Economicità dell’intervento Realizzazione delle attività ………………………..

Quale metodologia di indagine Relativamente: Alla tipologia di fonte (primaria, secondaria) Alla tipologia di dati (qualitativi, quantitativi) Alla tipologia di tecniche di rilevazione (in presenza, a distanza guidata, a distanza libera, ecc.) Al tempo della rilevazione

L’elaborazione del piano di indagine Progettazione Definizione del campione Raccolta dati Gestione organizzativa Registrazione dati Diffusione

Esercitazione 1 Definizione di un piano di indagine relativamente al progetto già esaminato durante il primo modulo di formazione. In particolare individuare: Azioni da sottoporre a monitoraggio Soggetti interessati Tempi di rilevazione Metodologia di rilevazione Tipologia di strumenti

Le caratteristiche degli strumenti Non strutturati (stimolo aperto/risposta aperta) Semistrutturati (Stimolo chiuso/ risposta aperta) Strutturati (stimolo chiuso/risposta chiusa)

Alcuni accorgimenti generali Chiedere una sola cosa alla volta Ricercare una sola informazione alla volta Evitare domande lunghe e complesse Chiarire il contenuto dell’informazione richiesta direttamente nel quesito Evitare l’uso di negazioni

Alcuni accorgimenti generali Fare attenzione all’introduzione delle “domande filtro” Organizzare i quesiti in sezioni tematiche Evitare questionari (interviste) troppo lunghi Essere certi di poter gestire le informazioni acquisite Valutare l’opportunità della risposta “non so”

Alcuni accorgimenti particolari Dove ci sono risposte multiple: Costruire tutte le alternative di risposta con la stessa struttura grammaticale e la stessa lunghezza Le alternative di risposta devono essere tutte verosimili o plausibili tranne quella giusta che è assolutamente vera Evitare risposte generiche o che escludono le altre (nessuna delle precedenti) Valutare attentamente il numero di alternative, anche in relazione al numero di risposte da fornire

Alcuni accorgimenti particolari Nella fase di somministrazione: Presentare brevemente ma con cura le caratteristiche della somministrazione Evitare particolari accentuazioni di frasi o risposte nella fase di somministrazione (ad esempio nell’intervista in presenza) Cercare di far ruotare le alternative di risposta soprattutto se queste sono molte (ad esempio nelle interviste telefoniche) Fare particolare attenzione alla lunghezza dello strumento (soprattutto nelle interviste a distanza in cui non c’è controllo sull’intervistato)

Alcuni accorgimenti particolari L’uso delle scale (scala di Likert, differenziale semantico) Porre attenzione sui gradi in cui la scala si articola Valutare la possibilità di “forzare” una presa di posizione

Esercitazione 2 Predisporre uno o più strumenti per la valutazione di un modulo di formazione In particolare considerare: Aree da sottoporre a monitoraggio Soggetti interessati Indicatori Soglie