La valutazione degli apprendimenti nella FaD CNOS-FAP Torino, 16 Gennaio 2003 Luigi Sarti, ITD-CNR

Presentazione sul tema: "La valutazione degli apprendimenti nella FaD CNOS-FAP Torino, 16 Gennaio 2003 Luigi Sarti, ITD-CNR"— Transcript della presentazione:

1 La valutazione degli apprendimenti nella FaD CNOS-FAP Torino, 16 Gennaio 2003 Luigi Sarti, ITD-CNR sarti@itd.cnr.it

2 Quelli che aspettano… Che cosa ti aspetti da questo intervento? Obiettivi Contenuti … in relazione alle tue esperienze pregresse

3 Struttura dellincontro di oggi La relazione tra valutazione e teorie dellapprendimento La valutazione Definizioni Finalità Modelli (Andromeda, Iperion...) Studi di casi NADOL MEDEA2K Corso TD – SSIS 2002

4 La relazione tra valutazione e teorie dellapprendimento Se pensi alla conoscenza come: allora tendi a concepire l'insegnamento come: un insieme di contenuti ontologicamente dati un prodotto da trasmettere su un canale uno stato cognitivoun insieme di strategie istruzionali volte a cambiare gli schemi di un individuo significati costruiti nell'interazione con l'ambiente predisporre un ambiente ricco di stimoli, strumenti e risorse significati negoziati in un contesto sociale partecipazione alle attività di una comunità

5 La relazione tra valutazione e teorie dellapprendimento Se pensi alla conoscenza come: allora tendi a concepire l'insegnamento come: un insieme di contenuti ontologicamente dati un prodotto da trasmettere su un canale uno stato cognitivoun insieme di strategie istruzionali volte a cambiare gli schemi di un individuo significati costruiti nell'interazione con l'ambiente predisporre un ambiente ricco di stimoli, strumenti e risorse significati negoziati in un contesto sociale partecipazione alle attività di una comunità La valutazione è la misura della prestazione che il discente è in grado di effettuare al termine dellintervento

6 La relazione tra valutazione e teorie dellapprendimento Se pensi alla conoscenza come: allora tendi a concepire l'insegnamento come: un insieme di contenuti ontologicamente dati un prodotto da trasmettere su un canale uno stato cognitivoun insieme di strategie istruzionali volte a cambiare gli schemi di un individuo significati costruiti nell'interazione con l'ambiente predisporre un ambiente ricco di stimoli, strumenti e risorse significati negoziati in un contesto sociale partecipazione alle attività di una comunità La valutazione misura lefficacia degli schemi cognitivi indotti nel discente (rispetto al contesto applicativo)

7 La relazione tra valutazione e teorie dellapprendimento Se pensi alla conoscenza come: allora tendi a concepire l'insegnamento come: un insieme di contenuti ontologicamente dati un prodotto da trasmettere su un canale uno stato cognitivoun insieme di strategie istruzionali volte a cambiare gli schemi di un individuo significati costruiti nell'interazione con l'ambiente predisporre un ambiente ricco di stimoli, strumenti e risorse significati negoziati in un contesto sociale partecipazione alle attività di una comunità La valutazione esplora lefficacia dei processi di interazione tra apprendente e ambiente

8 La relazione tra valutazione e teorie dellapprendimento Se pensi alla conoscenza come: allora tendi a concepire l'insegnamento come: un insieme di contenuti ontologicamente dati un prodotto da trasmettere su un canale uno stato cognitivoun insieme di strategie istruzionali volte a cambiare gli schemi di un individuo significati costruiti nell'interazione con l'ambiente predisporre un ambiente ricco di stimoli, strumenti e risorse significati negoziati in un contesto sociale partecipazione alle attività di una comunità La valutazione indaga i processi di costruzione sociale di nuova conoscenza

9 Definizione 1 Il processo di valutazione consiste essenzialmente nel determinare in che misura gli obiettivi educativi vengono conseguiti. Comunque, poiché tali obiettivi comportano essenzialmente cambiamenti negli esseri umani, nel senso che gli obiettivi che ci si prefigge richiedono di causare determinati cambiamenti nei modelli di comportamento degli studenti, ne consegue che la valutazione è il processo con cui si determina la misura effettiva di tali cambiamenti [Tyler, 1949].

10 Definizione 2 Il termine valutazione viene usato per indicare la raccolta, lanalisi e linterpretazione di informazioni sui vari aspetti di un programma formativo, allo scopo di giudicarne lefficacia, lefficienza e la qualità dei risultati [Thorpe, in Ellington et al., 1993]

11 Definizione 3 La valutazione consente di esprimere un giudizio sulla qualità di un intervento didattico, e di verificarne la coerenza con gli obiettivi e le condizioni al contorno [Persico, 1995]

12 Scopi della valutazione Formativa: lintervento viene valutato sulla base delle caratteristiche e dellevoluzione dei processi che lo compongono, per individuare problemi o punti deboli e migliorarne lefficacia. La valutazione formativa può anche considerare solo alcuni aspetti o componenti dellintervento ed ignorarne altri; deve essere condotta durante lintervento, e non a posteriori, per poter fornire informazioni di retroazione che modifichino in itinere il processo stesso [Flagg, 1990; Tessmer, 1993].

13 Scopi della valutazione Sommativa: lintervento viene valutato nella sua totalità, considerandone tutte le caratteristiche significative e pervenendo ad una misura delle qualità globale utile per elaborare confronti, selezioni, graduatorie di merito, certificazioni. Vengono considerati gli indicatori del conseguimento degli obiettivi didattici e formativi che hanno dettato la progettazione dellintervento. Dato il suo carattere olistico, la valutazione sommativa può essere compiuta solo ad intervento concluso [Draper et al., 1995].

14 Scopi della valutazione Diagnostica (o, come in taluni autori, prognostica): la valutazione che, con scopi principalmente orientativi, viene attuata prima dellintervento formativo per verificare che i partecipanti siano dotati delle conoscenze prerequisite considerate necessarie alla fruizione dellintervento stesso, e per identificare eventuali percorsi di recupero.

15 Il modello Andromeda Il modello di valutazione per interventi FaD sviluppato dal Gruppo interprogettuale Andromeda–NetEnterprise si articola su tre fasi di valutazione: ex ante, in itinere ed ex post. Per ognuna di queste fasi il modello indica un insieme di criteri utili a determinare la qualità dellintervento FaD.

16 Ex ante Definire i criteri per la determinazione della potenziale efficacia di progetti per la realizzazione di interventi FaD. Fornire agli enti erogatori del finanziamento strumenti affidabili di confronto e decisione, da adottare quando si debba ammettere o no al finanziamento un determinato progetto di formazione. Le caratteristiche del percorso formativo, i materiali didattici, gli strumenti di valutazione e di monitoraggio, i servizi di sostegno e di guida, e le caratteristiche e la storia del Centro erogatore.

17 In itinere Monitoraggio dellefficacia e dellefficienza dellintervento formativo. Attenzione sui processi (attività didattiche, apprendimento, fruizione dei servizi di sostegno) mentre questi sono in atto, allo scopo di verificarne ladeguatezza rispetto alle attese. I progressi effettuati dagli allievi, la soddisfazione dei partecipanti, luso delle risorse didattiche, organizzative e tecnologiche.

18 Ex post La valutazione ex post ha lobiettivo di determinare lefficacia e lefficienza delle azioni FaD analizzando lo svolgimento e i risultati del processo; essa consente un confronto tra le risorse impiegate ed i risultati ottenuti, e i suoi oggetti sono gli stessi della valutazione ex ante, in quanto viene attuata comparando i dati rilevati nella valutazione ex ante con analoghe misure effettuate a posteriori.

19 Che cosa valutare il processo (cioè l'efficienza) per rilevare il rapporto costi/benefici, valutando la struttura, le risorse, lorganizzazione, ecc.; gli obiettivi (cioè l'efficacia), allo scopo di indicare se lazione formativa sviluppata ha raggiunto o no gli obiettivi cognitivi prefissati; il soddisfacimento (cioè la rilevanza), rappresentativo della pertinenza tra la struttura e gli scopi, tra efficacia ed efficienza.

20 Qualità dei servizi È spesso sentita la necessità di integrare la valutazione dei materiali e dellapprendimento con indagini relative alla qualità dei servizi organizzativi di sostegno allo studente e delle condizioni logistiche [Progetto IPERION, 1998].

21 Qualità dei materiali Criteri legati alla tipologia dispense a stampa, audiovisivi, documenti ipermediali, pacchetti software,... Criteri legati ai contenuti Correttezza, adeguatezza agli obiettivi didattici Criteri legati alle modalità di erogazione supporti cartacei, magnetici e ottici, canali telematici, Internet Materiali importati vs. costruiti

22 I criteri di qualità del materiale in Iperion Area dei criteri metodologici identificazione dei destinatari, del contesto duso, delle strategie didattiche, dei modelli di comunicazione e di interazione Area dei criteri contenutistici linguaggio adottato; aggiornamento, strutturazione, integrazione e contestualizzazione dei contenuti; coerenza con gli obiettivi didattici Area dei criteri tecnologici presentazione, usabilità, riproducibilità ed ergonomia

23 La qualità dellapprendimento Apprendimento collaborativo: l'acquisizione da parte degli individui di conoscenze, abilità o atteggiamenti che sono il risultato di un'interazione di gruppo [Kaye 1992] Per poter valutare lapprendimento collaborativo, bisogna comprenderne bene i meccanismi, il contesto, le condizioni... Occorre un modello della formazione in rete.

24 La valutazione delle attività svolte in NADOL Che cosè NADOL Lapproccio teorico Il metodo Indicatori Strumenti Esempi

25 Che cosè NADOL Network for Assisted Design and Open Learning ADAPT II CFP Piemonte Casa di Carità Onlus (promotore) Regione Piemonte TEOS (attuatore) ITD-CNR (valutazione)

26 NADOL: obiettivi Definizione di un sistema di supporto e gestione di interventi formazione continua di formatori Strumenti per la valutazione ex ante (FSE) Orientamento rispetto allofferta Modello per ladozione delle nuove tecnologie nella didattica dei CFP

27 NADOL: il modello a cascata 8 tutor di secondo livello 19 tutor di primo livello Circa 200 formatori organizzati in 9 gruppi locali I direttori dei CFP I direttori e i responsabili regionali delle Agenzie

28 NADOL: la struttura dei corsi Aprile Giugno Dicembre -Maggio Giugno-Dicembre Luglio Intervento formativo per i tutor di II livello: I modelli della FaD Intervento informativo per i direttori e i referenti degli enti di formazione Prima fase in FaD per circa 200 formatori (9 classi): Produzione multimediale per la didattica Seconda fase in FaD per i 19 tutor di I livello: Tutoring di percorsi FaD Seconda fase in FaD per circa 200 formatori: Produzione multimediale per la didattica Prima fase in FaD per i 19 tutor di I livello: Tutoring di percorsi FaD Definizione collaborativa di una metodologia per la FaD Coinvolgimento e partecipazione Uso degli strumenti informatici e telematici per la FaD Funzioni e attività del tutor di percorsi FaD, gestione della motivazione, modalità di valutazione Strategie didattiche e di tutoring, strumenti di valutazione e monitoraggio Progettare e realizzare, con lausilio delle nuove tecnologie, un primo modulo multimediale Supporto al secondo corso FaD per i formatori Progettare e realizzare materiali multimediali e ipertestuali a supporto della didattica daula

29 NADOL: struttura tipica di un corso 12/615/616/6-19/623/624/6-29/630/6-2/73/710/7 Area di discussione trasversale Patto formativo motivazione Ruoli del Tutor Valutazione La tavola del tempo del corso Tutoring di percorsi FaD : gli incontri in presenza : il periodo di ogni attività a distanza

30 Gli obiettivi di un incontro in presenza Introduzione agli strumenti telematici ed informatici usati nel corso Presentazione del corso e condivisione dei suoi obiettivi generali Verifica dei prerequisiti, identificazione di aspettative e disponibilità Familiarizzazione tra i partecipanti, costituzione del gruppo Condivisione e sottoscrizione del contratto formativo Obiettivi incontro iniziale in presenza

31 NADOL: la valutazione La teoria Il metodo Gli indicatori Gli strumenti Lanalisi dei dati Esempi

32 La teoria Sarti La valutazione nella Formazione on Line Biolghini La formazione in rete... Boldrini Il progetto NADOL… Cengarle Net Learning e… Simone Formazione e Groupware… Gruppo interprogettuale valutazione Andromeda– NetEnterprise Risultati dellattività di ricerca Progetto IPERION Modello per la certificazione didattica e amministrativa della formazione a distanza ………………

33 Il metodo Progettazione partecipata Coinvolgimento utenti Ex ante – in itinere – ex post Scopi: Verificare lefficacia e lefficienza dellimpianto progettuale del corso Verificare il conseguimento degli obiettivi didattici Identificare eventuali criticità e nodi problematici

34 Gli indicatori Comprensione della struttura del corso e della sua integrazione nel contesto di NADOL Livello di consenso sulle modalità con cui il corso verrà erogato Livello di confidenza sui contenuti Qualità dei materiali, dei servizi didattici e di supporto (relativamente sia a tutor ed esperti che all'infrastruttura telematica) Condizioni logistiche Qualità della partecipazione, della motivazione e delle attività collaborative Qualità del processo e qualità dei prodotti

35 Gli strumenti Questionari Diari di bordo Misure oggettive dei flussi di comunicazione Discussioni in presenza

36 Presentazione in forma grafica Pagine web, documenti Word Lanalisi dei dati Selezione dei dati dinteresse La piattaforma CONFAD Corsi, partecipanti, risultati dei questionari, diari di bordo, bacheche… SQL database Sintesi, raggruppamento e confronto tabelle EXCEL

37 Alcuni esempi Corso Tutor – Questionario dingresso

38 Alcuni esempi Corso Tutor – Questionario Finale

39 Alcuni esempi Corso Docenti (1) – Partecipazione alle bacheche

40 Alcuni esempi Tutor – Questionario di Fine Corso

41 Sui questionari [Palloff, Pratt] In che misura il corso soddisfa (ha soddisfatto) le tue esigenze? Che cosa pensi delle modalità di istruzione adottate? Ti sembra che listruttore sia stato disponibile e pronto? Che cosa pensi della formazione in rete? Quali sono i punti di forza di questo corso? Quali raccomandazioni daresti per migliorare il corso? Che consigli daresti a futuri studenti?

42 Attività pratica: il dodecalogo del buon tutor Prendendo in considerazione il contesto della formazione professionale di personale in servizio e lavorando da sola/o, prova a definire un ordine di importanza per la lista sopra riportata, elencando le voci in ordine di rilevanza decrescente. Registra su un foglio il risultato. In gruppi di 4-5 persone, cercate poi di raggiungere una soluzione condivisa dal gruppo. 10 lavoro individuale + 10 in gruppo + 5 / gruppo per riportare il risultato in plenaria Non "fate lezione" Siate chiari sulle aspettative Siate pazienti e flessibili Siate pronti nel rispondere Non sovraccaricate Controllate e stimolate Incoraggiate il lavoro di gruppo Insegnate la "netiquette" Scrivete commenti riassuntivi Tenete ordinati gli ambienti di discussione Stabilite norme e premiate il merito Gestite la chiusura delle discussioni

43 La valutazione di un corso in rete: una proposta metodologica Perché valutare Che cosa valutare Come valutare Aspetti strumentali ed operativi

44 Perché valutare Valutazione formativa vs. selettiva e sommativa Quality management dei processi di apprendimento in rete La valutazione formativa dovrebbe essere condotta durante il processo Input per valutazione sommativa e selettiva

45 Che cosa valutare [1/3] Apprendimento collaborativo: l'acquisizione da parte degli individui di conoscenze, abilità o atteggiamenti risultati di un'interazione di gruppo (Kaye 1992) (Vygotsky 1978). La qualità di un processo di formazione in rete dipende: dallapprendimento dei singoli dallinterazione allinterno del gruppo

46 Che cosa valutare [2/3] l'apprendimento individuale l'interazione, valutata relativamente al contesto in cui avviene e sulla base di scopi predefiniti i contenuti del corso, in parte dati e in parte "costruiti" dai partecipanti.

47 Che cosa valutare [3/3] Apprendimento dei singoli individui Qualità del processo di comunicazione Qualità del dominio di contenuti emerso nella conversazione

48 Come valutare [1/3] valutazione basata sui prodotti il processo di apprendimento produce oggetti valutati con criteri interni (congruenza, estetica) o esterni (correttezza, adeguatezza a determinati codici) valutazione delle abilità gli elementi di valutazione vengono inferiti dall'osservazione delle abilità acquisite

49 Come valutare [2/3] La formazione in rete produce: i risultati delle attività linsieme dei messaggi La valutazione riguarda: la qualità degli apprendimenti la qualità dei processi di interazione qualità dei contenuti qualità della comunicazione in sé.

50 Come valutare [3/3] Lidea chiave della metodologia è classificare ciascun messaggio e ciascun prodotto assegnando valori ad attributi predefiniti (parametri di qualità). Tutti i prodotti del corso, siano essi elaborati o messaggi, intervengono nella determinazione della qualità del corso.

51 Parametri di qualità Connotazione dei messaggi: congruenza contestuale congruenza formale appropriatezza dei codici costruzione di nuova conoscenza contributo allinterazione correttezza dei contenuti tempestività

52 La valutazione dei processi dapprendimento in MEDEA2K Il corso MEDEA obiettivi, contenuti, struttura... Tassonomia degli atti comunicativi Un software specifico per la valutazione Esempi e confronti

53 Il corso MEDEA Corso in rete per la formazione e laggiornamento nel settore dellEducazione Ambientale

54 Oggetto del corso Proposta metodologica elaborata dall'ITD, per la progettazione e conduzione di esperienze di Educazione Ambientale (MEDEA: Metodologia Didattica per lEducazione Ambientale)

55 La metodologia scelta di una problematica ambientale scelta di un ambiente particolare in cui svolgere le attività definizione degli scopi dell'intervento di Educazione Ambientale definizione di un modello pianificazione delle attività da svolgere con i ragazzi correlazione delle attività con il curriculum

56 Elaborare in modo cooperativo un progetto di EA basato sull'approccio metodologico proposto Saper usare risorse di rete per reperire e condividere informazioni ed elaborare progetti comuni di EA Comunicare usando un ambiente di comunicazione mediato dal computer Obiettivi del corso

57 Utenza gruppi di insegnanti che si incontrano nei laboratori territoriali di EA oppure nella propria scuola gruppi di operatori dei centri di educazione ambientale

58 Modulo 1 Modulo 2 Modulo 3 Modulo 4 progetto 3 settimane4 settimane5 settimane 2 settimane Modulo 5 Modulo 6 Struttura del corso

59 M1: familiarizzazione Scopo del modulo: contribuire alla creazione della comunità virtuale di apprendimento acquistare confidenza con lo strumento telematico e con la comunicazione scritta.

60 M2: definizione requisiti Scopo del modulo: Scelta problema ambientale Scelta di un ambiente particolare Definizione degli scopi

61 Pioggia Morfologia bacino Val Bisagno Modifiche apportate dalluomo Evento piovoso critico Portata massima (Q max ) alluvione M3: modelliz- zazione

62 M4: Definizione dellambiente dapprendimento Scopo del modulo: Scelta di un prodotto/servizio Definizione delle attività Correlazione con il curriculum

63 M5 - Pianificazione tempi e risorse Scopo del modulo: Organizzazione nel dettaglio dellesperienza

64 M6 - Valutazione e Validazione Scopo del modulo: validazione del processo messo in atto (la qualità dellesperienza di educazione ambientale); valutazione dellapprendimento individuale (che cosa hanno imparato i ragazzi)

65 INVIO STIMOLO MESSAGIO DI RISPOSTA FEEDBACK E INVITO ALLA DISCUSSIONE RICHIESTA CHIARIMENTI MEDIAZIONE DEL TUTOR DISCUSSIONE TRA I GRUPPI Modello di svolgimento di un modulo ATTIVITÀ DEI GRUPPI

66 LAmbiente dapprendimento I colleghi del gruppo locale Il sistema di computer conferenza (First Class)

67 La comunicazione

68 Messaggio Stimolo Interazione Sociale Proposta Attività Commento su Attività Risposta DiscussioneCoordinamento Richiesta commenti su contenuti Sollecito Attività Domanda puntuale Risposta spiegazione Proposta organizzativa Comunicazione di servizio Riflessione Spiegazione di un punto trattato Punto sulla situazione Richieste informazioni tecniche. Svolgimento attività Commento Domanda generale Proposta discussione Consigli Spiegazione di un argomento Istruzioni Richiesta di chiarimenti Incoraggiamento Risposta puntuale Conversazione Socializzazione Informazione La tassonomia dei messaggi

69 Il software

70 Un esempio di applicazione... Attività e soggetti coinvolti Applicazione della metodologia Confronto con metodologie di valutazione convenzionali (Questionario)

71 Attività e soggetti coinvolti corso di formazione a distanza per docenti di Educazione Ambientale EuMEDEA 4 fasi in 3 mesi: M0 Familiarizzazione M1 Identificazione del Problema M2 Definizione degli Scopi M3 Pianificazione

72 Applicazione della metodologia

73

74

75

76 Confronti

77 Questionario: il 55% dei partecipanti sostiene che il grado d'intervento dei tutor è stato troppo intenso Lanalisi dei messaggi offre:

78 Confronti Questionario: sono risultate problematiche linstallazione del client la lettura dei documenti allegati la lentezza nei collegamenti Lanalisi dei messaggi rileva un elevato numero di messaggi di richiesta daiuto tecnico:

79 La valutazione di un modulo online nel corso SSIS 2002 Modulo online Comunità virtuali per l'apprendimento/Tecnologie didattiche e teorie dell'apprendimento Obiettivi Saper evidenziare le relazioni critiche tra teorie o modelli dellapprendimento e metodi didattici Saper valutare criticamente lapplicabilità in uno specifico contesto scolastico di interventi ed approcci basati sulle comunità virtuali per lapprendimento

80 1a fase: I modelli a confronto Studio della letteratura e preparazione di brevi sintesi individuali Stesura di una sintesi o di una tabella finale su: Teorie dellapprendimento (comportamentismo, cognitivismo, costruttivismo) Modelli di comunità di apprendimento (Communities of learners, Knowledge-building communities, Comunità di pratica)

81 2a fase: Elaborazione di una proposta per una CdA Elaborazione e stesura di una o più proposte sulla base di alcune esperienze Lavoro collaborativo (almeno nelle nostre intenzioni)

82 Modalità Incontro iniziale e finale in presenza Attività collaborative svolte in rete si un respiro di 3 settimane circa Obiettivi e scadenze negoziati nellincontro iniziale Diari di bordo individuali Questionario finale di valutazione del modulo

83 Valutazione degli apprendimenti la qualità dei contributi alla prima fase nelle recensioni: presenza dei punti essenziali, chiarezza espositiva, esplicitazione delle relazioni tra le letture e gli obiettivi dellattività, riferimento a contributi degli altri partecipanti; contributo alla stesura della tabella finale la qualità dei contributi alla seconda fase presenza di commenti e riflessioni sulle letture effettuate, esplicitazione delle relazioni con gli obiettivi dellattività, riferimento a contributi degli altri partecipanti contributo alla definizione delle proposte finali i contributi di meta-riflessione nel board commenti sul corso nei report di attività i contributi di socializzazione nel board caffè la continuità della partecipazione attiva

84 Proviamo a valutare lincontro di oggi Le tue attese sono state soddisfatte? Hai potuto cogliere spunti e indicazioni utili per il tuo lavoro? Quanto ti sembrano rilevanti dal punto di vista della figura professionale che stai costruendo? Quanto ti sembrano coerenti con limpostazione generale del corso Metodologie didattiche e tecnologie per lerogazione di percorsi di formazione mista: in presenza e a distanza? Quanto ritieni che gli elementi metodologici proposti siano applicabili nella pratica quotidiana?