Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Valutazione dei gruppi d'apprendimento online: stato dell'arte e prospettive Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Dati o indicatori ? Fino a poco tempo fa l'attenzione ai dati quantitativi prodotti da una piattaforma di e-learning poteva dar adito a interpretazioni di tipo “comportamentista”. Oggi comincia ad emergere sempre più chiaramente un uso più maturo di questi dati, intesi come indicatori. Da un lato si tratta di dati accessibili – in linea di principio – a tutti: il tutor - ma anche gli studenti, o gli amministratori - possono trarre da questi indicatori informazioni sull'andamento del processo educativo. Questi dati vengono intesi come “indicatori” della dimensione partecipativa, interattiva, sociale, cognitiva ed educativa dei soggetti. Dall'altro, si tratta di indicatori che hanno senso in tempo reale, che cioè possono essere usati per correggere il processo in corso.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Tipi di dati Sempre più chiara appare la differenza tra: ● dati bruti (“raw data”: i log della piattaforma) ● dati elaborati (totali, medie, ma anche relazioni tra tabelle); e da un altro punto di vista tra: ● dati soggettivi (raccolti con questionari o con marcature dirette dei propri documenti - es. Thinking Types) ● dati derivati da scelte non completamente coscienti (log di navigazione) ● dati prodotti da attività cognitivamente complesse (scrittura, esecuzione di test). Raccogliere tutti questi dati, ed elaborare delle strategie per incrociarli, sembra il problema più pressante anche nel quadro di iniziative a larghissimo raggio (es. Puntoedu).

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Tipi di dati Più in generale, sono almeno tre, oggi, i tipi di dati che vengono presi in esame: ● Dati di navigazione ● Dati di performance ● Dati di interazione A questi vanno aggiunti i dati lessicali, oggi poco o per nulla raccolti e studiati.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Dati di navigazione Ogni piattaforma (e oggi praticamente ogni tipo di portale basato sulla accesso degli utenti previa registrazione e login) effettua un tracking dello studente: accessi, visite, attivazione delle funzioni, etc. Questi dati vengono proposti in forma di report per ogni corsista (non necessariamente visibile al corsista stesso) e a volte per tutto il gruppo di apprendimento, e costituiscono storicamente il primo nucleo di dati sui quali si è cercato di effettuare un'analisi.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Dati di navigazione Questi dati possono fornire alcuni indicatori derivati che sembrano utili – nel caso di corsi complessi e a struttura non lineare - soprattutto per valutare il corso stesso, più che i corsisti:  numero di unità minime visitate e loro tipologia  numero di visite medio per pagina  profondità media delle pagine visitate  sequenze di visita ... Gli indicatori possono essere usati anche come campanello d'allarme, per il tutor, per evidenziare situazioni di disagio o semplicemente elementi di criticità.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Elementi critici

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Dati di performance Attualmente, la verifica delle competenze acquisite dallo studente viene effettuata per lo più con test di tipo oggettivo online, quasi sempre test a risposta multipla. Questa possibilità non esaurisce il numero di test possibili secondo la docimologia classica. L'uso di questi dati ha senso in una prospettiva di tipo tradizionale, trasmissivo Tuttavia il loro incrocio con attività di supporto messe in campo dal tutor (ad esempio: una chat tematica) permetterebbe di valutare l'efficacia di queste stesse attività e la loro tempestività.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Dati di interazione L'interazione in un corso a distanza è oggi fortemente legata al linguaggio verbale, principalmente scritto. L'uso della Social Network Analysis sta diventando uno standard per rappresentare il comportamento degli studenti (o anche dei tutor) e ricostruire per induzione il loro profilo o la loro funzione all'interno del gruppo.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Limiti Uno dei più grossi limiti che attualmente si sperimentano è la carenza di strumenti di reportistica che consentano di vedere il profilo del soggetto in maniera trasversale rispetto a più canali di comunicazione (messaggistica, forum, chat, agenda, bookmarks, diario, blog). Si tratta di canali che hanno caratteristiche molto diverse l'uno dall'altro: ● direzionalità (messaggi vs forum) ● condivisione (bookmarks vs blog) ● sincronicità (chat vs forum)

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Limiti Inoltre, se in prima battuta la differenza tra atti originati dal soggetto e atti di cui il soggetto è il destinatario può essere considerata sufficiente, ad una visione più ravvicinata occorre distinguere tra azioni (stimoli) e reazioni (risposte), tra proposte e richieste, tra funzione percepita e funzione effettuata, etc. In altre parole, si sente il bisogno di un passaggio dal lato pragmatico a quello semantico.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l Dati lessicali Non è ancora molto diffusa la possibilità di effettuare analisi quantitative sul lessico usato dagli studenti in tutti i canali di comunicazione sopra menzionati. Non si tratta tanto di tentativi di comprensione automatica del linguaggio naturale, ma di ricerca di pattern linguistici che si sono provati significativi nel mettere in relazione momenti particolari nello svolgimento di un corso con il contenuto dei testi prodotti dai partecipanti: ● interrogazioni ● messa in comune delle proprie esperienze ● riutilizzo dei termini chiave del corso etc.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Riflessioni 1 La maggior parte di analisi dei dati sono di tipo statistico, e hanno quindi senso solo in relazione ad un gruppo, e/o nel confronto con altre edizioni di uno stesso corso. La tentazione di applicare queste funzioni di analisi al singolo studente rischia di portare ad esiti di tipo psicologico che: ● hanno a che fare più con caratteristiche “strutturali” della persona (es. il suo stile di apprendimento) e meno con l'effettivo apprendimento nel contesto specifico; ● sono poco significative risentendo molto delle dimensioni dei dati.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Riflessioni 2 Diverso è il caso quando non si cerca di assegnare automaticamente un profilo ad uno studente, ma solo di confrontare il suo comportamento in un determinato intervallo temporale (o in un determinato ambito) con il comportamento corrispondente in un intervallo diverso, o con quello della media della classe. In questo caso, è fondamentale che le informazioni vengono rese accessibili allo studente stesso – quindi al gruppo/classe - per la sua personale autovalutazione. Si rende cioè sempre più opportuna l'integrazione, vista da più parti come matura, della valutazione nella formazione, come sua parte necessaria.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Riflessioni 3 Indicazioni più significative emergerebbero dal confronto tra gli indicatori di ogni categoria di dati, ad esempio, tra gli indicatori performance e gli indicatori lessicali nei forum. Poiché, come viene riconosciuto, questi incroci dipendono molto dagli obiettivi specifici del valutatore e dal contesto, l'unica strada percorribile sembra essere quella di fornire al valutatore la possibilità di esprimere in forma semplice (ad esempio, in linguaggio naturale) delle query che incrociano tabelle diverse. In questo senso, la caratteristica che sembra più significativa è quella di apertura della piattaforma: la possibilità per il tutor (o per gli studenti) di aggiungere e riusare funzioni di analisi/confronto dei dati non disponibili nella versione iniziale.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Riflessioni 4 La possibilità di salvare i report in un formato aperto permetterebbe di svincolare l'analisi dalle funzioni disponibili su una determinata piattaforma e di applicare strumenti esterni, anche off-line, di tipo statistico o semplicemente grafico. Si tratta di mettere a punto degli standard - come è stato fatto per i contenuti dei corsi - che consentano di confrontare dati provenienti da piattaforme diverse. E' una necessità che oggi è sempre più comune, ad esempio in Atenei in cui convivano sistemi differenti.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Direzioni Una direzione che ci appare interessante è quella che stiamo perseguendo con ADA, piattaforma opensource e GPL. Stiamo attualmente progettando moduli software che siano in grado di analizzare dati standardizzati, indipendentemente dalla piattaforma di provenienza. Questi dati (dei tipi sopra definiti: navigazione, interazione, performance e lessicali) dovranno essere conservati in appositi database separati da quelli utilizzati normalmente nel corso della formazione a distanza. Si tratta di un cammino lungo ma che sembra promettente in questa fase di prima maturità dell'e-learning.

Stefano Penge, Maurizio Mazzoneschi, Morena Terraschi Lynx s.r.l. Riferimenti e licenze ADA è una piattaforma Opensource, rilasciata con licenza G.P.L, e scaricabile liberamente da insieme a documenti, manuali e altre informazioni. Questo documento è rilasciato con licenza Creative Commons BY-SA-NC La versione del 30/5/2006 è scaricabile da