VOS 1.2 Uno script per automatizzare la generazione dei report dai questionari di valutazione delle opinioni degli studenti. Prof. E. Parente – DIS – Università degli Studi della Basilicata

ogni anno i presidi di qualità di Ateneo, le commissioni paritetiche e i gruppi di riesame dei singoli corsi di studio devono analizzare le opinioni degli studenti sui signoli insegnamenti il processo di raccolta dati avviene con diversi sistemi, più o meno efficienti ma l’esigenza fondamentale è generare in modo rapido un report sintetico che consenta ai singoli docenti e ai gruppi di riesame di intervenire su problemi specifici relativi ai singoli corsi di studio o insegnamenti Il problema

Scienze e Tecnologie Alimentari, prima di VOS negli anni pre-2016 i questionari venivano raccolti in formato cartaceo, e il CED si occupava di digitalizzarli utilizzando un lettore ottico i file per i singoli corsi di studio vengono utilizzati dal CISIT per generare report (costituiti da semplici tabelle e diagrammi a barre) in diversi formati (.pdf, .html) dal 2016 i dati saranno disponibili sotto forma di file ma non è ancora chiaro come saranno generati i report Scienze e Tecnologie Alimentari, prima di VOS

il formato dei report per singolo insegnamento e per corso di studi ha diversi problemi non permette di condurre analisi storiche usa presentazioni grafiche rudimentali aggrega in modo errato i dati non permette di collegare le caratteristiche di singoli studenti o gruppi di studenti con le risposte I report, pre-2016

VOS1.2 è uno script creato utilizzando R, e utilizza Rmarkdown in Rstudio per generare report in fromato .docx o .pdf i report in formato .docx possono essere facilmente editati dalle figure responsabili delle attività di riesame per creare rapporti descrittivi il procedimento: usa software gratuiti, disponibili su diverse piattaforme usa una combinazione di file di dati (le opinioni degli studenti) e metadati (metadati delle domande, metadati degli insegnamenti) che può essere facilmente generalizzata ad altre situazioni (diversi formati di file di dati, questionari diversi) con poco sforzo può essere utilizzato anche da personale con scarsa o nulla esperienza nell’uso di software statistici VOS1.2

file di dati: nella versione attuale, file file di dati: nella versione attuale, file .txt per singolo insegnamento, aventi per nome il codice dell’insegnamento sono collocati in una cartella (filedati) file metadati (collocati nella cartella filemetadati): metadati delle domande: le domande e le risposte possibili sono raccolte in un file di Excel e classificate in gruppi omogenei per scopo (valutative, informative) e per tipologia di risposta metadati degli insegnamenti (in formato Excel): gli elementi minimi sono i codici degli insegnamenti (corrispondenti ai nomi dei file dati), accoppiati alla denominazione dell’insegnamento, all’anno di corso, al docente responsabile. E’ possibile includere (e, in futuro utilizzare) altre informazioni I file di input

Il flusso di lavoro lavora in Rstudio colloca file e cartelle, compreso il file di Rmarkdown in una directory seleziona la directory come working directory in R usa lo script (VOS1_2.R) per una prima analisi, dopo aver settato le opzioni per l’output desiderato output lungo/breve per generare o meno report per i singoli insegnamenti inferenziali sì/no per generare test inferenziali su alcune domande usa lo script di Rmarkdown per generare il report nel formato desiderato Il flusso di lavoro

Alcuni esempi

Diagrammi a barre impilate, domande valutative, per anno lo script genera tabelle di decodifica per ciascun gruppo di domande i risultati vengono presentati come diagrammi a barre impilate che consentono di osservare rapidamente le differenze nel numero di schede raccolte per ciascun corso di osservare rapidamente la proporzione di ciascuna domanda NB: i codici degli insegnamenti sono stati nascosti in questo grafico Diagrammi a barre impilate, domande valutative, per anno

Boxplot, domande valutative, per anno le risposte sono ricodificate e trasformate in interi mediane di punteggi inferiori a 2 corrispondono ad opinioni sostanzilmente negative, e viceversa è possibile verificare rapidamente la variabilità delle risposte gli aspetti problematici la presenza di outliers Boxplot, domande valutative, per anno

Approcci simili sono utilizzati per le domande a carattere informativo

per le domande valutative nel loro complesso le mediane delle risposte vengono utilizzate per costruire un indice globale per singolo insegnamento in questo esempio è facile vedere come tutti gli insegnamenti hanno un punteggio mediano ≥3 (corrispondente ad una valutazione positiva da parte degli studenti) tranne uno (il settimo in questo esempio) Figure riassuntive

Il voto agli insegnamenti le classi di voto assegnate dagli studenti ad ogni singolo insegnamento vengono riassunte in un boxplot E’ facile individuare gli insegnamenti (in questo caso il settimo) che hanno ottenuto votazioni particolarmente basse Il voto agli insegnamenti

gli script generano file di dati che possono essere facilmente utilizzati per generare analisi nel tempo per singolo insegnamento e corso di studio per insegnamenti con un numero sufficiente di questionari raccolti, se i metadati degli studenti vengono raccolti in modo adeguato è possibile individuare questionari con risposte anomale o cercare di stabilire relazioni causa-effetto. Alcuni esempi: esiste una relazione fra la condizione dello studente (lavoratore/non lavoratore) e il pattern delle risposte? esiste una relazione fra la frequenza all’insegnamento e il pattern delle risposte? esiste una relazione fra i prerequisiti dello studente e il pattern delle risposte? E’ teoricamente possibile cercare relazioni fra i risultati (in termini di ritardi, proporzione degli studenti nella coorte che hanno superato l’esame) e i dati sulle opinioni degli studenti In prospettiva