L‘ESPERIENZA DI UNIPD CON I QUESTIONARI DI ESSE3 Cristina Stocco 10 ottobre 2012 Area Didattica e servizi agli studenti

Valutazione degli insegnamenti Dal 1999/00 al 2009/10 questionario “tradizionale” cartaceo a lettura ottica Nel 2007/08 sperimentazione parallela di un questionario via WEB Dal 2010/11 cambio del sistema informativo studenti e passaggio ad ESSE3 (aprile 2010) utilizzo dei questionari via WEB di ESSE3

Il metodo Indagine rivolta a tutti gli studenti iscritti a Corsi di Laurea e laurea Magistrale attivati presso l’Ateneo di Padova esclusi i Corsi erogati totalmente con modalità ON LINE E’ prevista la compilazione di un questionario via WEB per ogni docente che svolga almeno 15 ore di attività didattica in ciascun insegnamento previsto nel piano di studio dello studente per l’a.a. di riferimento Rimane la scheda a risposta aperta cartacea da somministrare in aula da parte del docente utile a favorire lo scambio diretto delle opinioni con gli studenti anche durante il periodo di lezione

Il metodo Il questionario via WEB è attivo a partire da 20 gg. prima della fine del periodo ufficiale di lezione fino alla fine dell’a.a. (30 settembre) Il questionario via WEB di ogni singola AD è obbligatorio per l’iscrizione all’esame. E’ prevista una domanda preliminare attraverso la quale lo studente può rifiutare la compilazione assolvendo comunque all’obbligo suddetto in modo da consentire l’iscrizione all’esame anche a chi rifiuta la compilazione

Il questionario Le domande proposte nel questionario sono differenziate per studenti “frequentanti” e “non frequentanti” La Sezione “non frequentanti” prevede una domanda per indagare i motivi della mancata frequenza e altre su aspetti organizzativi e di contenuto dell’AD non legati all’attività del docente in aula. La Sezione “frequentanti” prevede le stesse domande del questionario “tradizionale d’indagine “tradizionale” per permettere la comparazione nel tempo e per soddisfare le indicazioni fornite dal CNVSU (DOC 9/02) La scala dei giudizi (da 1 a 10), scelta per tentare di evitare fenomeni di appiattimento, è la stessa adottata negli anni precedenti e può essere facilmente ricondotta a quella proposta dal CNVSU (scala ordinale a quattro modalità di risposta).

AD-DOCENTE da valutare I numeri – a.a. 2010/11 Il tasso di copertura AD-DOCENTE da valutare AD-DOCENTE senza valutazione valutate  N % 5.710 726 12,7% 4.984 87,3% Tasso di copertura per anno accademico Dal 2005/06 al 2009/10 indagine “tradizionale”, 2010/11 indagine via WEB

Tasso di partecipazione I numeri – a.a. 2010/11 Numero di rispondenti e questionari Numero di rispondenti Questionari completi  N TOT MEDIA PER STUD. 38.664 175.929 4,55 Tasso di partecipazione degli studenti Numero di rispondenti (esclusi erasmus n.568) Numero di iscritti Tasso di partecipazione TOT di cui REGOLARI STUDENTI REGOLARI 38.096 34.292 58.333 39.688 65,3% 86,4%

I numeri – a.a. 2010/11 L’adesione degli studenti. % di questionari compilati Questionari proposti agli studenti Questionari rifiutati Questionari compilati 175.929 19.701 11,2% 156.228 88,8% Questionari compilati per livello di frequenza   N. % VALIDA studente non frequentante 14.296 9,2% meno del 30% 5.591 3,6% tra il 30% e il 50% 8.247 5,3% tra il 50% e il 70% 19.326 12,4% più del 70% 107.990 69,5% Totale 155.450 100% N.D. 778 19.887 (12.8%) NON FREQUENTANTI 135.563 (77.2%) FREQUENTANTI

Il sistema via WEB Apertura questionari

Apertura dei questionari Schema dei periodi ufficiali a.a. 2011/12 20 novembre 27 febbraio 21 maggio 10 gennaio 28 maggio Date di apertura questionari

Apertura dei questionari criticità … … se i periodi di lezione rispettano i periodi ufficiali l’apertura dei questionari avviene correttamente il docente può sollecitare gli studenti e distribuire il questionario a risposta aperta 20 gg. prima della fine effettiva delle lezioni gli studenti trovano il vincolo attivo prima dell’apertura degli appelli altrimenti … è necessario variare puntualmente l’apertura in modo da garantire a docenti e studenti il corretto funzionamento del sistema

Il sistema via WEB Apertura questionari Mail informativa allo studente Mail informativa al docente Il docente sollecita gli studenti a compilare il questionario Lo studente accede alla pagina relativa al suo libretto e compila il questionario Lo studente può iscriversi all'esame

Il libretto on line È necessario che i libretti siano popolati in maniera corretta e che i dati dell’offerta didattica siano completi e corretti Il sistema funziona se tutti i dati relativi all’offerta e al carico didattico sono presenti in Esse3.

Il libretto on line criticità … … se i libretti degli studenti sono popolati nei tempi previsti Lo studente trova nel libretto on line tutte le icone dei questionari associate alle AD/docenti da valutare dopo l’apertura dei questionari altrimenti … Lo studente dovrà inserire a libretto l’AD da “ricerca appelli” quindi tornare al libretto on line per compilare il relativo questionario e solo a quel punto potrà iscriversi all’esame al momento dell’iscrizione all’esame

Il sistema via WEB Apertura questionari Mail informativa allo studente Mail informativa al docente Il docente sollecita gli studenti a compilare il questionario Lo studente accede alla pagina relativa al suo libretto e compila il questionario Durante il periodo di apertura il docente potrà monitorare quanti studenti hanno compilato il questionario Lo studente può iscriversi all'esame Al termine della prima sessione di accertamento del profitto il docente potrà accedere ai risultati di sintesi parziali Al termine dell’anno accademico lo studente potrà accedere ai risultati in forma aggregata Al termine dell’anno accademico il sintesi e confronto definitive docente potrà accedere ai risultati di

Elaborazione e diffusione dei risultati I dati raccolti sono stati estratti dal DB di ESSE3 ed elaborati dal Servizio Studi Statistici attraverso propri strumenti (Crystal Report e APEX) I risultati della Valutazione della didattica sono accessibili dai diversi attori, attraverso la propria password, in un’area WEB appositamente costruita: www.unipd.it/pg/valutazione_didattica Gli utenti sono: Docenti (monitoraggio dei questionari e risultati parziali e definitivi delle proprie AD) Responsabili delle UOI (risultati parziali e definitivi di tutte le AD dei CDS della propria UOI) Referenti delle Segreterie di UOI (monitoraggio dei questionari di tutte le AD dei CDS della propria UOI) I risultati destinati agli studenti, aggregati per CDS, sono pubblicati nel sito di Ateneo: Università >Università in cifre >Valutazione della didattica

Altri report Interesse e soddisfazione degli studenti frequentanti. Valore medio dei giudizi a livello di AD-Docente per Facoltà.

Altri report Interesse e soddisfazione degli studenti frequentanti. Percentuale di AD-Docente caratterizzate da un giudizio medio insufficiente (inferiore a 6/10) e più che sufficiente (maggiore o uguale a 8/10), per Facoltà (NB: sono evidenziati i valori superiori al valore medio d’Ateneo). Facoltà di erogazione Indipendentemente da come si è svolto il corso, i contenuti dell'insegnamento sono stati interessanti per lei? (F16) Complessivamente, quanto si ritiene soddisfatto di come si è svolto il corso? (F14) % insufficienti % più che sufficienti AGRARIA 1,9% 59,0% 4,9% 35,0% ECONOMIA 5,8% 48,5% 16,5% 28,2% FARMACIA 1,6% 68,0% 6,2% 41,4% GIURISPRUDENZA 0,0% 65,8% 2,6% 45,1% INGEGNERIA 4,1% 50,4% 16,0% 24,7% LETTERE E FILOSOFIA 1,7% 73,8% 5,4% 50,1% MEDICINA E CHIRURGIA 2,9% 58,7% 8,9% 36,3% …….. Ateneo 57,2% 9,4% 34,8%

Prospettive e sviluppi Autovalutazione, valutazione e accreditamento del sistema universitario italiano (Documento finale ANVUR del 24 luglio 2012) Sezione G. La valutazione della didattica e dei servizi di supporto Opinione degli studenti frequentanti e non frequentanti sullo svolgimento dell’insegnamento, a circa 2/3 del corso sull’organizzazione del CDS e sugli esami sostenuti nell’a.a. precedente, all’inizio di ogni anno accademico Obbligo di compilazione e individuazione degli studenti attivi (+ del 25% dei cfu previsti nell’a.a. precedente) e inattivi (- del 25% dei cfu previsti nell’a.a. precedente) Possibilità di verifica della frequenza almeno con la comparazione tra numero dichiarato dal docente e numero di studenti che hanno dichiarato la frequenza.

Prospettive e sviluppi Garanzia di anonimato … esigenze di dati per l’analisi (es. confrontare risposte date dallo stesso studente a questionari diversi insegnamento esame) Opinioni dei laureandi riferimento Alma Laurea (Profilo dei laureati) Opinioni dei laureati a 1-3-5 anni riferimento Alma Laurea (Indagine occupazionale) Opinioni del docente … raccolte “in parallelo” a quelle degli studenti … a quale evento associare la compilazione … nessuna indicazione sull’obbligo (prima del primo appello)

GRAZIE