IVADIS   Indagine sulla Valutazione dell’Attività DIdattica da parte degli Studenti  

IVADIS GRUPPO DI LAVORO A.A. 2008-2009 (IVADIS 9):   GRUPPO DI LAVORO A.A. 2008-2009 (IVADIS 9): Dott.ssa Sara Laurita, Responsabile Ufficio Statistico e Coordinatrice Indagine IVADIS Vittorio Trovati, Supervisore fasi operative Indagine IVADIS Dott.ssa Maria Reda, Referente Facoltà di Economia Dott. Salvatore Ricchio, Referente Facoltà di Farmacia Dott.ssa Maria Gencarelli, Referente Facoltà di Ingegneria Dott.ssa Sonia Gencarelli, Referente Facoltà di Lettere e Filosofia Dott.ssa Ilaria Gallo, Referenti Facoltà di SMFN Dott.ssa Giuliana Gabrieli, Referente Facoltà di Scienze Politiche

IVADIS STAFF DI SUPPORTO AL GRUPPO DI LAVORO A.A. 2008-2009: Sig.ri Ketty Cipri, Leonardo Ippolito, Francesco Lia, Claudia Mezzatesta, Simone Nardi Supporto Ufficio Dott.ssa Federico Roberta, Sig. Amedeo Campo, Sig. Giuseppe Grupillo, Sig.ra Anna Crugliano, Sig.ra Annarita Berardi Statistici 6 operatori per l’acquisizione dati tramite lettore ottico 73 rilevatori

IVADIS   L’ORIGINE……  

IVADIS L. 537/1993 (art. 5 cc. 22 e 23) Istituisce i Nuclei di valutazione nelle università "con il compito di verificare, mediante analisi comparative dei costi e dei rendimenti, la corretta gestione delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l'imparzialità ed il buon andamento dell'azione amministrativa. I nuclei determinano i parametri di riferimento del controllo anche su indicazione degli organi generali di direzione, cui riferiscono con apposita relazione almeno annualmente.“

IVADIS La relazione dei nuclei di valutazione interna è trasmessa al Ministero dell'università e della ricerca scientifica e tecnologica, al Consiglio universitario nazionale e alla Conferenza permanente dei rettori per la valutazione dei risultati relativi all'efficienza e alla produttività delle attività di ricerca e di formazione, e per la verifica dei programmi di sviluppo e di riequilibrio del sistema universitario, anche ai fini della successiva assegnazione delle risorse.

IVADIS L. 370/99 Disposizioni in materia scientifica e tecnologica   L. 370/99 Disposizioni in materia scientifica e tecnologica COMITATO NAZIONALE PER LA VALUTAZIONE DEL SISTEMA UNIVERSITARIO COSTRUZIONE DI UN APPOSITO FONDO INTEGRATIVO PER L’INCENTIVAZIONE DELL’IMPEGNO DIDATTICO INTRODUZIONE DI APPOSITE DISPOSIZIONI PER IL COMPLETAMENTO DEL QUADRO DI INTERVENTI PER L’AUTONOMIA DIDATTICA UNIVERSITARIA

IVADIS   La legge: ribadisce e consolida l’attività dei Nuclei rivolta ad “….adottare un sistema di valutazione interna della gestione amministrativa, delle attività didattiche e di ricerca, degli interventi del diritto allo studio, verificando anche mediante analisi comparative dei costi e dei rendimenti, il corretto utilizzo delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l’imparzialità e il buon andamento dell’azione amministrativa” introduce elementi nuovi nel sistema di valutazione dei Nuclei: “…redigono una relazione contenente le informazioni e i dati determinati ogni triennio dal Comitato…”

IVADIS   “….acquisiscono, mantenendone l’anonimato, le opinioni degli studenti frequentanti sulle attività didattiche e trasmettono un’apposita relazione entro il 30 aprile di ogni anno… “

IVADIS D.M. del 31/10/2007 prot. n. 544/2007 comma 2 art. 3: stabilisce che i Nuclei di Valutazione devono procedere alla verifica della sussistenza dei livelli di qualità, utilizzando gli indicatori definiti nel doc. 7/07 del CNVSU. In particolare si fa riferimento all’indicatore di efficacia che misura il livello di soddisfazione degli studenti nei riguardi dei singoli insegnamenti

IVADIS Inoltre in tale DM si richiama il D.M. del 18 ottobre 2007, nel quale si precisa che un corso di studio viene definito in possesso dei requisiti indicati qualificanti se soddisfa almeno 5 dei 7 requisiti previsti, tra cui il seguente: “la percentuale degli insegnamenti in cui viene rilevato il parere degli studenti è superiore al valore mediano nazionale, relativo ai raggruppamenti di facoltà definiti in relazione a quanto previsto dal Sub. Allegato A.2. del D.M. n. 362/2007”.

IVADIS   PROGETTAZIONE  

OBIETTIVI DELL'INDAGINE IVADIS             OBIETTIVI DELL'INDAGINE    L'indagine ha lo scopo di raccogliere informazioni utili ai fini di migliorare la qualità dei programmi didattici e il rapporto studenti/docenti. Utilizzando le valutazioni degli studenti si riescono ad ottenere informazioni sui fattori che facilitano o ostacolano l'apprendimento.

IVADIS   L’indagine deve fornire informazioni complementari e/o conferma di verifica nell’ambito del processo più ampio e complesso di valutazione di un Corso di Studi. La rilevazione cerca di cogliere la percezione che lo studente ha della didattica come gli viene presentata, per l’attivazione delle sue facoltà di apprendimento e per il modo con cui “conoscenza ed abilità” vengono finalizzate ad affrontare con successo le prove d’esame.

IVADIS   In generale: gli aspetti della didattica che si sottopongono al giudizio dello studente fanno parte delle esperienze dirette sulle quali lo studente ha titolo per rispondere (aule, dotazioni ed attrezzature, carico di lavoro, ecc.).  

POPOLAZIONE OGGETTO DI STUDIO IVADIS     POPOLAZIONE OGGETTO DI STUDIO   Tutti gli insegnamenti ed i moduli attivati dall’Ateneo UNITA’ DI RILEVAZIONE Tutti gli studenti frequentanti UNITA’ DI ANALISI Insegnamenti/moduli Docenti Corso di Laurea/Facoltà/Ateneo Aule

IVADIS QUESTIONARIO 6 sezioni:   QUESTIONARIO 6 sezioni: Organizzazione del proprio corso di studi Organizzazione dell’insegnamento Attività didattiche e studio Infrastrutture Interesse e soddisfazione Informazioni sul proprio corso di studi Una sezione speciale per i commenti personali

IVADIS 15 domande quattro tipi di risposta Decisamente no   15 domande quattro tipi di risposta Decisamente no Più no che si Più si che no Decisamente si

IVADIS

IVADIS  

IVADIS FASI PRELIMINARI Progettazione Analisi dei tempi e dei costi   FASI PRELIMINARI Progettazione Analisi dei tempi e dei costi Avvio dell’indagine: comunicazione ai presidi di facoltà – sensibilizzazione studenti

IVADIS

IVADIS

Le macro fasi dell’indagine Pianificazione indagine IVADIS Le macro fasi dell’indagine Pianificazione indagine Costituzione di un gruppo di progettazione Analisi degli aspetti concettuali ed operativi dell’indagine Predisposizione di un documento di programmazione

Periodicità nell’acquisizione dei dati IVADIS Periodicità nell’acquisizione dei dati Dati provenienti dalla Facoltà Acquisizione all’inizio di ogni periodo didattico Dati provenienti dalla rilevazione Acquisizione ai 2/3 della durata di ogni periodo didattico

Organizzazione delle attività didattiche nelle facoltà dell’Ateneo IVADIS   Organizzazione delle attività didattiche nelle facoltà dell’Ateneo Economia Farmacia e Scienza della Nutrizione Ingegneria Lettere e Filosofia Scienze Fisiche Matematiche e Naturali Scienze Politiche Poli didattici distaccati (Crotone, Vibo Valentia)

IVADIS Programmazione attività sul campo Contatto personale amministrativo delle Facoltà Sensibilizzazione Contatto associazioni studentesche Programmazione attività sul campo Formazione risorse umane e verifica competenze acquisite Contatto referenti di Facoltà Aggiornamenti del sistema informatico Protos2 Costituzione di un gruppo di progettazione

File o materiale cartaceo IVADIS IL PROCESSO Richiesta informazioni ai referenti di Facoltà Programmazione delle attività didattiche e relative informazioni (docente, nome insegnamento, cdl attivante o mutuante, crediti, ore di lezione…) Orario delle lezioni File o materiale cartaceo Introdurre i problemi riscontrati con le facoltà e le necessità di contattare i corsi di laurea e i manager didattici

Programmazione periodica IVADIS Programmazione periodica delle rilevazioni Stesura del piano delle attività Preparazione elenco insegnamenti attivi Controllo qualità dei dati Realizzazione scadenziario Acquisizione informazioni programmazione didattica

IVADIS Organizzazione della programmazione INDIVIDUAZIONE STATUS INSEGNAMENTI: Rilevabili Non rilevabili Per insegnamento rilevabile s’intende un insegnamento che abbia le seguenti caratteristiche: almeno 24 ore di lezione; almeno 2 crediti formativi; l’attività didattica non sia svolta prevalentemente in un laboratorio.

Popolamento banca dati IVADIS Popolamento banca dati insegnamenti attivi Assegnazione codici Caricamento dati Controllo qualità dei dati

IVADIS Codifica: acquisizione informazioni banca dati Assegnazione di un codice: Insegnamento (3 cifre) Modulo (4 cifre) Gruppo (4 cifre) Docenti …… Analisi storica dei dati (controlli su codici già esistenti) Esigenza dell’introduzione dei moduli, problemi corsi mutuati…… Formazione codificatori, storicità SPSS,…

Predisposizione calendario IVADIS Predisposizione calendario delle rilevazioni Generazione automatica calendario rilevazioni da Protos2 Definizione calendario rilevazioni Controllo calendario rilevazioni Primo controllo calendario rilevazioni

IVADIS Pianificazione calendario Assegnazione di data, ora e aula di rilevazione Controlli: in base alle aule corsi tenuti nella stessa ora stessa aula stesso docente (errore, mutuazioni,…) docenti che risultano tenere contemporaneamente due lezioni stessa ora, aule diverse nella struttura per la pianificazione visualizzazione solo della prima ora di lezione

Preparazione rilevazioni IVADIS Caricamento dati relativi alla rilevazione Consegna materiale ai rilevatori Preparazione rilevazioni Invio e-mail ai docenti Certificazione insegnamenti attivi Stampa scheda modulo Controllo dati della scheda modulo Preparazione buste rilevazione Gestione risposte e-mail Revisione calendario rilevazioni

IVADIS Invio “automatico e-mail docenti” Prima di inviare: controllo informazioni caricate certificazione dell’insegnamento Richieste docenti: verifica informazioni in nostro possesso comunicazione: periodo di sospensione, #studenti frequentanti (informazione utile per organizzazione rilevatori) Correzione calendario Calcolo tasso di risposta alla e-mail Necessità di facilitare il processo di modifica dell’orario

IVADIS Creazione scheda di rilevazione Controllo: coincidenza data, ora e aula tra calendario e scheda

IVADIS Rilevazione Contatto con i rilevatori Risoluzione eventuali problemi di rilevazione Reinserimento in calendario rilevazioni non effettuate Rilevazione Monitoraggio andamento rilevazioni Contatto docenti corsi non rilevati Controllo insegnamenti rilevati ed aggiornamento calendario Monitoraggio operato rilevatori: studenti osservatori Caricamento dati relativi ai tentativi di rilevazione Aggiornamento Protos2 Controllo buste rientrate

IVADIS Somministrazione dei questionari Formazione rilevatori Manuale di rilevazione Capo gruppo Coordina i rilevatori, comunica con l’ufficio di supporto al nucleo di valutazione Attualmente sono impegnate nell’attività di rilevazione 73 persone.

Calcolo tasso di copertura IVADIS Calcolo tasso di copertura Verifica status moduli Aggiornamento insegnamenti attivi Calcolo tassi di copertura Impiego query moduli attivanti e mutuati Controllo manuale tra pacchi e insegnamenti attivi Individuazione dei corsi con 0 o 1 studenti Individuazione dei corsi non rilevati

IVADIS Lettura ottica Preparazione materiale necessario alla lettura Controllo qualità dei dati Lettura dei questionari raccolti Monitoraggio lettura

IVADIS Codifica di preparazione alla lettura ottica dei questionari: Controllo delle informazioni relative agli insegnamenti Acquisizione delle informazioni relative a # questionari distribuiti # questionari raccolti note di rilevazione nominativi rilevatori OSS: utilizziamo tali informazioni per effettuare controlli di verifica sulla stima delle ore per rilevatore

IVADIS creazione scheda lettura

trasmissione dei risultati IVADIS Elaborazione dati e trasmissione dei risultati Controllo dati Utilizzo del pacchetto statistico SPSS per l’elaborazione dati Invio e diffusione dei risultati Invio risultati tramite e-mail a Presidi e referenti di Facoltà Utilizzo software Error control Controllo dati mediante pacchi, tasso di copertura e dati caricati in Protos2 Protosweb

IVADIS Elaborazione dei dati e strumenti di diffusione dei risultati sintesi per i rilevatori docenti facoltà rapporto conclusivo per il comitato nazionale sintesi dei principali risultati contenuti nel rapporto annuale di valutazione

IVADIS IVADIS 8 “Un po’ di numeri” Periodo Lezioni: Settembre 2007/Giugno 2008 Effettuate 2681 rilevazioni Inviate ~ 1500 e-mail Raccolti ~ 83.404 questionari Costruiti 30 calendari di rilevazioni

IVADIS Realizzazione Protos2-Web   Realizzazione Protos2-Web Nuova funzionalità del software PROTOS2, la cui caratteristica principale sarà quella di consentire,con accesso differenziato, (mediante l’uso di password personalizzate) ad ogni utente autorizzato la visione dei risultati delle rilevazioni del proprio insegnamento. I dati relativi alle rilevazioni effettuate nell’ultimo periodo saranno disponibili in rete in un tempo ragionevolmente breve.