Incontro AQ didattica Referenti CdS – Presidenti Commissioni Paritetiche – Presidio della Qualità Lunedì 7 – martedì 8 settembre 2015

Programma  SALUTI della Delegata alla Didattica, Alessandra Tomaselli  PRESENTAZIONE DELLE PROSSIME ATTIVITÀ DI AUTOVALUTAZIONE, CON PARTICOLARE ATTENZIONE ALL’ELABORAZIONE DEI RIESAMI ANNUALI E CICLICI E ALL’ACCREDITAMENTO PERIODICO Laura Calafà (Presidente Presidio della Qualità) e Laura Mion (U.O. Valutazione e Qualità)  LINEE DI MIGLIORAMENTO NELLA DIDATTICA SUGGERITE DAGLI STUDENTI. PRIMA ANALISI DELLE RISPOSTE INSERITE NEL CAMPO APERTO DEL QUESTIONARIO DI VALUTAZIONE DELLA DIDATTICA UNIVERSITARIA RELATIVO ALL’A.A , Giuseppe Tacconi (Ricercatore di Didattica e Pedagogia Speciale e Componente del Nucleo di Valutazione)  INTERVENTI E DIBATTITO

Le ragioni dell’incontro: AVA adempimento formale? Dalla mail di invito …. Il Presidio per l’assicurazione di qualità organizza quattro incontri di preparazione alle prossime attività di autovalutazione della didattica (Riesame) per l’a.a. 2015/16, con il supporto delle Commissioni paritetiche dipartimentali. Agli incontri non abbiamo invitato esperti esterni perché pensiamo che la riflessione interna all’Ateneo sia importante e giunta ad un grado di maturità tale da diventare autonoma La risposta UNIVR ad AVA : incontri periodici, ridotte richieste documentali, nuovo coinvolgimento CP, riflessione interna senza alcun supporto esterno al fine di favorire un incontro sincero e proattivo. Gli strumenti : la relazione del NdV come documento di base, le riflessioni sul questionario studenti e i loro suggerimenti. Il metodo : autovalutazione e simulazione

Il raccordo riesame del CdS e l’accreditamento periodico dell’Ateneo I punti di attenzione del riesame prefigurano quelli che proposti da valutatori esterni nelle Linee guida di Accreditamento periodico

L’AQ della didattica dall’avvento di AVA ad oggi… - Nuovi organi e funzioni (nasce il PdQ nel febbraio 2013, la figure del Docente Referente di CdS (in totale 57 docenti in tutto l’Ateneo) e si afferma la costituzione delle Commissioni Paritetiche Docenti- Studenti di Dipartimento (previste dalla L. 240/10) - Nuovi concetti : Riesame, AQ, SUA-CdS, SUA-RD, accreditamento iniziale e periodico, Modello di AQ di Ateneo…. - Nuove attività e lavori : già condotti 3 cicli di attività di riesame (per un totale di 225 rapporti prodotti!) e 2 cicli di relazione delle Commissioni Paritetiche (24 relazioni in totale). - Primi risultati : nell’a.a. 2013/14 ricevono l’accreditamento iniziale tutti i CdS dell’Ateneo, come anche l’unico CdS di nuova attivazione presentato per l’accreditamento per l’a.a. 2015/16 (2 CdS non sono invece passati al CUN…) -… ma la qualità della didattica è realmente cresciuta????

Questioni sospese … 1.Il differente ruolo fra attività di riesame e delle relazioni delle CP 2.L’ «istituzionalizzazione» della figura del docente referente del CdS (non prevista da normativa e da statuto, ma con importanti ruoli di responsabilità) 3.L’impatto della qualità…. Culturale? Finanziario? Ritorno sulle iscrizioni? Di certo… -La valutazione della qualità incomincia ad avere risvolti sempre più diretti e vicini alla vita quotidiana di studenti e docenti Es: I dati dei questionari verranno diffusi e resi pubblici, la valutazione negativa di ANVUR blocca l’attivazione di nuovi CdS, la VQR ha avuto risvolti mediatici e finanziari notevoli, la SUA-CdS è stata pubblicata su Universitaly (vd. di seguito articolo Sole 24 ore),

Universitaly = Schede SUA-CdS

Cosa si sta facendo in Ateneo? - Adozione Linee Guida AQ dell’offerta formativa e recenti interventi al modello di AQ di Ateneo, che prevedono:  l’incompatibilità fra docente referente di CdS e altri incarichi nell’ambito di organi di valutazione (Commissioni Paritetiche, Nucleo di Valutazione e Presidio della Qualità) ovvero nell’ambito di ruoli istituzionali (Componente SA e CdA e Direttore di Dipartimento). Non è incompatibile, invece, con il ruolo di Presidente di Collegio Didattico. Inoltre, il ruolo di Componente della Commissione Paritetica risulta incompatibile con quello di Componente del Gruppo di Riesame di CdS che afferisce al Dipartimento della CP;  la necessità di coordinamento fra Commissioni Paritetiche e PdQ e NdV, tramite audizioni trimestrali;  l’introduzione del tavolo tecnico in caso di criticità in sede di valutazione CUN e accreditamento ANVUR dei nuovi CdS, in conformità con le Linee Guida AQ sull’offerta formativa dell’Ateneo - Attività di formazione per il personale coinvolto, come gli incontri di questi giorni, gli eventi ANVUR (Terza missione,…)

- Nuovo sito di AQ, per avere sempre informazioni utili e aggiornate sulle attività in essere - Avvio di una reportistica on- line (a partire dai questionari per poi passare in futuro ad altri dati statistici) disponibile tramite un datawarehouse a disposizione di tutti (Pentaho di U-GOV)

Prospettive future -Nuovo PdQ (in scadenza con il termine dell’a.a. 2014/15) e rinnovo tramite raccolta di disponibilità alla partecipazione -Nuovo assetto dipartimentale (fino alle scadenze relative all’a.a. 2014/15 si invita a mantenere i ruoli di AQ finora svolti) -Accreditamento periodico dell’ANVUR(a.a. 2015/16 in forse, ma a.a. 2016/17 sicuro!)

Le prossime attività di AQ SUA-CdS Rapporto di Riesame Relazioni Commissioni Paritetiche

SUA-CdS SCADENZA 30 SETTEMBRE 2015: Tutti i dati sono già stati inviati (1° tranche: del luglio, 2° tranche: del 4 settembre, da Occorre caricare i dati nelle apposite sezioni della SUA-CdS (B6, B7, C1, C2 e C3) accompagnandoli con un’analisi, che poi sarà ripresa nei Rapporti di Riesame. NB: considerando l’anticipazione della scadenza del Riesame, non vi sarà un ulteriore invio dei dati. I dati della SUA-CdS sono quelli che servono anche per il Riesame. SUA-CDS IN GENERALE…. 1.Deve essere collegata con i Rapporti di Riesame (cioè evidenze riscontrate nel riesame dovrebbero essere riportate nella SUA-CdS dell’anno successivo) 2.Le modifiche alla SUA-CDS che si rendono necessarie nonostante il blocco di alcuni campi (es. coinvolgimento parti interessate) vanno comunque effettuate e ne va tenuta traccia (es. sito web, delibere CdD,..)

Rapporti di Riesame e Relazioni Commissioni Paritetiche Il differente ruolo fra attività di riesame e delle relazioni delle CP RiesameRelazione CP Cos’è È uno strumento di autovalutazioneÈ uno strumento di valutazione interna Chi lo fa Lo fanno i docenti/studenti che insegnano/frequentano il CdS Docenti e Studenti di CdS che afferiscono al Dipartimento (non è detto che tutti i CdS siano rappresentati da Docenti e Studenti, anche se sarebbe opportuno) A cosa serve Serve per il miglioramento continuo e per interventi correttivi Serve per una valutazione interna dell’efficienza e dell’efficacia del CdS A chi va Organi di governo del CdS e del Dipartimento, Commissioni Paritetiche, PdQ e NdV, ANVUR PdQ e NdV, ANVUR (agli organi di governo del CdS e del Dipartimento va solo come comunicazione) Cambiano obiettivi e soggetti, ma i contenuti delle due relazioni si avvicinano molto.

PROCESSO fino al 2014 Relazione CP (entro 31/12, termine di legge non prorogabile) Rapporti di Riesame CdS (entro fine gennaio anno successivo) Passaggio agli organi governo CdS, PdQ e NdV Nessun collegamento! PROCESSO dal 2015 Rapporti di Riesame CdS (entro 10 novembre) Relazioni CP (31/12) Passaggio agli organi governo CdS, PdQ e NdV Sulla base dei rapporti di riesame CdS

Riesame annuale e ciclico… 1.Tutte le triennali fanno ciclico 2.Scadenza anticipata al 10 novembre 3.Dati già a disposizione (sono gli stessi della SUA-CdS settembre) 4.Il format è quello dell’anno scorso.. Disponibile sul sito AQ alla pagina Eventuali variazioni del format che ANVUR potrebbe eventualmente richiedere, saranno tempestivamente comunicati a tutti i Referenti dei CdS.

Rapporto di Riesame Documento essenziale del processo auto-valutativo svolto dal CdS, il Rapporto di Riesame costituisce lo strumento di ri-progettazione intermedia che collega la fase auto-valutativa con quella progettuale volta al continuo miglioramento. Il Rapporto di Riesame risponde a tre obiettivi essenziali: 1.Descrizione del CdS 2.Verifica-Auto-valutazione del CdS 3.Individuazione delle azioni di miglioramento Lettura dei Rapporti di Riesame da parte di ANVUR:  completezza: capacita ̀ di fornire un quadro esaustivo del CdS fondato su rilevi significativi e supportati da basi dati empiricamente fondate;  prospettiva critica: capacita ̀ di individuare punti di forza e aree di miglioramento del CdS  radicamento : capacità di leggere l’ambiente di riferimento individuando rischi e prospettive di sviluppo  prospettiva proattiva: capacita ̀ di definire un piano di miglioramento articolato in obiettivi, azioni, tempi e strategie di realizzazione;  coerenza interna: capacita ̀ di collegare logicamente le diverse componenti del Rapporto di Riesame

Rapporto di Riesame Annuale promuove il miglioramento dell’efficacia della formazione fornita agli studenti: ∙ analisi dei dati quantitativi (ingresso nel Corso di Studio, regolarità del percorso di studio, uscita dal Corso di Studio e ingresso nel mercato del lavoro) e di indicatori da essi derivati, ∙ evoluzione nel corso degli anni accademici precedenti, delle criticità osservate o segnalate sui singoli moduli che compongono il percorso di formazione e sul loro coordinamento nel corso dei periodi didattici mette in luce: ∙ gli effetti delle azioni correttive intraprese negli anni accademici precedenti ∙ i punti di forza e le aree da migliorare che emergono dall’analisi ∙ gli interventi e le azioni correttive per correggere gli elementi critici messi in evidenza dall’analisi

Rapporto di Riesame Annuale Le valutazioni riguardano: A1 - L’INGRESSO, IL PERCORSO, L’USCITA DAL CDS A2 - L’ESPERIENZA DELLO STUDENTE A3 - L’ACCOMPAGNAMENTO AL MONDO DEL LAVORO Secondo il seguente schema: c – INTERVENTI CORRETTIVI PROPOSTI Proporre solo azioni immediatamente applicabili e di cui si potrà constatare l’effettiva efficacia nel quadro “Azioni già intraprese ed esiti” dell’anno successivo. Indicare obiettivi e mezzi, evitando azioni prive di forti legami con il problema evidenziato, richieste generiche o irrealizzabili o dipendenti da altre entità non controllabili. b - ANALISI DELLA SITUAZIONE SULLA BASE DEI DATI Commentare i dati evidenziando i punti di forza e le aree da migliorare, a - AZIONI CORRETTIVE GIÀ INTRAPRESE ED ESITI Descrivere le azioni adottate a valle dei Riesami ciclici precedenti, indicando gli esiti o lo stato di avanzamento. Collega- mento logico fra le 3 sezioni

Rapporto di Riesame Ciclico ]Attività svolta tipicamente su un medio periodo di 3/5 anni, in funzione delle caratteristiche e dell’ambito disciplinare del CdS. Analizza principalmente se permane la validità degli obiettivi di formazione e del sistema utilizzato dal Corso di Studio per conseguirli. Prende in esame l’attualità della domanda di formazione che sta alla base del Corso di Studio, le figure professionali di riferimento e le loro competenze, e la coerenza dei risultati di apprendimento previsti dal Corso di Studio nel suo complesso e dai singoli insegnamenti. Considera l’efficacia del sistema di gestione del Corso di Studio. Mette in luce: ∙gli effetti delle azioni correttive intraprese nei periodi di riferimento precedenti (se disponibili) ∙i punti di forza e le aree da migliorare che emergono dall‘analisi ∙gli interventi volti a introdurre azioni correttive sugli gli elementi critici messi in evidenza o ad apportare miglioramenti

Rapporto di Riesame Ciclico essenziale per i corsi in “trasformazione” essenziale per i CdS autocandidati per l’accreditamento Per il riesame dell’a.a. 2014/15, quindi, tutti i CdS triennali sono tenuti a redigere il rapporto di riesame ciclico, in modo da prepararsi all’accreditamento periodico. I CdS magistrali hanno già redatto il ciclico per l’a.a. 2013/14.

Riesame annuale Del percorso di studio Riesame ciclico Del progetto formativo Pertanto, l’analisi e le azioni migliorative devono differenziarsi fra annuale e ciclico La differenza fra riesame annuale e ciclico sta nell’oggetto di valutazione Il CdS viene svolto bene? Gli studenti e i docenti sono soddisfatti? Cosa si può fare affinché il CdS sia svolto ancora meglio? Gli obiettivi formativi del CdS, a distanza di anni, sono ancora validi? Il CdS risponde ancora ad una reale esigenza formativa (parti interessate)? Il CdS viene gestito bene?

Relazione Commissioni-Paritetiche Dal documento AVA- ANVUR A - Analisi e proposte su funzioni e competenze richieste dalle prospettive occupazionali e di sviluppo personale e professionale, tenuto conto delle esigenze del sistema economico e produttivo B - Analisi e proposte su efficacia dei risultati di apprendimento attesi in relazione alle funzioni e competenze di riferimento (coerenza tra le attività formative programmate e gli specifici obiettivi formativi programmati) C - Analisi e proposte su qualificazione dei docenti, metodi di trasmissione della conoscenza e delle abilità, materiali e ausili didattici, laboratori, aule, attrezzature, in relazione al potenziale raggiungimento degli obiettivi di apprendimento al livello desiderato. D - Analisi e proposte su validità dei metodi di accertamento delle conoscenze e abilità acquisite dagli studenti in relazione ai risultati di apprendimento attesi E - Analisi e proposte sulla completezza e sull’efficacia dei questionari relativi alla soddisfazione degli studenti (e per il futuro dei docenti). F - Analisi e proposte su gestione e utilizzo dei questionari relativi alla soddisfazione degli studenti G - Analisi e proposte sull’effettiva disponibilità e correttezza delle informazioni fornite nelle parti pubbliche della SUA-CDS.

Inoltre… dall’art.13 del D.Lgs. 19/ Le commissioni paritetiche docenti-studenti, previste dall'articolo 2, comma 2, lettera g), della legge 30 dicembre 2010, n. 240, redigono una relazione annuale che contiene proposte al nucleo di valutazione interna nella direzione del miglioramento della qualità e dell'efficacia delle strutture didattiche, anche in relazione ai risultati ottenuti nell'apprendimento, in rapporto alle prospettive occupazionali e di sviluppo personale e professionale, nonché' alle esigenze del sistema economico e produttivo. 2. L'elaborazione delle proposte avviene previo monitoraggio degli indicatori di competenza di cui all'articolo 12, comma 4, e anche sulla base di questionari o interviste agli studenti, preceduti da un'ampia attività divulgativa delle politiche qualitative dell'ateneo, in modo da rendere gli studenti informati e consapevoli del sistema di qualità adottato dall'ateneo. 3. La relazione delle commissioni paritetiche docenti-studenti viene trasmessa ai nuclei di valutazione interna e al senato accademico entro il 31 dicembre di ogni anno. 4. Le metodologie sono definite con il concorso dei nuclei di valutazione e possono prevedere l'elaborazione di autonomi indicatori, anche su proposta delle commissioni paritetiche docenti-studenti, ai sensi dell'articolo 2, comma 1, lettera r), della legge 30 dicembre 2010, n. 240, adeguatamente armonizzati con gli indicatori definiti dall'ANVUR, che misurano, a livello di singole strutture, il grado di raggiungimento degli obiettivi nella didattica, nella ricerca, nell'organizzazione e nelle performance individuali, valutando analiticamente i risultati ottenuti in rapporto a ogni singolo compito o attribuzione. Le CP possono darsi – insieme al NdV – un metodo di valutazione, con indicatori e strumenti studiati ad hoc in base alle proprie peculiarità.

Accreditamento periodico CdS Requisito AQ5 Linee guida per l’accreditamento periodico delle sedi e dei CdS: il sistema di AQ è effettivamente applicato ed è efficacemente in funzione nei CdS visitati a campione presso l’Ateneo -L’esame di un campione di CdS, LM, Lauree a ciclo unico pari al 10% dei CdS (arrotondato all’unità per difetto) con un mimino di 9 -Metà del campione è scelta dall’Ateneo, la restante parte da Anvur -Ulteriore 10% dopo l’accreditamento -L’esame “a distanza” e la visita in loco La domanda di formazione I risultati di apprendimento attesi e accertati L’ingresso, il percorso, l’uscita dal CdS L’esperienza dello studente L’accompagnamento al mondo del lavoro Il sistema di gestione del CdS

Le fonti nei due livelli di analisi Durante l’esame a distanza l’esame documentale si concentra sui seguenti documenti: SUA-CdS ultimi 3 anni Rapporti di riesame annuali (ultimi 3 anni) Rapporti di riesame ciclico (ultimi 3 anni) Relazioni annuali delle CP (ultmi 3 anni) La visita in loco consente l’approfondimento dei dati contenuti nei documenti nonché la verifica della coerenza tra documentazione e attività concretamente messe in atto tramite eventuali colloqui, a esclusiva discrezione del CEV, con il Responsabile del CdS, con i docenti (quelli di riferimento, ma non solo), con gli studenti, con il personale TA e gli esponenti delle parti interessate