Analisi critica di un rapporto di ricerca: Lundicesimo rapporto sullo stato del sistema universitario del CNVSU Valutazione delle politiche formative 19.

Presentazione sul tema: "Analisi critica di un rapporto di ricerca: Lundicesimo rapporto sullo stato del sistema universitario del CNVSU Valutazione delle politiche formative 19."— Transcript della presentazione:

1 Analisi critica di un rapporto di ricerca: Lundicesimo rapporto sullo stato del sistema universitario del CNVSU Valutazione delle politiche formative 19 Ottobre 2012

2 Abbiamo bisogno di: Analizzare per avere ben presente chi ha prodotto il rapporto, a quali scopi, utilizzando quali criteri, quali dati e quali tecniche di analisi; E di farlo Criticamente, cioè facendo attenzione alla concettualizzazione dei criteri, alla costruzione degli indicatori, alla loro parte estranea e a tutti i possibili errori che non vorremmo replicare. Perché abbiamo bisogno di analizzare criticamente dei rapporti di ricerca? Obbiettivo finale del progetto di ricerca: Monitoraggio e valutazione dei cambiamenti nellateneo Sapienza (1992 -2012) Obbiettivo intermedio: Ricognizione delle dimensioni e dei relativi indicatori impiegati a livello italiano e internazionale per valutare il sistema universitario, dunque: individuazione delle principali agenzie di valutazione a livello internazionale e nazionale; mappatura e analisi degli indicatori impiegati da tali agenzie; comparazione tra le agenzie, le dimensioni e gli indicatori; selezione degli indicatori utilizzabili al fine del monitoraggio e della valutazione dellateneo Sapienza.

3 Cosa abbiamo bisogno di sapere su un rapporto di ricerca valutativo? 1: chi ha prodotto il rapporto? 2: qual è lo scopo del rapporto? 3: quali sono i criteri di valutazione utilizzati nel rapporto? 4: quali sono le fonti di dati utilizzate? 5: quali sono gli indicatori utilizzati? a: sono riconducibili a uno schema concettuale univoco? Quale? … per ognuno di essi: b: il rapporto di indicazione è chiaramente identificabile? c: sono calcolati correttamente? d: i dati su cui si basano sono affidabili?

4 Il CNVSU è stato istituito dall'articolo 2 della legge 19 ottobre 1999, n. 370; il suo funzionamento è stato disciplinato con D.M. 4 aprile 2000, n. 178; la sua costituzione è stata disposta con D.M. n. 101 del 14 maggio 2004. Lundicesimo rapporto sullo stato del sistema universitario CNVSU 1: chi ha prodotto il rapporto? Il CNVSU Comitato nazionale per la valutazione del sistema universitario (CNVSU) LAgenzia di Valutazione del Sistema Universitario e della Ricerca (ANVUR) sostituisce tanto il CNVSU quanto il CIVR; è stata istituita con la legge 286 del 2006 e regolamentata in seguito con il DPR n. 76 del 1 Febbraio 2010 al fine di razionalizzare il sistema di valutazione della qualità delle università e degli enti di ricerca pubblici e privati destinatari di finanziamenti pubblici, nonché dellefficienza e dellefficacia dei programmi statali di finanziamento e di incentivazione delle attività di ricerca e di innovazione (art. 2, c. 138).

5 1: chi ha prodotto il rapporto? Il CNVSU è un organo istituzionale del Miur con il compito di: fissare i criteri generali per la valutazione delle attività delle università; predisporre una relazione annuale sulla valutazione del sistema universitario; promuovere la valutazione; determinare la natura delle informazioni e dei dati che i nuclei di valutazione degli atenei sono tenuti a comunicare; attuare un programma annuale di valutazioni esterne delle università o di singole strutture didattiche; effettuare valutazioni tecniche su proposte di nuove istituzioni universitarie statali e non statali in vista dell'autorizzazione al rilascio di titoli aventi valore legale; predisporre rapporti sullo stato di attuazione e sui risultati della programmazione; predisporre studi e documentazione sullo stato dell'istruzione universitaria, sull'attuazione del diritto allo studio e sugli accessi ai corsi di studio universitari; predisporre studi e documentazione per la definizione dei criteri di riparto della quota di riequilibrio del fondo per il finanziamento ordinario delle università; svolgere per il Ministro attività consultive, istruttorie, di valutazione, di definizione di standard, di parametri e di normativa tecnica.

6 In riferimento a: 1 - organizzazione, gestione e risultati dei processi di formazione universitaria: la domanda e lofferta di formazione (cap. 2), i servizi agli studenti (cap. 3), la formazione alla ricerca (cap. 4). 2 - le caratteristiche e i problemi di gestione delle risorse: umane (cap. 5) finanziarie (cap. 6). Al termine del Rapporto viene inoltre presentato un focus sul posizionamento del sistema universitario italiano in una ottica internazionale (cap. 7). Lundicesimo rapporto sullo stato del sistema universitario 2: qual è lo scopo del rapporto? «fornire elementi sulle situazioni, comportamenti ed evoluzioni che si ritengono validi sia del sistema universitario nel suo complesso, sia delle singole università, ma anche, e forse soprattutto, di indicare gli elementi di debolezza del sistema se non veri e propri campanelli di allarme che richiedono riflessioni ed interventi a livello sia centrale che di ciascun ateneo» La rendicontazione (e la valutazione) dello stato del sistema universitario

7 «Il Cnvsu, la Crui, il Cun più volte hanno ribadito che gli indicatori di efficienza dei processi formativi usualmente calcolati non sono confrontabili tra le varie unità produttive, facoltà e università, poiché non tengono conto della diversa situazione in termini di risorse disponibili e del contesto in cui le unità operano, e proprio per questo gli indicatori sono detti indicatoriparziali di efficienza perché non vengono calcolati a parità di condizioni. » Lundicesimo rapporto sullo stato del sistema universitario 3: quali sono i criteri di valutazione utilizzati nel rapporto? Efficienza, ed efficienza comparabile Il confronto tra le medie degli indicatori Lanalisi della variabilità degli indicatori Indicatori di efficienza confrontabili

8 «Il risultato dei processi formativi, e della loro efficienza, è poi esaminato sia con riguardo al percorso prima di arrivare alla laurea (in termini di abbandono, dispersione e attività o inattività degli studenti), sia in termini di risultato complessivo dei percorsi formativi misurato dal numero di laureati (di primo e secondo livello) e dal tasso di laurea.» Lundicesimo rapporto sullo stato del sistema universitario 3: quali sono i criteri di valutazione utilizzati nel rapporto? Efficienza, ed efficienza comparabile? «indicatori di efficienza comparabili che consentono di verificare le difficoltà che si incontrano quando si utilizzano, anche per la ripartizione dei fondi, indicatori parziali di efficienza, cioè indicatori calcolati non a parità di condizioni (di risorse, di fattori di contesto, ecc.)»

9 E la capacità di raggiungere gli obiettivi prefissati. Efficacia E il rapporto tra i risultati ottenuti e i costi supportati. Efficienza Efficienza +Efficienza - Efficacia + Processi che raggiungono i risultati prefissati utilizzando al meglio le loro risorse Processi che raggiungono i risultati prefissati pur non utilizzando al meglio le loro risorse (risorse ampie rispetto agli obiettivi) Efficacia -Processi che non raggiungono i risultati prefissati nonostante utilizzino al meglio le loro risorse (risorse troppo scarse rispetto agli obiettivi) Processi che non raggiungono i risultati prefissati non utilizzando al meglio le loro risorse

10 NUCLEI, le procedure annuali dei Nuclei di valutazione di Ateneo Indagini annuali sullIstruzione Universitaria (Ufficio di statistica MIUR) Banca Dati Offerta Formativa (MIUR) Anagrafe Nazionale degli Studenti Universitari (MIUR-CINECA) Anagrafe dottorati Anagrafe dottorandi Indagine Istat Linserimento professionale dei dottori di ricerca Banca dati del MIUR dellomogenea redazione dei conti consuntivi Rilevazione MIUR-CINECA sui Progetti di ricerca di rilevante interesse nazionale Rapporto Education at a glance: OECD indicators Classifiche internazionali prodotte da: QS World University Ranking Times Higher Education Lundicesimo rapporto sullo stato del sistema universitario 4: quali sono le fonti di dati utilizzate? «molteplici fonti statistiche»

11 Lundicesimo rapporto sullo stato del sistema universitario 4: quali sono le fonti di dati utilizzate? «Le elaborazioni presentate utilizzano dati provenienti da molteplici fonti statistiche che non sono sempre facilmente comparabili per luniverso e il tempo di riferimento e per la definizione delle variabili» Le fonti sono sempre indicate chiaramente Le fonti sono spesso accessibili on line Le fonti sono quasi tutte ufficiali La principale rilevazione utilizzata è quella annuale effettuata tramite i Nuclei di valutazione delle Università, prevista dalla legge n. 370/99. La procedura NUCLEI è strutturata in sei sezioni: Offerta formativa, Studenti, Personale, Dati finanziari, Strutture, Ricerca scientifica. Esiste una rilevazione ad hoc

12 Lundicesimo rapporto sullo stato del sistema universitario 5: quali sono gli indicatori utilizzati? Indicatori descrittivi In relazione alla formazione universitaria si presenta una distinzione tra: Indicatori di processo riferibili alla regolarità del percorso di studio riferibili al proseguimento dellattività di studio (abbandoni e inattivi) Indicatori di risultato «fanno riferimento agli studenti che conseguono il titolo di studio» Il rapporto prende in considerazione numerosi aspetti del sistema universitario e mira a valutarne diverse funzioni, ma non presenta una esposizione chiara delle motivazioni alla base della scelta degli indicatori, né li classifica in base al criterio cui fanno riferimento.

13 Lundicesimo rapporto sullo stato del sistema universitario 5: quali sono gli indicatori utilizzati? a: sono riconducibili a uno schema concettuale univoco? Da altre fonti (il rapporto Cnvsu del 2009, p. 5) sappiamo che il Cnvsu, sulla scorta del Crui, per svolgere la propria attività di valutazione intende definire e calcolare un sistema di indicatori che, in relazione agli obiettivi perseguiti e alloggetto della valutazione, possono essere raggruppati in quattro classi: 1.indicatori di risorse, 2.indicatori di processo, 3.indicatori di risultato (o di outcome), 4.indicatori di contesto, «con lobiettivo generale di monitorare i processi e valutarne i risultati». Nel rapporto tuttavia non vi è traccia di una esposizione di questa classificazione, soltanto due delle sue classi sono in effetti identificabili chiaramente nel testo e solo in riferimento ai processi formativi.

14 Lundicesimo rapporto sullo stato del sistema universitario 5: quali sono gli indicatori utilizzati? 1.La domanda di formazione universitaria 2.La mobilità territoriale 3.Il carico didattico medio dei docenti 4.Il proseguimento degli studi 5.La regolarità dei laureati 6.I tassi di successo 7.Gli indicatori di efficienza dellofferta formativa confrontabili 8.Il potenziale ricettivo (regionale) 9.Partecipazione, idoneità e iscrizione di candidati provenienti da altri atenei per i dottorati di ricerca 10.Età media del personale docente 11.Tassi di partecipazione e successo PRIN b: il rapporto di indicazione è chiaramente identificabile? c: sono calcolati correttamente? d: i dati su cui si basano sono affidabili? …alcuni esempi!

15 b: il rapporto di indicazione è chiaramente identificabile? «…è certamente interessante verificare quanta parte della domanda potenziale, misurata, sia pure approssimativamente, dai maturi della scuola secondaria superiore, si trasforma in domanda effettiva, cioè in immatricolati. A questo riguardo, per comprendere bene il processo, in realtà è necessario considerare come domanda potenziale iniziale il numero dei giovani della classe di età corrispondente alletà teorica di conseguimento del diploma di maturità e, successivamente, il numero dei maturi che sono coloro che in pratica si possono iscrivere alluniversità». La domanda di formazione universitaria c: sono calcolati correttamente? Rapporto percentuale tra Maturi e 19enni Rapporto percentuale tra Immatricolati e Maturi Rapporto percentuale tra Immatricolati e 19enni d: i dati su cui si basano sono affidabili? La serie dei 19enni è stata ricostruita sulla base di dati Istat. I dati sui maturi dal 2000 al 2007 sono stati tratti dallUfficio di statistica del MIUR. Fino al 1998, i dati sugli immatricolati, iscritti totali, iscritti in corso e laureati e diplomati sono desunti dalle rilevazioni del MIUR al 31 gennaio di ogni anno e tengono conto dei soggetti che hanno pagato la prima rata di iscrizione; dal 1999 al 2008 i dati sono ricavati dalla Rilevazione sullIstruzione Universitaria dellUfficio di statistica del MIUR al 31 luglio di ogni anno. I dati 2009/10 sono da considerarsi provvisori.

16

17 La domanda di formazione universitaria Il problema di queste percentuali è identificabile nel fatto che le popolazioni poste al numeratore e al denominatore includono soggetti diversi, sarebbe stato più corretto calcolare il rapporto percentuale tra Maturi e 19enni ponendo al numeratore i Maturi 19enni, il rapporto percentuale tra Immatricolati e Maturi ponendo al numeratore gli immatricolati che hanno conseguito il diploma nellanno precedente, e il rapporto percentuale tra Immatricolati e 19enni ponendo al numeratore gli immatricolati 19enni. La parte estranea di questi indicatori è dovuta al fatto che non tutta la domanda potenziale di formazione universitaria risiede tra i maturi o i 19enni, dunque anche la domanda effettiva include altre parti della popolazione. E difficile concettualizzare un indicatore che controlli questa parte di domanda, per la difficoltà di individuare i detentori di domanda potenziale. Sarebbe possibile rendere conto di quanta parte della domanda effettiva non dipenda dalla domanda potenziale iniziale? Concettualmente questi ultimi due rapporti possono essere assunti come indicatori della domanda di formazione universitaria, ma per assurdo nessuno degli immatricolati potrebbe avere 19anni o essersi immatricolato lanno successivo al diploma.

18

19 b: il rapporto di indicazione è chiaramente identificabile? La mobilità territoriale degli immatricolati per la prima volta al sistema universitario in Italia è analizzata confrontando la regione di residenza degli studenti immatricolati (esclusi i residenti allestero) con la regione sede del corso di studi. La mobilità territoriale c: sono calcolati correttamente? Uscita dalla regione: è la percentuale di studenti che scelgono di immatricolarsi in una regione diversa da quella di residenza sul totale degli immatricolati residenti nella regione [= E/A]. Attrattività delle sedi regionali: è la percentuale di studenti immatricolati in una sede universitaria della regione ma provenienti da altre regioni sul totale degli immatricolati iscritti nelle sedi della regione [= D/B]. Saldo migratorio netto: è la differenza tra gli immatricolati in ingresso e gli immatricolati in uscita [= D-E]. d: i dati su cui si basano sono affidabili? La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sullIstruzione Universitaria condotte dallUfficio di statistica del MIUR e sono aggiornati fino allanno accademico 2008/09 e allanno solare 2009. * non sono compresi gli studenti residenti allestero (pari a 11.986)

20

21 La mobilità territoriale Gli indicatori sulla mobilità territoriale sono descrittivi, non presentano problemi in riferimento al rapporto di indicazione, alla correttezza dei calcoli o allaffidabilità dei dati. Tuttavia non si tratta della mobilità territoriale complessiva, infatti si tiene conto esclusivamente: -della prima iscrizione -delle iscrizioni al sistema universitario italiano -da parte di studenti residenti in Italia. Il problema di questi indicatori non è la parte estranea, ma il fatto che coprono solo in parte lestensione del concetto mobilità. Va sottolineato che lintestazione della tabella fa riferimento alla mobilità regionale degli immatricolati, dunque risulta corretta. Tuttavia non sarebbe preferibile includere le altre dimensioni della mobilità?

22 b: il rapporto di indicazione è chiaramente identificabile? «…lofferta didattica e la sua organizzazione è evidente che essa dipende in modo rilevante, anche se non esclusivo, dallentità del corpo docente a disposizione». […] «Per rendersi conto del carico didattico medio dei docenti si può calcolare il numero medio di immatricolati, di studenti regolari e di studenti totali per docente». Il carico didattico medio c: sono calcolati correttamente? -Numero di immatricolati per docente di ruolo -Numero di studenti regolari per docente di ruolo -Numero di studenti totali per docente di ruolo d: i dati su cui si basano sono affidabili? La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sullIstruzione Universitaria condotte dallUfficio di statistica del MIUR e sono aggiornati fino allanno accademico 2008/09 e allanno solare 2009.

23

24 «Naturalmente il numero di studenti totali per docente è più alto rispetto a quello degli studenti regolari e degli immatricolati (nellanno accademico 2009/10 rispettivamente 29,5, 17,1 4,8). Da notare che il numero medio degli immatricolati e degli studenti per docente si sono ridotti negli ultimi anni in relazione allaumento del numero dei docenti, ma ora stanno aumentando, visto che il numero dei docenti nellultimo anno è diminuito e, probabilmente, diminuirà anche negli anni futuri. I valori medi di carattere generale riportati nella tabella 2.16 hanno poco significato in quanto esiste una forte variabilità dei rapporti calcolati a livello di singola facoltà (si vedano i dati riportati in appendice), che dipende da molteplici fattori tra cui le caratteristiche e lorganizzazione di corsi di studio e degli insegnamenti. Tuttavia come si vedrà nel capitolo 7 relativo ai confronti internazionali, si tratta di un valore medio per il sistema universitario italiano più alto di quello registrato negli altri Paesi, ciò significa che in media il carico didattico dei docenti è superiore». Né gli immatricolati né gli studenti, regolari o totali danno conto però del carico di lavoro. Sarebbero probabilmente preferibili indicatori più specifici, come il numero di corsi o di ore di corso per docente? Il carico didattico medio

25 b: il rapporto di indicazione è chiaramente identificabile? La quota di iscritti regolari, la quota di immatricolati inattivi e quella di iscritti inattivi e le mancate iscrizioni al secondo anno sono presentati come indicatori di processo riferibili alla regolarità e la produttività. Il proseguimento degli studi c: sono calcolati correttamente? -Iscritti regolari sul totale degli iscritti corretto (cioè al netto degli iscritti con a.a. di prima immatricolazione sconosciuto o già in possesso di un titolo universitario) -Mancate iscrizioni al II anno sulle immatricolazioni - Immatricolati inattivi, cioè la quota di iscritti ad un anno dallimmatricolazione che non ha sostenuto alcun esame o acquisito crediti nellultimo anno solare - Iscritti inattivi, cioè la quota di iscritti che, nell'anno solare successivo a quello di riferimento, non sostengono alcun esame o non conseguono alcun credito (calcolati al netto degli immatricolati inattivi). d: i dati su cui si basano sono affidabili? La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sullIstruzione Universitaria condotte dallUfficio di statistica del MIUR e sono aggiornati fino allanno accademico 2008/09 e allanno solare 2009.

26 Il totale delle percentuali non dà cento. Perché?

27 b: il rapporto di indicazione è chiaramente identificabile? Laureati per tempo di conseguimento del titolo dal primo ingresso al sistema universitario. La regolarità dei laureati c: sono calcolati correttamente? «…laureati per anno di conseguimento del titolo (rispetto al primo ingresso nel sistema universitario) e durata media degli studi, valori assoluti e percentuali ». d: i dati su cui si basano sono affidabili? La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sullIstruzione Universitaria condotte dallUfficio di statistica del MIUR e sono aggiornati fino allanno accademico 2008/09 e allanno solare 2009.

28

29 b: il rapporto di indicazione è chiaramente identificabile? Tasso di successo: numero di laureati in rapporto al numero di immatricolati per coorte. Tasso di successo con regolarità: numero di laureati regolari in rapporto al numero di immatricolati per coorte. I tassi di successo c: sono calcolati correttamente? Tasso di successo – rapporto tra il numero di laureati ed il numero degli immatricolati di tre anni prima Tasso di successo con regolarità – rapporto tra il numero dei laureati regolari ed il numero degli immatricolati di tre anni prima d: i dati su cui si basano sono affidabili? La fonte è indicata in appendice: i dati sono elaborati sulla base delle Indagini annuali sullIstruzione Universitaria condotte dallUfficio di statistica del MIUR e sono aggiornati fino allanno accademico 2008/092 e allanno solare 2009.

30 «Nellesame del numero e della regolarità dei laureati nei corsi triennali si può tenere conto del numero di immatricolati tre anni prima, non disponendo di dati trasversali e non potendo effettuare unanalisi per coorti di immatricolati come si potrebbe fare ricorrendo ai dati dellanagrafe nazionale degli studenti». Sarebbe preferibile calcolare gli indicatori per coorte? (!)

31 Il Cnvsu, ha affidato ad un Gruppo di ricerca una apposita ricerca per individuare metodi di stima di indicatori di efficienza dellofferta formativa confrontabili. Gli indicatori di efficienza dellofferta formativa confrontabili «Adottando un approccio per coorte, sono stati analizzati, mediante lapplicazione di modelli di frontiera stocastica, i risultati conseguiti, in termini di avanzamento negli studi, dagli studenti immatricolati nella.a. 2004/05 nei successivi 4 anni di iscrizione, utilizzando un complesso e completo data-base appositamente costruito con i dati elementari sulla coorte di studenti, nonché su informazioni sulle risorse, di contesto, ecc., desunti da altre fonti statistiche. Lapplicazione di tali modelli […] ha permesso da un lato di studiare le variabili che esercitano uninfluenza decisiva sui diversi processi considerati e, dallaltro, ha reso possibile la costruzione di indicatori di efficienza comparabili in grado di porre in essere confronti ceteris paribus tra le diverse unità statistiche considerate». La frontiera viene stimata utilizzando le tecniche econometriche. Si ipotizza di conoscere la funzione di produzione e si stima la funzione utilizzando i dati a disposizione ma non si ipotizza che tutte le imprese sono efficienti.

32 «Le analisi svolte dal gruppo di ricerca hanno riguardato lintero processo di formazione universitaria degli immatricolati ad un corso di laurea di primo livello». Processi completi: 1) il processo completo di formazione universitaria dei laureati in corso 2) il processo completo di formazione dei laureati entro un anno fuori corso. Processi intermedi: 3) Il processo di produzione di capitale umano al termine del primo anno, definito in termini di crediti acquisiti attraverso il concetto di studenti equivalenti al primo anno; 4) Il processo di produzione di capitale umano al termine del secondo anno, definito in termini di crediti acquisiti attraverso il concetto di studenti equivalenti al secondo anno; 5) Il processo di produzione di capitale umano al termine del terzo anno, definito in termini di crediti acquisiti attraverso il concetto di studenti equivalenti al terzo anno. «Il numero di studenti equivalenti prodotti al termine del primo anno di iscrizione (e allo stesso modo per gli studenti superstiti negli anni successivi) è ottenuto rapportando lammontare dei crediti conseguiti entro il primo anno di iscrizione al numero teorico di crediti conseguibili da uno studente in una laurea triennale, pari generalmente a 60 per ciascun anno di iscrizione».

33

34 «Gli indicatori di efficienza comparabili così ottenuti dai modelli stimati, sono stati confrontati con gli usuali indicatori di efficienza parziale usualmente calcolati ed utilizzati dal MIUR, al fine di avere qualche indicazione sulla validità in termini di comparabilità di questi ultimi indicatori. In generale il confronto per ciascun indicatore delle due graduatorie delle facoltà, costruite luna sulla base dellusuale indicatore di efficienza parziale e laltra sulla base degli indicatori di efficienza comparabili, mostrano una maggiore stabilità nella parte alta e in quella bassa della classificazione. Si evidenzia invece una maggiore dispersione nella parte centrale della distribuzione, con facoltà e università che salgono o scendono nelle graduatorie degli indicatori comparabili rispetto alla posizione che occupano nella graduatoria degli indicatori parziali ». «Le facoltà peggiori o meno efficienti, cioè con indicatore di efficienza usuale più basso, continuano ad essere peggiori anche costruendo un indicatore di efficienza tecnica che tiene conto delle diverse caratteristiche degli studenti e delle diverse dotazioni strutturali delle unità e di contesto. Un discorso analogo vale per gli atenei migliori ».

35

36 Rapporto di ricerca Individuazione di un sistema di indicatori per la misura dellefficienza della formazione universitaria, per il CNVSU.

37 b: il rapporto di indicazione è chiaramente identificabile? «Per avere unidea del potenziale ricettivo regionale gli alloggi disponibili sono stati rapportati rispetto al numero degli idonei alla borsa di studio, scegliendo tale dato come approssimazione del numero di potenziali fruitori dellalloggio (che invece è costituito dal sottoinsieme degli studenti fuori sede e pendolari in corso e i fuori corso che possono avere diritto ad un periodo di proroga per lalloggio)». Il potenziale ricettivo (regionale) c: sono calcolati correttamente? Posti alloggio per idonei– rapporto tra il numero di alloggi disponibili e gli idonei alla borsa di studio Posti alloggio per immatricolati– rapporto tra il numero di alloggi disponibili ed il numero degli iscritti totali d: i dati su cui si basano sono affidabili? I dati relativi agli interventi degli Enti per il diritto allo studio universitario ed agli esoneri dalla tassa discrizione e dai contributi universitari sono stati ricavati dalla rilevazione sul Diritto allo Studio (DSU), condotta dallufficio di statistica del MIUR.

38

39 I princìpi fondamentali per la realizzazione di un diritto allo studio uniforme nel territorio (mediante legislazioni delle Regioni) sono contenuti nella legge quadro sul diritto allo studio, Legge del 2 dicembre 1991, n. 390, che ripartisce le competenze tra: I. lo Stato, che si occupa di indirizzo, coordinamento e programmazione degli interventi; II. le regioni, delegate allattuazione degli interventi volti a rimuovere gli ostacoli di ordine economico e sociale per la concreta realizzazione del diritto allo studio universitario; III.le università, che organizzano i propri servizi, compresi lorientamento ed il tutorato, in modo da rendere effettivo e proficuo lo studio universitario. Gli indicatori dunque sono calcolati per regione con cognizione di causa. Gli interventi per il diritto allo studio possono entrare negli aspetti da valutare se il proprio oggetto di valutazione è un singolo ateneo?

40 b: il rapporto di indicazione è chiaramente identificabile? «Come regola generale si potrebbe dire che i partecipanti esterni hanno minori possibilità di risultare idonei rispetto ai partecipanti interni, ma il confronto tra atenei non è omogeneo in quanto, ciascun ateneo ha la possibilità di stabilire le modalità di svolgimento delle prove di idoneità. […] Il fatto che la percentuale di successo degli interni sia superiore a quella degli esterni è un elemento tendenzialmente non positivo, specie quando questo si accompagna ad una forte selezione degli idonei. Non è pensabile infatti che gli esterni siano di qualità decisamente inferiore e facciano domanda perché pensano di non avere possibilità nella sede di origine. Anzi frequentemente sono i laureati migliori a fare domanda in più sedi e, nel caso di più idoneità, scelgono la sede migliore». Partecipazione, idoneità e iscrizione di candidati provenienti da altri atenei per i dottorati di ricerca c: sono calcolati correttamente? % Partecipanti altro Ateneo % Idonei Altro Ateneo % Iscritti Altro Ateneo d: i dati su cui si basano sono affidabili? Lanalisi delle caratteristiche dei dottorandi (quali mobilità, tipologia di sostegno finanziario a supporto della frequenza del corso di dottorato, età alliscrizione, ecc.) sono state analizzate facendo riferimento allAnagrafe dei dottorandi (ovvero gli iscritti ad un corso di dottorato), la cui disponibilità di dati si estende fino allanno 2008, includendo quindi coloro che si sono iscritti al primo anno di un corso di dottorato il cui concorso è stato bandito nel 2008.

41

42

43

44 b: il rapporto di indicazione è chiaramente identificabile? «Tra le maggiori criticità del nostro Sistema, come appare anche con confronti internazionali, vi sono le età del personale docente con valori medi particolarmente elevati. Peraltro, questi sono aumentati per tutte le qualifiche dal 1988 al 2010 di oltre 5 anni ». Età media del personale docente c: sono calcolati correttamente? Età media del personale docente per qualifica: 1.Età media dei professori ordinari 2.Età media dei professori associati 3.Età media dei ricercatori d: i dati su cui si basano sono affidabili? I dati e le informazioni relativi alla consistenza ed alle caratteristiche del personale docente sono ricavate dagli archivi MIUR-CINECA.

45

46

47 «E evidente che la notevole quota di nuovi entrati nei ruoli dopo la riforma dei concorsi del 1998 e labbassamento delle età per la permanenza in servizio degli ultimi anni, non sono riuscite a realizzare latteso ringiovanimento del corpo docente ed è, invece, prevalso il naturale invecchiamento di quanti erano già presenti nel sistema. Le particolari distribuzioni delle età del personale consigliano, tuttavia, di trattare con cautela i soli valori medi, in quanto sono presenti distinte concentrazioni in alcune fasce di età. Nel 2010, le età più frequenti per ricercatori e professori associati risultano rispettivamente di 38 anni e di 48 anni, molto diverse da quelle del 1998 quando erano di 49 e 52. Per i professori ordinari, invece, letà più frequente era nel 1998 di 58 anni e diventa di 63 anni nel 2010. E questa una osservazione che conferma una modesta ma costante tendenza alle azioni di ricambio generazionale per ricercatori e professori associati e un particolareaddensamento nel ruolo dei professori ordinari di soggetti prossimi ai limiti di età, naturalmente causato dal passare del tempo».

48 b: il rapporto di indicazione è chiaramente identificabile? «Tra le entrate finalizzate degli Atenei un posto di rilievo spetta ai finanziamenti dei Progetti di ricerca di rilevante interesse nazionale (i cosiddetti PRIN)». Tassi di partecipazione e successo PRIN c: sono calcolati correttamente? 1.% di partecipanti su docenti presenti 2.% di valutati positivamente su partecipanti 3.% di finanziati su valutati positivamente 4.Finanziamento Miur (KEuro) d: i dati su cui si basano sono affidabili? «[…]si utilizzano i dati rilevati dalla apposita banca dati Miur-Cineca, anche se non sono completamente omogenei con i dati dei bilanci delle università utilizzati in questo capitolo».

49

50 Il ranking QS fa riferimento a 500 Top universities, il cui elenco è aggiornato annualmente. Le università vengono valutate sulla base di 6 indicatori: 1. la valutazione dei pari (Academic peer review), 2. la valutazione dei datori di lavoro (Employer review), 3. la presenza di studenti stranieri (International students), 4.la presenza di docenti stranieri (International faculty), 5.le pubblicazioni, pesate in base al numero di citazioni (Citations per faculty), 6.le pubblicazioni, pesate in base al rapporto tra studenti e docenti (Student faculty). Si tratta di indicatori che misurano la qualità dei processi formativi e della ricerca, unendo così ad indicazioni qualitative di stakeholders, importanti informazioni quantitative; la completezza della valutazione è quindi buona, pur se anche questo tipo di comparazioni non è completamente esente da fattori di contesto nazionali QS World University Ranking The QS University Rankings http://www.topuniversities.com/worlduniversityrankings/http://www.topuniversities.com/worlduniversityrankings/ l ranking THE http://www.timeshighereducation.co.uk/http://www.timeshighereducation.co.uk/

51 I criteri del ranking QS SAFE dei sistemi universitari nazionali 1. System This represents an evaluation of the overall strength of the system based on the performance of all the institutions from that country meeting a certain qualifying standard. More precisely, the number of institutions ranked 500 or higher, in the given country, divided by the average position of those institutions. 2. Access Widening participation is one of the hottest issues on the higher education agenda today. The first component of delivering against that agenda, for any given country, is having sufficient places at universities of an internationally recognised standard. This indicator is calculated based on the number of places at top 500 universities from the subject country (specifically the total number of FTE students at the universities from that country featuring in the top 500 in the QS World University Rankings) divided by an indicator of population size (specifically the square root of the population).

52 3. Flagship There is some international debate as to whether a country with limited funds ought to dilute their funds across many institutions in a system or concentrate funds with a view to building at least one "world class university". Whether by direct investment, or by riding the wave of domestic competition, the performance of a country's leading university is a credit to the system from whence it comes. This indicator takes the form of a normalized score based on the global performance of the leading university from the country in question. I criteri del ranking QS SAFE dei sistemi universitari nazionali 4. Economic Not all nations, or higher education institutions within nations have access to equal funds. The strength of the country's economy is a major factor but also cultural influences that may affect factors such as industrial funding or alumni donations play a role. This indicator recognizes two key factors, firstly the relative fiscal emphasis that the given government places on higher education and secondly, the impact or effectiveness of that investment – essentially recognising performance relative to investment. The indicator takes an indexed score (5 points for a university in the top 100, 4 points for 101-200, 3 points for 201-300, 2 for 301-400 and 1 for 401-500) and factors it against the GDP per capita for the country in question.

53

54 Un paio di domande… su cui riflettere! Come organizzereste le informazioni circa le agenzie di valutazione, a livello nazionale ed internazionale, per la valutazione delle politiche formative? Come organizzereste le informazioni circa gli indicatori utilizzati, a livello nazionale ed internazionale, per la valutazione delle politiche formative? Come organizzereste le informazioni circa i rapporti di ricerca, a livello nazionale ed internazionale, per la valutazione delle politiche formative?