U-GOV Ricerca Il sistema per la gestione della Ricerca in Ateneo Università del Salento, 13 Marzo 2009

CINECA Consorzio Interuniversitario Agenda della giornata Panoramica sui concetti generali della valutazione con il CATALOGO UGOV RICERCA Approfondimento sulle logiche di utilizzo Proposte di workflow operativi di verifica, selezione e valutazione dei prodotti Esempi di configurazioni utilizzate da altri atenei Analisi dei requisiti per le vostre esigenze di valutazione

CINECA Consorzio Interuniversitario La Valutazione della Ricerca Sistema per valutare qualunque tipologia di Prodotto gestita dal catalogo, così come Progetti, Risorse e Strutture.

CINECA Consorzio Interuniversitario Caratteristiche generali del sistema L’applicativo consente di effettuare la valutazione di qualunque tipologia di Prodotto o Attività della Ricerca presente nel catalogo della ricerca. Il sistema di valutazione è sostanzialmente composto da tre parti –Funzioni per la configurazione della sessione di valutazione –Funzioni per la valutazione –Funzioni per report e statistiche

CINECA Consorzio Interuniversitario Ruoli coinvolti durante la valutazione (1/2) E’ colui che supervisiona l’andamento della sessione, fa avanzare le fasi della sessione, può consultare tutte le valutazioni effettuate dai valutatori ed attribuire giudizi di sintesi sui prodotti. Gestisce eventuali anomalie e ricorsi E’ colui che supervisiona l’andamento della sessione, fa avanzare le fasi della sessione, può consultare tutte le valutazioni effettuate dai valutatori ed attribuire giudizi di sintesi sui prodotti. Gestisce eventuali anomalie e ricorsi E’ la figura che attribuisce un giudizio individuale ai prodotti a lui assegnati (un prodotto può avere uno o più valutatori ad esso associati). Controlla anche gli esiti automatici Può inoltre segnalare la presenza di anomalie sui prodotti di sua competenza (es. duplicazioni, errate tipologie, errori nelle descrizioni, ecc..) E’ la figura che attribuisce un giudizio individuale ai prodotti a lui assegnati (un prodotto può avere uno o più valutatori ad esso associati). Controlla anche gli esiti automatici Può inoltre segnalare la presenza di anomalie sui prodotti di sua competenza (es. duplicazioni, errate tipologie, errori nelle descrizioni, ecc..)

CINECA Consorzio Interuniversitario Ruoli coinvolti durante la valutazione (2/2) E’ il ruolo preposto alla creazione iniziale della sessione ed all’individuazione del configuratore e dei presidenti della sessione E’ un autore riconosciuto dall’Ateneo che ha accesso al sistema e può consultare le valutazioni espresse sui propri prodotti. Può anche segnalare eventuali anomalie e inserire ricorsi, se la sessione lo prevede E’ un autore riconosciuto dall’Ateneo che ha accesso al sistema e può consultare le valutazioni espresse sui propri prodotti. Può anche segnalare eventuali anomalie e inserire ricorsi, se la sessione lo prevede Configuratore E’ il ruolo preposto alla configurazione della sessione

CINECA Consorzio Interuniversitario Caratteristiche della Valutazione (1/2) Configurare una sessione corrisponde a inserire sul sistema le risposte ai seguenti quesiti: COSA viene valutato (quali siano i prodotti/progetti sottoposti a valutazione) COME viene valutato (quali siano le regole della sessione e tipi di valutazione) CHI effettua la valutazione (il sistema in automatico, oppure i nomi dei valutatori)

CINECA Consorzio Interuniversitario Caratteristiche della Valutazione (2/2) Parte 1 Parte 2

CINECA Consorzio Interuniversitario Modalità di valutazione Valutazioni AutomaticheCon Peer Review Con esito fissoCon esito derivato Esito di Sintesi (Con scala dei valori decisa a priori) (riviste)

CINECA Consorzio Interuniversitario Fasi di una sessione di valutazione -Ogni passaggio di fase per andare a buon fine deve soddisfare delle precondizioni -I passaggi di fase sono reversibili fintatochè non sono stati caricati i prodotti da valutare -La fase dei ricorsi è opzionale (ad oggi nessun ateneo l’ha mai usata) - I risultati permettono di visualizzare nel dettaglio i prodotti valutati secondo query predefinite

CINECA Consorzio Interuniversitario Approfondimenti Configurazione dei criteri, delle regole, selezione dei valutatori

CINECA Consorzio Interuniversitario Attributi della Sessione Sessioni : possono essere svolte più sessioni contemporanee Tipi : possono essere configurati più tipologie di valutazione in modo da differenziare gli esiti da assegnare ai prodotti senza sdoppiare la sessione Ruoli : per ogni sessione e per ogni tipologia di valutazione deve essere identificato un PRESIDENTE che valida e sintetizza le valutazioni dei singoli valutatori. Inoltre deve essere presente un configuratore che imposta le sessioni Altri attributi : blind review, controllo delle valutazioni automatiche Fasi : Configurazione, Valutazioni individuali, Valutazioni di sintesi, Pubblicazione dei risultati e report.

CINECA Consorzio Interuniversitario Creazione della sessione

CINECA Consorzio Interuniversitario Configurazione dei criteri Configurare l’albero significa identificare i criteri di filtraggio in base ai quali poi valutare i prodotti. I prodotti che ricadono su criteri diversi possono essere valutati con esiti diversi e con logiche diverse (automatiche/peer review) L’albero della valutazione è scollegato da quello della classificazione, fermo restando che gli attributi che si intendono filtrare devono essere presenti nelle schede Tutti i nodi foglia ereditano i criteri selezionati nel nodo padre, che non possono essere eliminati Tutti i sotto criteri sono in AND, tutti i valori dei sottocriteri sono in OR I criteri di filtraggio a disposizione possono essere dei seguenti tipi: –Valore chiuso –Range di date –Criterio negato (NOT) –Prodotti mai valutati –Criterio ereditato dall’afferenza organizzativa degli autori di un prodotto –Proveniente da selezioni di prodotti

CINECA Consorzio Interuniversitario Esempio di albero per la valutazione

CINECA Consorzio Interuniversitario Esempio n.1: Prodotto.Tipo= ‘Atto di Convegno’ Definizione dei criteri di filtro sui nodi (2/6)

CINECA Consorzio Interuniversitario Esempio n.2: Prodotto.Tipo= ‘Libro’ AND Prodotto.Sottotipo = “Edizione Critica” AND Prodotto.sedi_eccellenza = TRUE Definizione dei criteri di filtro sui nodi (3/6)

CINECA Consorzio Interuniversitario Esempio n.3: Prodotto.Tipo= ‘Attività’ AND Autore.Ruolo CSA = “Prof.Ord.” OR Autore.Ruolo CSA = “Prof.Ass.” (si noti che i criteri di filtro sono anche per Autore) Definizione dei criteri di filtro sui nodi (4/6)

CINECA Consorzio Interuniversitario In ciascun nodo, i criteri di filtro sono composti dall’unione dei criteri propri del nodo più quelli ereditati dai nodi padre (livelli superiori) fino alla radice dell’albero. Ad esempio, il filtro del nodo “Libro” sarà: Prodotto.Tipo= ‘Libro’ Tutti i nodi figli di “Libro” avranno in automatico questa clausola di selezione, senza bisogno di doverla ripetere. Definizione dei criteri di filtro sui nodi (5/6)

CINECA Consorzio Interuniversitario Dalla slide precedente, possiamo affermare che i criteri comuni a tutti i prodotti possono essere scritti una volta sola dentro il nodo radice dell’albero e varranno per tutti i nodi sottostanti. Ad esempio: Autore.Posizione = “Prof.Ord” OR Autore.Posizione = “Prof.Ass” OR Autore.Posizione = “Ricercatore” Questo fa sì che verranno presi in considerazione solo i prodotti di autori con le posizioni specificate. Definizione dei criteri di filtro sui nodi (6/6)

CINECA Consorzio Interuniversitario Esempio di albero della valutazione

CINECA Consorzio Interuniversitario Configurazione delle regole Su ogni nodo foglia dell’albero della valutazione è possibile configurare delle regole di attribuzione degli esiti delle valutazioni. Esistono 3 tipi di regole PREsessione : –Esito fisso (per valutazioni automatiche) –Esito Range (per valutazioni con revisore) –Esito derivato (es. per riviste) Esistono delle regole POSTsessione di sintesi in caso di valutazioni multiple per lo stesso prodotto, per semplificare il lavoro del PRESIDENTE: –Copia regola presessione –Media –Copia il valore più alto –Esito Range (per valutazioni con revisore di sintesi)

CINECA Consorzio Interuniversitario Definizione regole PRE-SESSIONE (1/4) Per ciascun nodo dell’albero si definisce una regola per ogni tipologia di valutazione. Essa si applica ai prodotti individuati dal filtro sul nodo stesso. La regola può prevedere un valore fisso oppure un range di valori. Solo i prodotti con regole contenenti un range saranno sottoposti a valutazione manuale. Queste regole sono chiamate “Pre-Sessione” perché il Presidente le specificherà prima dell’inizio dell’attività dei Valutatori.

CINECA Consorzio Interuniversitario Definizione regole PRE-SESSIONE (2/4) Esempi di regole Pre-Sessione con valutazione fissa: Tutti i Libri che sono Edizioni Critiche e sono pubblicate in sedi di eccellenza devono essere automaticamente valutati “A” A

CINECA Consorzio Interuniversitario Definizione regole PRE-SESSIONE (3/4) Esempi di regole Pre-Sessione con range: Tutti i Libri che sono Monografie devono avere come range di valutazione manuale un giudizio compreso tra “A” e “C”. A, B, C

CINECA Consorzio Interuniversitario Definizione regole PRE-SESSIONE (4/4) A, B, C A, B, C, D U S Esempi di regole Pre-Sessione con range su diverse tipologie di valutazione: Se vi sono diversi tipi di valutazione (ad esempio S per “scientifico” e U per “Umanistico”) ci saranno due regole distinte associate allo stesso nodo.

CINECA Consorzio Interuniversitario Definizione regole POST-SESSIONE Regole per calcolare una valutazione sintetica a partire dai giudizi individuali dei Valutatori. Vengono eseguite dopo che le attività dei valutatori sono terminate. Può esserci una regola differente per ogni nodo dell’albero. Esempio di regola POST-Sessione: “Il giudizio sintetico dei prodotti di una determinata tipologia deve essere il più alto tra i giudizi espressi dai singoli Valutatori”.

CINECA Consorzio Interuniversitario Configurazione delle regole REGOLE PRE REGOLE POST

CINECA Consorzio Interuniversitario Definizione elenco dei valutatori I Valutatori possono essere inseriti all’interno di ALBI. Il Presidente definisce l’elenco dei valutatori della Sessione ed attribuisce ad essi i prodotti da valutare. L’attribuzione avviene indicando criteri di raggruppamento (ad es. tutti i prodotti realizzati da autori di un certo SSD), o associando direttamente un valutatore ad uno specifico prodotto.

CINECA Consorzio Interuniversitario Profili Valutatori Ogni valutatore può autocertificarsi per i criteri sui quale decidere di essere in grado di effettuare valutazioni Il valutatore può decidere i criteri di valutazione (es.SSD) e i valori del criterio sui quali decide di valutare (es. ING/INFO01, ING/INFO02,ecc) Le informazioni inserite in tale maschera vengono utilizzate dall’algoritmo per l’associazione dei prodotti da valutare

CINECA Consorzio Interuniversitario Profili Valutatori

CINECA Consorzio Interuniversitario Definizione elenco dei valutatori L’associazione Prodotto/Progetto al Valutatore è completamente configurabile e viene svolta da un complesso algoritmo che accetta i seguenti parametri: Minimizzare valutatori SI/NO Numero min/max di valutatori per prodotto Numero min/max di prodotti per valutatore Notifica Accettazione/Rifiuto consentiti SI/NO

CINECA Consorzio Interuniversitario Associazione dei prodotti ai valutatori

CINECA Consorzio Interuniversitario Utilizzo delle riviste per esiti derivati E’ possibile importare riviste con esiti di valutazione associati e diversificati per anno, tipologia di valutazione Ogni ateneo ha il proprio criterio di valutazione, quindi l’attribuzione del valore della rivista da utilizzare per le valutazioni viene fornita volta per volta dall’ateneo E’ possibile salvare un repository di riviste con esiti collegati da utilizzare nelle diverse sessioni senza dover effettuare nuovi import In fase di valutazione, è possibile fare in modo che tutti i prodotti che hanno una rivista associata presente nell’elenco importata ereditino l’esito della rivista nell’anno storico del prodotto e per le diverse tipologie di valutazione

CINECA Consorzio Interuniversitario Importazione esiti riviste

CINECA Consorzio Interuniversitario Esempio di file xls da importare

CINECA Consorzio Interuniversitario Valutazioni manuali (1/2)

CINECA Consorzio Interuniversitario Valutazioni manuali (2/2)

CINECA Consorzio Interuniversitario Gestione segnalazioni (1/2) Ciascun valutatore può effettuare segnalazioni su eventuali anomalie, raccolte e gestite dall’Ufficio della Ricerca e dal Presidente. Entrambi possono cambiare stato alla segnalazione (aperta / in verifica / accettata / respinta). Tale stato è visibile anche al Valutatore. Possono esistere segnalazioni che inibiscono il proseguimento dell’attività di valutazione sino alla loro risoluzione.

CINECA Consorzio Interuniversitario Gestione segnalazioni (2/2)

CINECA Consorzio Interuniversitario Apertura segnalazioni

CINECA Consorzio Interuniversitario Report e statistiche E’ possibile visualizzare report di risultati nella sessione Tali report sono configurabili in base alle esigenze dell’ateneo E’ a disposizione una struttura consulenziale nel caso si richiedano alcune estrazioni particolari e non fattibili con la reportistica presente in UGOV

CINECA Consorzio Interuniversitario Workflow delle valutazioni

CINECA Consorzio Interuniversitario Partiamo dalla fine… Qual è il risultato atteso? Di che tipo di report si ha bisogno? Sono necessari report di dettaglio?

CINECA Consorzio Interuniversitario Configurazione informazione prodotti Verifica prodotti Scelta prodotti da valutare Valutazioni Sintesi delle valutazioni Report e pubblicazioni Workflow della Valutazione (1/3) Attributi da richiedere Verifica/ validazione informazioni Selezione/filtraggio prodotti da valutare Valutazioni automatiche / peer review Valutazioni conclusive Report richiesti

CINECA Consorzio Interuniversitario Workfow di valutazione (2/3) Metodo di valutazione Automatiche Esito fisso Esito derivato Manuali (con peer review)  serve una valutazione/criterio di sintesi Scelta prodotti Con filtri Con selezioni manuali preventive  bisogna identificare “chi sceglie” Tipologie di valutazione Unico Diversificati  si moltiplica la gestione della sessione Utilizzo di esiti di riviste valutate Si  serve la lista di riviste con un esito associato (vale anche come match per identificare se è una rivista ISI o meno) Con unico valore uguale per tutti gli anni Con valore storicizzato per l’anno di riferimento del prodotto No

CINECA Consorzio Interuniversitario Workfow di valutazione (3/3) Selezione dei valutatori Si  serve una lista di valutatori e l’identificazione dei criteri di valutazione associati ad ogni profilo, e tale associazione deve essere gestita Automatica Manuale No Gestione anomalie Si  serve chi gestisce le anomalie, e si introduce un grado di libertà ulteriore ai valutatori No Risultati 1)Per prodotti1) per punti 2)Per autori2) per fasce 3)Per strutture (es. dipartimenti)3) pesati

CINECA Consorzio Interuniversitario Modalità di Valutazione Valutazioni AutomaticheCon Peer Review Con esito fissoCon esito derivato Esito di Sintesi (Con scala dei valori decisa a priori) (riviste)