Valutazione Lapplicazione dei criteri di valutazione sullefficacia della biblioteca deriva essenzialmente dal nuovo approccio sistemico, in cui ogni attività condiziona ed è a sua volta condizionata da tutte le altre.

Valutazione La valutazione non può essere soltanto un esercizio teorico o astratto, ma deve incidere poi sulla vita reale della biblioteca; è uno strumento informativo che deve aiutare il bibliotecario a comprendere eventuali problemi e a prendere decisioni in merito.

Valutazione La valutazione è il processo di analisi, di verifica e di confronto fra dati e indicatori relativi ad una medesima struttura o a strutture simili. E' un processo complesso che si fonda su continue misurazioni e rilevazioni delle singole attività e servizi della biblioteca, ma in un ottica di sistema per cui si dovrà arrivare a combinare insieme più elementi e più fenomeni per avere indicazioni significative.

Valutazione Si pone quindi un doppio problema che cosa misurare e come misurare, cioè trovare gli strumenti idonei a misurare le diverse attività, non sempre facilmente quantificabili e comparabili, ma anche stabilire gli obiettivi della valutazione, cioè valutare che cosa.

Valutazione Lobiettivo del processo di valutazione è quello di misurare lefficacia e la produttività (o efficienza)

Valutazione Lefficacia esprime il grado di raggiungimento degli obiettivi e il livello di soddisfazione degli utenti. La valutazione dellefficacia si deduce dalla misurazione di quelli che vengono definiti output (ovvero prodotti e servizi realizzato dalla biblioteca a partire dalle risorse a disposizione). La produttività invece si riferisce al problema del controllo dei costi e del miglior utilizzo delle risorse, ha cioè a che vedere con quello che viene definito input, cioè con le risorse a disposizione della biblioteca, di ogni tipo, finanziario, umano, documentario.

Valutazione I contenuti della valutazione: quantità dei servizi erogati (ad esempio quanti prestiti); qualità dei servizi (per esempio quanti quesiti posti al bibliotecario del reference hanno avuto risposta positiva? O anche a quante richieste di libri specifici la biblioteca ha risposto positivamente); tempestività del servizio (quanto tempo intercorre tra una richiesta e la risposta?) disponibilità del servizio; accessibilità del servizio (quanta parte delle collezioni è direttamente accessibile? Ci sono barriere architettoniche?)

Valutazione La valutazione è un processo costoso, sia in termini di risorse economiche, che in termini di lavoro E necessario preventivamente stabilire gli obiettivi che si propone di raggiungere, per decidere il giusto grado di profondità dellanalisi. la raccolta dei dati deve essere fatta in modo omogeneo, rispettando le indicazioni che ormai hanno raggiunto un livello di standardizzazione accettabile.

Valutazione Metodi di indagine: analisi quantitativa ( basarsi solo su dati oggettivi) o analisi qualitativa (basarsi ad esempio sulla percezione degli utenti di alcuni servizi) si sceglie il punto di vista del bibliotecario o quello dellutente; il processo di valutazione deve essere fatto dallinterno della struttura o dallesterno.

Valutazione Dati = derivano della misurazione di qualcosa, risorse o attività (libri posseduti, personale in servizio, prestiti effettuati, volumi catalogati) Misurazione = fase di raccolta delle informazioni e di elaborazione delle stesse sulla base dei parametri prescelti. Indicatori = sono rapporti statistici che si ottengono incrociando dati disomogenei oppure elaborando un dato di partenza.

Valutazione Misure di base Acquisti (volumi, audiovisi, Cd-Rom) Dotazione documentaria Ore di apertura settimanali Periodici correnti Personale di ruolo Prestiti Spesa complessiva ordinaria Spesa per lacquisto di materiale bibliografico Superficie complessiva (specificando quella destinata al pubblico Utenti attivi del prestito Utenza potenziale

Valutazione Indicatori di base Indice di superficie (superficie al pubblico/utenza potenziale x 10) Indice di apertura (media delle ore di apertura settimanale) Indice della dotazione di personale (numero personale/utenza potenziale x 2000) Indice della spesa pro capite (Spese di funzionamento/utenza potenziale) Indice della spesa per acquisto del materiale bibliografico (spesa/utenza potenziale)

Valutazione del servizio di reference Non è facile mettere a punto strumenti di valutazione per questo servizio, dato l'alto grado di articolazione e di complessità, la compresenza di elementi quantitativi e qualitativi, l'incidenza del fattore umano. E necessario quindi utilizzare sia il metodo quantitativo che quello qualitativo, cioè di metodologie diversificate applicabili contemporaneamente o separatamente, nonché prendere in considerazione anche la soddisfazione dellutente.

Valutazione del servizio di reference Il servizio di reference può essere sottoposto a due diversi tipi si valutazione: quello macrovalutativo, ovvero verificare se e quanto funziona il servizio attraverso il rilevamento di una serie di dati oggettivi

Valutazione del servizio di reference quello microvaluativo, ovvero cercare di stabilire come esso funziona e perché funziona in un certo modo. Questo secondo approccio alla valutazione è teso a rilevare la ragione per cui ad esempio alcune domande sono rimaste senza risposta, o spiegare la ragione della differenza dei tempi di risposta.

Valutazione del servizio di reference Valutazione del servizio diretto Quante e che tipo di richieste riceve il servizio informativo? Quante ricerche bibliografiche sono state effettuate e che tipo di risultati si sono ottenuti? Gli utenti hanno ottenuto risposte complete e corrette Qual'è il livello di soddisfazione degli utenti rispetto alle risposte ottenute? Per ottenere le risposte a queste domande occorre progettare delle rilevazioni a campione.

Valutazione del servizio di reference Per ogni periodo di rilevazione (scelto opportunamente) sarà utilizzato un modulo in cui verranno annotate le diverse tipologie di domande e le relative risposte. Occorre distinguere le domande in due tipi fondamentali informazioni direzionali (ovvero relative all'organizzazione della biblioteca e alla localizzazione dei vari servizi) transazioni informative (ovvero vere e proprie richieste di informazioni bibliografiche)

Valutazione del servizio di reference Le seconde saranno a loro volta suddivise, a seconda del tipo di risposta avuta, in completate (quando si valuta che l'utente abbia avuto la l'informazione richiesta) riorientate (quando la risposta è stata differita nel tempo o nello spazio) non completate (quando l'utente per una serie di vari motivi non ha avuto la risposta alla sua domanda).

Valutazione del servizio di reference Ovviamente per il servizio in presenza sarà necessario attivare la rilevazione quantitativa in modo manuale, mentre per quanto riguarda il servizio remoto si possono utilizzare le statistiche generate automaticamente grazie a specifici software. Le stesse linee guida dellIFLA suggeriscono di utilizzare questa opportunità per quantificare gli accessi remoti e per costruire due indicatori (accessi remoti pro-capite e soddisfazione dellutente per i servizi ad accesso remoto).

Valutazione del servizio di reference Attenzione! Le statistiche generate automaticamente ci possono fornire molti dati numerici, ma ci dicono poco riguardo al comportamento e alle modalità di utilizzo da parte degli utenti delle risorse disponibili sul sito. Non è facile ad esempio sapere se una certa pagina è stata solo vista, oppure stampata, o salvata.

Valutazione del servizio di reference Per rispondere al quesito relativo alla completezza e alla correttezza delle risposte, sono stati sperimentati diversi metodi di valutazione: autovalutazione (il bibliotecario responsabile dl servizio indica personalmente, di volta in volta, l'esito della transazione, cioè se pensa di aver risposto correttamente ed in modo esauriente alle domande) valutazione esterna per simulazione (applicata in due diverse modalità: bibliotecario consapevole e inconsapevole)

Valutazione del servizio di reference I dati necessari a rispondere alla terza domanda, ovvero la soddisfazione degli utenti (in altre parole il rapporto fra la qualità attesa e quella percepita dopo aver usufruito del servizio), vengono in genere acquisiti attraverso questionari. Dopo aver raccolto i dati numerici necessari alla macrovalutazione, occorre passare alla microvalutazione, che dovrà dare indicazioni sul livello del servizio

Valutazione del servizio di reference Dal punto di vista microvalutativo occorrerebbe fare riferimento a: 1. comportamento e competenza del bibliotecario (capacità di gestire la transazione, strategia di ricerca, esperienza e conoscenza delle raccolte) 2. risorse informative a disposizione 3. tipologia di richieste 4. politica della biblioteca rispetto al servizio 5. domanda in se stessa.

Valutazione del servizio di reference Questi sono tutti fattori che in qualche modo interferiscono e condizionano i risultati delle transazioni informative, in modo particolare il primo, mentre sembra da una serie di indagini condotte in contesti diversi che gli altri; pur interagendo con la qualità del servizio, abbiano comunque meno influenza. Su questo fronte però non ci sono sufficienti sperimentazioni; soprattutto siamo ancora lontani dalla messa a punto di metodologie convincenti e attendibili per rilevare questi aspetti e procedere ad una valutazione anche in questo senso.

Valutazione del servizio indiretto Ancora più complesso si presenta l'approccio alla valutazione di questo aspetto, anche perché l'avvento delle nuove tecnologie sta provocando cambiamenti notevoli (il transito di attività prima svolte attraverso il contatto personale con l'utente in forme, più o meno nuove di reference indiretto). Basta pensare all'organizzazione di virtual reference desk o comunque a risorse informative messe a disposizione dalla biblioteca e interrogabili fuori dalla biblioteca.

Questo fenomeno per esempio mette in discussione il concetto di utente reale e potenziale, perché spesso la strumentazione allestita dalla biblioteca sarà utilizzata da utenti che rimangono sconosciuti e delle cui reali esigenze poco conosciamo.