Il punto in Azalea e la Valutazione di qualità del materiale: una proposta e un’applicazione I.Truccolo, P. Seroppi, R.Ricci, P.Gardois, A. Bogliolo, M.A.Annunziata, K. Bianchet, A. Burigo,T. Furlan, E. Mazzoli, G. Cognetti, A.Trocino, Roma, Istituto Regina Elena, 2-3 febbraio 2004 Azalea : biblioteca digitale in oncologia per malati, familiari e cittadini. 3° Incontro di formazione

Sommario: 3 parti I.La valutazione di qualità del materiale in Azalea:una proposta operativa II.Un esempio di valutazione dello stile comunicativo al CRO III.Azalea: mission e vision obiettivi raggiunti impegni futuri

Mission e Vision di Azalea: ripasso obiettivi Azalea: progetto multicentrico collaborativo di Alleanza contro il cancro al fine di: a.Implementare e aggiornare continuamente una banca dati digitale italiana di materiale informativo di carattere divulgativo in oncologia per malati, familiari e cittadini… b.realizzare una biblioteca digitale: non solo un “freddo” prodotto informatico quindi, ma informazioni+servizi che creano contatti virtuosi fra persone: pazienti,familiari,medici, psicologi,bibliotecari,informatici,infermieri,volontari…

Mission e Vision di Azalea: alcuni “fondamenti”  Catalogazione collaborativa e condivisa fra partners e collaboratori  Soggettazione: MESH e dintorni  Valutazione di tutto il materiale  Standards e metadati  Interfaccia web “Medline plus like” all’italiana…  Particolare visibilità alle Associazioni e al loro mondo di “autori attivi”

Antecedenti (I) La Valutazione di qualità del materiale in Azalea è obiettivo che: 1.deriva direttamente dalla realtà (richieste degli utenti) oltreché dalla letteratura sull’argomento 2.è necessario sia esteso a tutto il materiale recensito dato il pubblico cui è destinato 3.è stato sentito, fin dall’inizio, come uno dei requisiti essenziali di Azalea Valutazione di qualità del materiale: antecedenti

Valutazione in Azalea: background 1.Nella Banca Dati Oncologica su CD ROM - CRO: valutazione di qualità di l00 siti web da parte di esperto (Gardois) 2.Il team di Azalea ha acquisito una formazione comune: corso su “Metodologia di valutazione della qualità delle risorse elettroniche” organizzato da A. Boglilo, IST (Gardois, Genova settembre 2003) 3.Familiarità con HONcode, Discern, Quick, LG C.E., griglie/principi ecc…Dibattito fra i partners 4.Tema emerso come importante anche da confronto con AIMaC, ottobre 2003

Valutazione del materiale in Azalea significa: a.Educare gli utenti all’uso ”intelligente” delle risorse tratte da Internet b.Estendere la valutazione a tutto il materiale sia cartaceo che elettronico raccolto e recensito in Azalea, secondo una griglia ispirata a criteri internazionalmente riconosciuti c.Valutare lo stile comunicativo del materiale in produzione

Educare l’utente alla valutazione Brevi Istruzioni per la lettura delle informazioni su carta o su Web ( per il pubblico: compaiono sulla home page di Azalea) Prima di usufruire delle informazioni, è consigliabile porsi le seguenti domande:  Gli autori sono chiaramente individuabili? Vi sono chiari riferimenti all'Istituzione o Associazione di appartenenza?  E' chiaro qual è l'argomento trattato?  E' chiaro qual è lo scopo del sito o del libro?  E' presente la data di produzione del documento?  E' presente la data di aggiornamento del sito web (nel caso di risorse accessibili via Internet)  Gli eventuali sponsors (società che, per vari motivi, finanziano il materiale o sito) sono chiaramente citati (o sono "nascosti" dietro l'informazione?)  Sono citate in modo corretto le fonti su cui si basa il lavoro?

Proposta operativa per fare valutazione in Azalea (per il “back office”) Si punta a valutare cosa, come e in che modo viene detto in tutti i documenti inseriti, e cioè: 1.Stile comunicativo 2.Aspetti tecnici della pubblicazione (su carta, video o su web) 3.Contenuto Un Comitato virtuale per la Valutazione del Materiale, articolato per sede di lavoro, valuterà ogni documento sulla base di una griglia di valutazione condivisa e linee-guida comuni.

Griglia di valutazione (I)  La griglia definitiva - che scaturirà dalla sintesi delle 2 proposte che presentiamo, una più sintetica e teorica (Aviano, Napoli), l’altra più completa (Roma) - vuol essere uno strumento per arrivare ad una valutazione di tipo tecnico relativa agli aspetti formali, visivi, di contenuto e di primo impatto della pubblicazione o del sito web  E’ stata costruita a partire dalla precedente griglia di valutazione (autore P. Gardois) usata per valutare i siti web nella “Banca dati oncologica per malati e familiari” su CD ROM realizzata dal CRO “prima pietra” di Azalea, e usata anche in altri contesti (Elisir…)P. Gardoisaltri contesti

Griglia di valutazione (2)  Essa permette anche una prima “scrematura” del materiale sottoposto a valutazione  La valutazione sui contenuti, soprattutto se di carattere medico- scientifico, verrà effettuata da un oncologo referente (uno per struttura)  Il modello proposto prevede una valutazione, secondo il modello di Discern, con una scala tipo Likert che va da 1 a 5 dove il voto 1 equivale a no, il voto 5 equivale a sì.

La griglia di valutazione di Azalea (proposta Aviano, Napoli)

Proposta di un percorso di lavoro: esempi

Note Il Catalogatore

Percorso di lavoro: il catalogatore esperto (1) a.La griglia di valutazione definitiva sarà compilata in prima battuta dal catalogatore esperto che è anche il “regista” di tutto l’iter b.Egli passerà la griglia pre-compilata con la prima valutazione grezza degli aspetti formali della pubblicazione (e anche di altri aspetti, se in grado) e i documenti (secondo modalità proprie) ad un esperto “accessibile” logisticamente, per ognuna delle altre aree: stile, aspetti editoriali/web, contenuto c.Ogni catalogatore sottoporrà a valutazione in primis i documenti che avrà catalogato, poi anche una parte di altri, previa “divisione del lavoro” (accordo sul Forum) d.Sarà sua responsabilità il rispetto della tabella dei tempi: non più di 1 mese per l’intero percorso

L’oncologo referente (2) d.E’ opportuno che la valutazione del contenuto medico-scientifico dei documenti cartacei sia effettuata da un oncologo e.Per questioni di praticità, si propone sia individuato un oncologo per ogni IRCSS da parte di ciascun partner in accordo con il proprio Direttore Scientifico f.Anche a tale specialista verranno consegnati i documenti con allegata scheda di valutazione pre- compilata dal catalogatore g.Tale specialista potrà, a sua discrezione, avvalersi di altri specialisti in base all’argomento delle pubblicazioni.

L’esperto di valutazione materiale elettronico (c) d.I siti web e i documenti on-line, saranno inviati con scheda pre-compilata agli esperti di riferimento e.Si propongono alcuni nomi sulla base della pregressa collaborazione/autorevolezza in materia/attitudine: Gardois, Pistotti, Bogliolo f.La scelta dei siti da inviare all’uno o all’altro esperto sarà a cura di ogni catalogatore che ha l’obbligo di informare gli altri partners di ogni invio. g.Gli esperti concorderanno praticamente una modalità comune di valutazione in base alla griglia proposta.

I parte - CONCLUSIONI d.Sulla base delle valutazioni prodotte dai referenti delle 3 aree, il primo catalogatore redigerà una sintesi finale -riassuntiva dei pareri sui vari aspetti - sotto forma di un breve abstract che comparirà sul web: “bollino blu” di valutazione di Azalea. e.In un campo apposito compariranno i singoli nomi del team dei valutatori con relativa affiliazione e la data. f.Il record relativo al documento sarà reso disponibile sul web con la dicitura “Processo di valutazione di qualità in corso ”.

II Parte: Un esempio di Valutazione dello Stile comunicativo…  L’esempio di applicazione dello strumento della “Valutazione dello stile comunicativo” di materiale in produzione, di seguito presentata, è stato realizzato dal team di psicologi, in vario modo afferenti alla Biblioteca per i Pazienti del CRO di Aviano.

BIBLIOTECA per i PAZIENTI Il Punto di Informazione Oncologica Va precisato che…  la Biblioteca per i pazienti al CRO è una sezione della Biblioteca - Direzione Scientifica e si propone di: accogliere le richieste di informazione di pazienti, familiari e cittadini fornire materiale inerente vari aspetti della malattia oncologica orientare chi si rivolge al Punto nella scelta delle risorse informative disponibili.

Materiale utilizzato  Utilizza il seguente materiale: guide, opuscoli, depliants, cassette di carattere divulgativo; pubblicazioni specifiche provenienti da banche dati, riviste di settore e manuali scientifici; risultati ricerche effettuate nelle banche dati biomediche documenti tratti da Internet.  Il materiale viene selezionato e adeguatamente preparato rispetto allo specifico richiedente e al tipo di richiesta (scheda anagrafico- motivazionale di rilevazione della richiesta)

Il materiale “divulgativo” Una definizione operativa: Il materiale di carattere divulgativo è quella tipologia di materiale che integra due elementi importanti : qualità scientifica, intesa come informazioni scientificamente aggiornate e corrette; linguaggio da “non addetti ai lavori”, ossia uno stile linguistico non tecnico, adatto ad un pubblico di pazienti, familiari e cittadini… a tutte quelle persone che medici non sono!

L’evoluzione del progetto “Biblioteca per i Pazienti” ha portato…  alla pubblicazione del materiale divulgativo in essa utilizzato, al fine di rispondere alle esigenze degli utenti del Punto di Informazione Oncologica, in un CD ROM: “Banca Dati Oncologica per malati e familiari” (Aviano, febbraio 2003)  alla nascita del progetto AZALEA, con conseguente aumento di materiale a disposizione degli utenti (luglio 2003). CROinforma

 Dall’esigenza quotidiana di rispondere alle domande di informazione di chi si rivolge al servizio come: utente del Punto di Informazione, o visitatore di Azalea, è però emerso, e continua ad emergere, che esistono argomenti sui quali si trovano soltanto documenti: - in lingua inglese - troppo specialistici - troppo superficiali - non esaustivi - non affidabili - non aggiornati Alcune considerazioni preliminari

Considerazioni preliminari: conclusione a. Esistono delle aree “scoperte”, ossia degli argomenti oncologici di cui non si ha, o si ha poco, materiale divulgativo a disposizione b. Le richieste che giungono al Punto di Informazione, da parte di persone fisiche o virtuali, sono sempre più complesse e inducono l’utilizzo di materiale “divulgativo” su una sempre più ampia gamma di argomenti c. Notevoli sono i continui sviluppi in tutti gli ambiti riguardanti la malattia neoplastica.

 Al fine di avere del materiale adeguato in lingua italiana, si è ricorsi agli specialisti del nostro Istituto o altri conosciuti, chiedendo loro di scrivere su specifici argomenti (58 schede a testo completo della serie “CROinforma”)  Nel tempo sono poi emerse esigenze di: aggiornamento ampliamento nuova produzione di materiale informativo di carattere divulgativo. Serie “CROinforma”

Aggiornamento- produzione di materiale Una volta verificati gli argomenti già trattati e i nuovi argomenti da sviluppare: a)le richieste di aggiornamento sono state inviate agli autori di materiale a testo completo, o a loro sostituti; b) sono stati identificati gli autori dei nuovi argomenti in base a competenze specifiche, attraverso suggerimenti avuti dai primari dei vari reparti oppure in virtù di rapporti confidenziali con i singoli professionisti.

Praticamente... c.Si è spedita, via mail, quasi sempre previo contatto, una lettera in cui si motivava la richiesta e si esplicitavano le intenzioni di Azalea d.In caso di richiesta di aggiornamento, si è provvisto a spedire il file relativo alla scheda del materiale già scritto e pubblicato nella Banca Dati Oncologica e in Azalea e.In caso di mancata consegna (termine: 25 novembre 2003), telefonata o colloquio vis à vis per ricordare e chiedere conferma della collaborazione.

Valutazione stile del materiale  Ricevuto il materiale dagli autori (33 su 58 a tutt’oggi), questo è stato letto, valutato e, se del caso modificato da un Team di psicologi, in vario modo afferenti alla Biblioteca per i Pazienti, al fine di verificarne la conformità agli scopi preposti indicati alla luce di alcuni parametri di valutazione dello stile comunicativo.

Parametri adottati (I) a.Utilizzo di un linguaggio chiaro e semplice. Laddove siano stati rilevati termini tecnici e di difficile comprensione, si è provveduto alla loro esplicitazione mediante la creazione di un glossario. b.Informazioni calibrate al tipo di utenza c.Si è ritenuto opportuno non riportare stime legate alla prognosi, ritenendo questo un aspetto che non si debba fornire in un’informazione di primo livello ma solo se richiesto e al’interno di una relazione.

Parametri adottati (II) c.Indicazioni precise rispetto a: - autori delle schede - data di aggiornamento - eventuali riferimenti bibliografici d.Non sono stati posti vincoli rispetto alla lunghezza del materiale prodotto, piuttosto è stata prestata attenzione alla chiarezza dei contenuti e alla facilità di lettura.

Conclusione del percorso  Sono state concordate con gli autori eventuali modifiche rilevanti  La versione definitiva di ogni scheda- documento è stata trasformata in pdf  Ogni documento è stato catalogato e soggettato (con le dovute precisazioni rispetto ad eventuali modifiche della precedente versione)  La risorsa a testo completo è stata messa a disposizione degli utenti del Punto di Informazione Oncologica dell’Istituto e – a breve - dei visitatori di Azalea.

II Parte - CONCLUSIONI  Il confronto con gli specialisti della ricerca e cura in oncologia, di cui questo esempio di valutazione dello stile è solo un esempio, è indicativo di come, anche in Italia, il tema della divulgazione scientifica di argomenti sanitari, in particolare dello “scrivere per i pazienti”, abbia assunto dignità scientifica e cominci a far parte del bagaglio culturale degli specialisti della salute. Ovviamente, questo tema è particolarmente delicato quando l’argomento è il cancro ma, al tempo stesso, è necessario.

Ricordiamo che… Azalea si rivolge a:  familiari, cittadini e operatori sanitari, in una prima fase,  anche agli specialisti in una seconda. Per finire: il punto su Azalea

Modalità operative di Azalea  Le Biblioteche raccolgono, validano, catalogano e facilitano la conoscenza del materiale e dell’ attività delle Associazioni (preziosa ma non sempre nota…)  Le Associazioni inviano il loro materiale alle biblioteche e si rendono disponibili a fornirlo a chi lo chiede

Obiettivi dello stile operativo di Azalea 1.Costruire un rapporto di collaborazione con il “terzo settore oncologico” 2.Evitare la duplicazione del lavoro 3.Ridurre la dispersione del materiale 4.Realizzare e mantenere un prodotto di qualità 5.Aumentare i punti di riferimento costruttivi per le persone malate e i loro cari E’ FONDAMENTALE la CHIAREZZA dei RUOLI

1.Riversare la Banca Dati/CRO records relativi a materiale informativo sul cancro, di carattere divulgativo, prodotto in Italia da Associazioni e Organizzazioni no-profit (circa 360)= Azalea sperimentale su web OK 2.Formazione ai partners e interscambio:  3.Inizio catalogazione da parte dei vari partners in modalità differita: a tutt’oggi inseriti circa 1000 records relativi al materiale e più di 1000 relativi alle Associazioni e Organizzazioni medico-scientifiche produttrici di materiale informativo:  Check obiettivi prima fase marzo 03 -giugno 04 Legenda: OK: obiettivo raggiunto  : work in progress  : impegni futuri

4.Valutare la qualità delle risorse:  5.Software transitorio per catalogare in modalità partecipata secondo gli standards materiali disponibili sui vari supporti (fino a fine 2003): OK 6. Analisi requisiti nuovo software condivisa 5.Sviluppo del software “definitivo” per:  catalogare in modalità condivisa e “aperta”:   rendere accessibili le risorse alla “comunità non scientifica” in modo semplificato e “umano”:  Check obiettivi prima fase marzo 03 -giugno 04

Obiettivi seconda fase luglio 04-dicembre 05 6.Implementare il database con le risorse informative destinate alla comunità scientifica - testi, periodici e letteratura grigia disponibile su qualsiasi supporto – e servizi per l’accesso:  7.Valutare l’impatto del prodotto Azalea sui fruitori reali e potenziali e la “qualità percepita” dei materiali resi disponibili:  8.Creare un sistema permanente per l’aggiornamento di qualità in Azalea: 

Ridefinizione Obiettivi (agg.to dicembre 03) Nuove e impegnative prospettive si sono delineate nel dicembre Progetto Comunicazione di ACC-Ministero per la Salute per la realizzazione di un portale rivolto specificamente ai pazienti: (già registrato)  SOStumori e Azalea rappresenteranno le 2 facce dell’informazione sul cancro rivolta al paziente accessibili attraverso tale portale, insieme con altre risorse che il Ministero della salute renderà disponibili

Ridefinizione Obiettivi (agg.to dicembre 03) In conclusione: 1. sarà il portale di Alleanza contro il cancro per i pazienti e la “comunità non scientifica”; sarà attivo da aprile 2004 (a cura di CBIM e Metacomunicazione)  e-oncology “riarmonizzato” rimarrà come portale di Alleanza contro il cancro rivolto ai professionisti.

CONCLUSIONI Ancora più importanti si rivelano quindi per Azalea: 1.Struttura dei dati, standards catalogazione, soggettazione, interoperabilità degli archivi… 2.Requisiti tecnici web: immediatezza e qualità dell’interfaccia 3.Valutazione di qualità del materiale 4.Collaborazione con Associazioni e altri organismi… 5.Adeguati servizi delle biblioteche… High tech & High touch

Ringrazio per l’attenzione