Teoria e tecniche della catalogazione e classificazione Processo di ricerca, tattiche e strategie, valutazione, rilevanza ricerca7ricerca Prof.ssa Elisa.

Presentazione sul tema: "Teoria e tecniche della catalogazione e classificazione Processo di ricerca, tattiche e strategie, valutazione, rilevanza ricerca7ricerca Prof.ssa Elisa."— Transcript della presentazione:

1 Teoria e tecniche della catalogazione e classificazione Processo di ricerca, tattiche e strategie, valutazione, rilevanza ricerca7ricerca Prof.ssa Elisa Grignani Università degli studi di Parma aa. 2005/2006

2 2 Abbiamo visto: Informazione Gerarchia dellinformazione Teoria dellinformazione (C. Shannon) Ciclo di trasferimento dellinformazione Sistemi IR Alcuni concetti base IR Cataloghi

3 3 Concetti di base IR Utenti, bisogni informativi, domande Documenti, raccolte di documenti Linguaggi di indicizzazione, vocabolari controllati Processo di ricerca Valutazione - Rilevanza

4 4 OGGI Concetti di base IR Utenti, bisogni informativi, domande Documenti, raccolte di documenti Linguaggi di indicizzazione, vocabolari controllati Processo di ricerca Valutazione - Rilevanza

5 5 OGGI: Concetti di base IR Utenti, bisogni informativi, domande Documenti, raccolte di documenti Linguaggi di indicizzazione, vocabolari controllati Processo di ricerca Valutazione - Rilevanza

6 6 Processo di ricerca e recupero dellinformazione: modello standard

7 7 Modello standard: problemi Gli utenti apprendono nel corso del processo di ricerca –attraverso le voci di soggetto assegnate –leggendo i documenti trovati –navigando attraverso gli hyperlink –...

8 8 IR è un processo iterativo Repositories Workspace Goals

9 9 IR è un dialogo –Lo scambio non termina alla prima risposta –Lutente può riconoscere elementi utili di una risposta –Le domande si modificano nel corso del processo

10 10 Raccolta delle bacche come strategia IR (Bates 90) Modello standard –Assume che il bisogno informativo rimanga statico nel corso del processo di ricerca Raccolta delle bacche –Interessanti informazioni sono sparpagliate in giro, come le bacche tra i cespugli –La richiesta si modifica gradualmente –Nuove informazioni possono portare a nuove idee e a nuove direzioni di ricerca –Il bisogno informativo non viene soddisfatto da un unico insieme finale di risposte recuperate viene soddisfatto attraverso una serie di scelte e pezzi di informazione raccolti nel corso della ricerca, lungo la strada

11 11 Schizzo di un ricercatore … moving through many actions towards a general goal of satisfactory completion of research related to an information need. (Bates 89) Q0 Q1 Q2 Q3 Q4 Q5

12 12 Tattiche vs. Strategie Tattica: azione a breve termine per raggiungere un determinato obiettivo (goal) –operazioni, azioni Strategia: pianificazione complessiva per raggiungere uno determinato scopo (objective) –una serie di operazioni e di azioni collegati tra loro

13 13 Tattiche di ricerca dellinfo. Formulare la ricerca –Individuare una formulazione della ricerca –Selezionare e riformulare gli specifici termini Monitoraggio –Tenere una traccia dei passi della ricerca Fonti di informazione –Navigare verso e allinterno delle fonti (cfr. Lopuscolo di Jenny RYAN, Steph CAPRA. Research Projects:An Information Literacy Planner For Students. American Library Association, 2001)

14 14 Formulare la ricerca Specificità / Ambito –Usare i termini più specifici; ma anche: –Tenere conto dellambito generale in cui ci colloca la ricerca Esaustività –Considerare tutti gli elementi implicati Filtro –Sottrarre progressivamente alcuni elementi Formulazione parallela –Usare sinonimi e termini paralleli Controllo terminologico –Verificare la coerenza dei termini usati con quelli adottati dal sistema IR (p.e., voci da un thesauro, soggettario, authority file)

15 15 Monitoraggio (anche a livello di strategia) Confrontare –Comparere lo stato attuale della ricerca con il suo scopo originario Pesare –Fare una analisi costi/benefici delle azioni in atto o programmate Corregere gli errori Registrare –Tenere traccia - un diario – dei passi della ricerca

16 16 Fonti di informazione La Bibbia: – Un autorevole punto di partenza p.e., un classico sullargomento, una pagina web fatta bene Ricercare/indagare: –Ricercare e verificare tra opzioni diverse p.e., a partire da una lista di documenti ottenuta da una ricerca in OPAC, o da una citazione in un documento Tagliare/filtrare: –Non considerare ciò che non ci serve e delimitare il settore di ricerca

17 17 Paradosso Paradosso di base della ricerca/recupero dellinformazione (Roland Hjerrpe) –The need to describe that which you do not know in order to find it –Il bisogno di descrivere ciò che non conoscete in modo da trovarlo

18 18 Concetti di base IR Utenti, bisogni informativi, domande Documenti, raccolte di documenti Linguaggi di indicizzazione, vocabolari controllati Processo di ricerca Valutazione - Rilevanza

19 19 Valutazione Perché valutare? Che cosa? Come?

20 20 Perché valutare? Verificare se il sistema è accettabile Formulare giudizi comparativi Altro?

21 21 Che cosa valutare? In che misura il bisogno informativo è stato soddisfatto. Quanta informazione nuova e corretta si è acquisita sullargomento. Apprendimento occasionale: –Quanto si è appreso sulla collezione. –Quanto si è appreso su altri argomenti. Quanto il sistema è invitante e amichevole.

22 22 Come valutare? Misure di riferimento per valutare lefficacia e lefficienza di un sistema IR: richiamo precisione rilevanza –Richiamo Proporzione del materiale rilevante di fatto recuperato –Precisione Proporzione del materiale recuperato di fatto rilevante effectiveness

23 23 Doc. Rilevanti vs. Recuperati Rilevanti Recuperati Tutti i doc.

24 24 Precisione vs. Richiamo Rilevanti Recuperati Tutti i doc.

25 25 Precisione: doc. rilev. recuperati/totale doc. recuperati Precisione vs. Richiamo Richiamo: doc. rilev. recuperati/totale doc. rilevanti Rilevanti Recuperati Tutti i doc.

26 26 Perchè precisione e richiamo? Get as much good stuff as possible while at the same time getting as little junk as possible (Larson, 2004)

27 27 Documenti Ritrovati vs. Rilevanti Precisione molto alta, richiamo molto basso Rilevanti

28 28 Documenti Ritrovati vs. Rilevanti Precisione e richiamo molto bassi (di fatto, recupero 0) Rilevanti

29 29 Documenti Ritrovati vs. Rilevanti Richiamo alto, ma bassa precisione Rilevanti

30 30 Documenti Ritrovati vs. Rilevanti Precisione e richiamo alti (finalmente!) Rilevanti

31 31 Curva Precisione/Richiamo in riferimento al n.o dei documenti Curva di tipo Zipf precision recall x x x x

32 32 Curva Precisione/Richiamo Difficile stabilire quale di questi due ipotetici risultati sia il migliore: precision recall x x x x

33 33 Livelli di Cutoff Fissare il numero dei documenti RILEVANTI che si intende recuperare, p.e.: Top 5 (solo i primi 5) Top 10 Top 20...

34 34 Problemi con Precisione/Richiamo Non siamo in grado di valutare il vero valore del richiamo (solo se i documenti della raccolta sono molto pochi) Precisione/Richiamo sono correlati in modo inverso Si dà per scontata limportanza di un ordinamento dei risultati secondo il livello di rilevanza

35 35 Concetti di base IR Utenti, bisogni informativi, domande Documenti, raccolte di documenti Linguaggi di indicizzazione, vocabolari controllati Processo di ricerca Valutazione Rilevanza

36 36 Information Retrieval (IR) Obiettivo dellIR è di recuperare, allinterno di una collezione, tutti e solo i documenti rilevanti per un particolare utente con una particolare richiesta informativa The goal is to search large document collections (millions of documents) to retrieve small subsets relevant to the users information need Rilevanza è un concetto chiave dellIR, che ora cercheremo di chiarire

37 37 Rilevanza Intuitively, we understand quite well what relevance means. It is a primitive y know concept, as is information for which we hardly need a definition. … if and when any productive contact [in communication] is desired, consciously or not, we involve and use this intuitive notion of relevance. (Saracevic, 1975)

38 38 Rilevanza In che misura un documento è rilevante –per questo utente, per questo bisogno informativo Quello di rilevanza è un giudizio soggettivo, ma: in qualche misura calcolabile –Quanto spesso la gente concorda sul fatto che un certo documento è rilevante per una certa domanda ? (criterio della popolarità)

39 39 Rilevanza In quali modi un documento può essere rilevante al fine di soddisfare un bisogno informativo? –Fornisce in modo preciso risposte dettagliate Quando è morto Dante Alighieri? Nel 1321 –Risponde in modo preciso ma parziale Dove si trova Stradella? Vicino a Pavia –Suggerisce una diversa fonte di informazione Dove si trova Stradella? Guarda su un atlante geografico –Altro …

40 40 Alcuni studi sul tema della rilevanza Rassegna bibliografica: Saracevic, 1975 Riconsiderazione dellidea di rilevanza come centrata sullutente: Schamber, Eisenberg, Nilan, 1990 Numero speciale sulla di rilevanza in JASIS, Aprile 1994

41 41 Prossimamente: …