Gli strumenti di ricerca disponibili in rete sono di due tipi: i motori di ricerca per termini gli indici sistematici.

Presentazione sul tema: "Gli strumenti di ricerca disponibili in rete sono di due tipi: i motori di ricerca per termini gli indici sistematici."— Transcript della presentazione:

1 Gli strumenti di ricerca disponibili in rete sono di due tipi: i motori di ricerca per termini gli indici sistematici

2 I motori di ricerca per termini ricercano parole o combinazioni di parole in un archivio indicizzato di documenti in formato digitale. Lindice è tenuto aggiornato da un daemon ovvero un software che si muove continuamente lungo la rete, seguendo ogni link incontrato e indicizzando tutte le pagine percorse

3 per quanto estesa, la base di indicizzazione di un motore di ricerca per termini copre solo una parte delle pagine realmente disponibili in rete. A metà 2002 il più importante motore di ricerca (Google) indicizzava circa un miliardo e mezzo di pagine, e a maggio 2003 dichiarava di indicizzare oltre tre miliardi di pagine Web Oggi dichiara di indicizzare four billion web pages

4 a metà del 2003, il numero complessivo di pagine Web era approssimativamente compreso fra i 7 e i 10 miliardi. Un buon motore di ricerca arriva a coprire, dunque, solo il 30-35% del numero complessivo di pagine in rete. Ne consegue, quindi, che i risultati di una ricerca in rete, per quanto accurata non potranno essere mai considerati completi o esaustivi

5 Gli indici sistematici la ricerca sistematica avviene su cataloghi ragionati di risorse,directory in inglese, suddivisi per settori e organizzati gerarchicamente. In questo caso la base di dati è assai più ristretta ma la valutazione della pertinenza di una determinata informazione non è più meccanica, bensì il risultato di una selezione umana, e l'informazione è inserita all'interno di una struttura di classificazione.

6 Una differenza rilevante tra i due sistemi è che il motore di ricerca per termini indicizza e restituisce singole pagine - quelle nelle quali compare il termine cercato -, mentre l'indice sistematico indicizza interi siti, anche se ovviamente l'accesso al sito avviene anch'esso attraverso una pagina: la sua pagina iniziale o home page.

7 La differenza tra motori di ricerca per termini e indici sistematici è sostanziale, la confusione tra i due può essere accresciuta dal fatto che, molti indici sistematici, come Yahoo, permettono l'accesso anche a un motore di ricerca per termini, e viceversa.

8 Motore di ricerca per termini: http://www.yahoo.it/http://www.yahoo.it/ Catalogo sistematico: http://www.google.it/dirhp?hl=it&tab=wd&q= Yahoo! è nato nellaprile 1994, da David Filo e Jerry Yang, studenti di ingegneria elettronica all'Università di Stanford, che avevano iniziato a creare pagine riassuntive con link ai siti Internet di loro interesse. Si trasformò progressivamente in un vero e proprio database, ricco di migliaia di pagine indicizzate. All'inizio del 1995 Mark Andreessen, cofondatore della Netscape, percepì l'interesse dello strumento creato da Filo e Yang, e si offrì di contribuire alla trasformazione dell'iniziativa in una impresa commerciale. Adesso Yahoo! è una impresa privata, quotata in borsa.

9 Open Directory un altro, prezioso servizio di catalogazione sistematica dei siti è Open Directory http://dmoz.org/ http://dmoz.org/ Al posto di un centinaio di redattori professionisti, Open Directory si basa sulle segnalazioni di diverse migliaia (circa 56.000 nell'aprile 2003) di volontari. Un sistema di controlli incrociati permette di verificare l'affidabilità delle segnalazioni e della loro categorizzazione. Questa risorsa si basa sullo spirito collaborativo della rete, e sull'idea della libera condivisione di conoscenze tipica del movimento dell'open software. Ciò non ha impedito tuttavia a Open Directory di diventare una realtà di tutto rispetto anche dal punto di vista commerciale. Open Directory è gestita da AOL (America On Line) attraverso la Netscape Corporation, Open Directory ed è l'indice sistematico offerto da portali e siti di ricerca di tutto rilievo: Google, America On Line, Netscape, Lycos, HotBot, Excite. Ad oggi, Open Directory cataloga quasi quattro milioni di siti, organizzati in oltre 460.000 categorie, mentre Yahoo! cataloga fra i due e i tre milioni di siti. E dallAprile del 2000 che Open Directory offre una base più ampia di siti indicizzati di Yahoo! http://dmoz.org/World/Italiano/

10 Altri servizi di catalogazione sistematica Oltre a Yahoo! e Open Directory esistono altri servizi di catalogazione sistematica delle risorse disponibili su Internet, la directory di Looksmart http://www.looksmart.com/ è utilizzata nella sezione 'directory' di Altavista e di Microsoft Networkhttp://www.looksmart.com/ About http://www.about.com è una directory organizzata in circa 700 aree tematiche, ciascuna delle quali affidata a un volontario esperto ('guida').http://www.about.com Infogrid http://www.infogrid.com unisce le funzioni di Web directory e di metamotore di ricercahttp://www.infogrid.com http://www.reference.comhttp://www.reference.com è un elenco di risorse nel campo degli strumenti di 'reference': dizionari, vocabolari, enciclopedie, atlanti e servizi di mappe e indici sistematici del Web

11 Cataloghi sistematici in italiano Come abbiamo visto sia Yahoo! che Open Directory hanno la versione italiana dei indici. Fra gli altri servizi vanno segnalati : Virgilio, che offre una scelta informativa ricca anche di articoli e suggerimenti http://www.virgilio.it http://www.virgilio.it Arianna http://arianna.libero.it/ che permette ricerche sia sul proprio indice di siti italiani, sia sui principali motori internazionali.http://arianna.libero.it/ SuperEva http://www.supereva.it la cui directory è all'indirizzo http://dir.supereva.it che integra le segnalazioni di un'altra web directory italiana, quella di 100Links http://100links.supereva.it Il sito è nato nel dicembre 1999 ed è realizzato dalla società Dada, che sul modello di About si affida a delle guide per realizzare le schede tematiche dedicate alla segnalazione di risorse Web.http://www.supereva.ithttp://dir.supereva.it http://100links.supereva.it Il Trovatore http://www.iltrovatore.ithttp://www.iltrovatore.it Godado http://www.godado.it orientato al marketinghttp://www.godado.it ABCItaly, che dichiara un catalogo di 80.000 siti italiani http://www.abcitaly.comhttp://www.abcitaly.com

12 I motori di ricerca per termini Nei motori di ricerca per termini la ricerca avviene indicando una parola, o una combinazione di parole, che consideriamo associata al tipo di informazione che vogliamo reperire

13 I motori di ricerca per termini I motori di ricerca utilizzano programmi chiamati "spiders" capaci di visitare continuamente una grande quantità di siti web, leggere il testo contenuto nelle pagine ed estrarre quelle parole/termini che caratterizzano il sito. Per ogni pagina letta, lo spider cerca al suo interno e memorizza ogni link (collegamento) ad altri siti, aggiungendolo ad una lista di siti da visitare. In questo modo, attraverso un processo a catena, lo spider è in grado di ottenere una quantità enorme di indirizzi di siti e pagine web, riuscendo ad incrementare il numero di siti conosciuti molto più di quanto possa essere fatto dalle directory, che si basano su un lento meccanismo di iscrizione e valutazione dei siti, operato da una redazione.

14 I motori di ricerca per termini Per consentire ad uno spider di trovare agevolmente tutte le pagine che compongono un sito web bisogna fare in modo che da qualunque pagina del sito sia possibile risalire, direttamente o indirettamente, a tutte le altre pagine. Il sistema migliore è quello raccomandato per facilitare la navigazione di inserire in ogni pagina del sito un link alla homepage. In questo modo, in qualunque pagina del sito lo spider dovesse arrivare (magari seguendo un link trovato su un altro sito) potrà risalire alla pagina principale e, da lì, trovare tutte le altre pagine seguendo i link incontrati.

15 I motori di ricerca per termini Gli spider non prendono in considerazione la grafica delle pagine ma focalizzano il loro lavoro di analisi esclusivamente sul testo. Questo significa che ogni immagine o animazione viene ignorata e che gli unici contenuti su cui lo spider si basa per valutare il sito sono quelli testuali. Qualunque immagine gif e jpeg anche se rappresenta un bottone testuale verrà ignorata. L'unico testo che lo spider potrà leggere sarà quello ASCII, contenuto nei tag del codice HTML.

16 I motori di ricerca per termini Gli spiders considerano maggiormente le parole o frasi contenute: Nel titolo (tag TITLE): i motori di ricerca assegnano al titolo della pagina una importanza molto alta. Nei meta tag (DESCRIPTION, KEYWORDS, ROBOTS) ovvero tag speciali attraverso i quali si forniscono informazioni relative alla pagina web Nelle intestazioni (tag H1…) una sorta di sottotitoli che hanno un ruolo intermedio tra il titolo vero e proprio e il testo Nelle prime righe di testo di una pagina Web Nei testi che descrivono i link (tag A) Nelle parti evidenziate in neretto o in corsivo Nel nome del file (.html)

17 Prominenza e prossimità Nel tentativo di realizzare pagine web fortemente focalizzate su una keyword o keyphrase principale, è importante accertarsi che tali parole-chiave compaiano nel testo della pagina in punti particolarmente visibili. I motori di ricerca, infatti, possono attribuire maggiore importanza a quei termini che occupano una posizione ben visibile agli utenti. La "prominenza" delle keyword (keyword prominence) e la loro "prossimità" (keyword proximity) sono due importanti fattori che, se gestiti adeguatamente, permettono di aumentare la rilevanza delle parole-chiave per una pagina.

18 Prominenza (prominence) Per prominenza di una keyword si intende la vicinanza tra la keyword e l'inizio di una generica zona di riferimento. Le zone di riferimento possono essere molteplici. Ad esempio, la prominenza di una keyword nel testo di una pagina consiste nella vicinanza tra la keyword e l'inizio del testo, la prominenza di una parola-chiave nel titolo della pagina si riferisce a quanto la parola-chiave è vicina all'inizio del titolo, e così via. Maggiore è la vicinanza con l'inizio della zona presa in considerazione, maggiore sarà la visibilità della keyword agli utenti e conseguentemente maggiore sarà il peso che i motori di ricerca assegneranno alla keyword.

19 Tra le zone della pagina che bisogna prendere in considerazione, quelle in cui è consigliato curare la prominenza sono il titolo (tag TITLE), le intestazioni (tag H1, H2, ecc.) e i vari paragrafi di testo della pagina, in particolar modo quelli che appaiono allinizio.Scegliendo come parola-chiave comunicazione", ecco come potrebbe apparire il primo paragrafo del testo di una pagina: ….Il ruolo sempre più importante della comunicazione pubblica impone un cambiamento radicale nel modo di lavorare. Gli uffici di relazioni con il pubblico assumono un ruolo….. Notate come la keyword principale appaia proprio all'inizio del testo, garantendole una visibilità superiore rispetto alle altre parole del paragrafo. Questa vicinanza soddisfa il requisito principale della prominenza, tuttavia è stato osservato che alcuni motori di ricerca ritengono similarmente visibili e attribuiscono dunque più peso anche alle parole presenti in fondo alla zona presa in considerazione.

20 Il nostro esempio potrebbe dunque variare nel seguente modo: ….Il ruolo sempre più importante della comunicazione pubblica impone un cambiamento radicale nel modo di lavorare. Gli uffici di relazioni con il pubblico assumono un ruolo importante anche nella comunicazione interna Adesso la keyword comunicazione" appare sia all'inizio che al termine del paragrafo. Sarebbe stato possibile ideare un testo in cui la parola chiave apparisse esattamente come prima e ultima parola del paragrafo, ma è preferibile adottare questa soluzione solo nei casi in cui il testo rimanga ben leggibile: a volte si ottiene un testo più "naturale" e gradevole alla lettura proprio evitando a tutti costi la coincidenza con i primi o gli ultimi termini del paragrafo.

21 Prossimità (proximity) Per prossimità si intende la vicinanza reciproca delle keyword prese in considerazione. Se una keyword si ripete all'interno del testo e se tali ripetizioni sono vicine tra loro, si viene a creare quello che potremmo definire un "punto di concentrazione" delle parole-chiave, una concentrazione che può aumentare la rilevanza delle parole-chiave all'interno del paragrafo e di conseguenza nell'intera pagina. Ovviamente le ripetizioni di termini non devono pregiudicare il grado di leggibilità del testo. Inoltre, a volte, nel tentativo di aggiungere una keyword in più e aumentare così la prossimità, si rischia di diminuirne la prominenza.

22 Prossimità (proximity) (segue) Nel paragrafo di testo finora usato come esempio: ….Il ruolo sempre più importante della comunicazione pubblica impone un cambiamento radicale nel modo di lavorare. Gli uffici di relazioni con il pubblico assumono un ruolo importante anche nella comunicazione interna la seconda occorrenza della keyword è più distante dall'inizio del paragrafo, quindi per acquistare in prossimità è stata persa un po' di prominenza. Aggiungere ulteriori ripetizioni potrebbe essere controproducente, appesantirebbe eccessivamente il paragrafo e rischierebbe di far suonare un campanello d'allarme durante i controlli di "genuinità" dei motori di ricerca. Anche la formattazione grassetto e corsivo aumentano il peso della parola chiave

23 Oltre ai sistemi leciti sinora descritti esistono anche una serie di trucchi che aumentano artificiosamente il posizionamento di una pagina nei risultati di un motore di ricerca: Scrivere il testo con lo stesso colore dello sfondo della pagina: questo permette di aumentare le parole chiave senza appesantire i testi delle pagine. Solo lo spider legge le parole chiave che non sono visibili allutente. Inserire il testo nei tag o meta tag che non vengono mostrati a video ma che servono solo per descrivere alcune parti delle pagine html (ad esempio i tag di commento) Usare delle pagine di reindirizzamento da cui si transita solo per pochi secondi per poi essere dirottati sulla pagina principale Uso della tecnica di Cloaking che consente di visualizzare contenuti diversi in base a chi li visita. Possono essere mostrate pagine zeppe di keywords agli spiders e pagine normali agli utenti.

24 Come segnalare un sito web ai motori di ricerca? E importante distinguere la segnalazione dalla registrazione di un sito negli archivi di un motore di ricerca. Lutente può solo segnalare lesistenza di un sito perché la registrazione viene fatta dal motore di ricerca. La segnalazione, inoltre, non garantisce affatto la registrazione La segnalazione viene fattta tramite un apposito modulo presente sul motore di ricerca (alcuni motori come google richiedono solo la url principale, altri come altavista richiedono tutti gli url delle singole pagine) http://www.google.it/intl/it/add_url.html http://it.altavista.com/addurl/default

25 Fondato nel settembre 1998 da Larry Page e Sergey Brin, Google è diventato in pochissimi anni il più importante motore di ricerca su Web, tanto da far nascere nel mondo anglosassone il neologismo to google, sinonimo di cercare in rete. Attualmente Google dichiara di indicizzare quattro miliardi di documenti accessibili su Web: Google infatti indicizza, oltre alle pagine HTML, anche diversi altri tipi di documenti come i file PDF i documenti Word e le presentazioni PowerPoint. LAzienda ha più di 800 dipendenti, e risponde a oltre duecento milioni di richieste al giorno.

26 Il nome del sito è un gioco di parole basato sulla parola 'googol', inventata da Milton Sitotta, nipote del matematico Edward Kasner, per riferirsi al numero rappresentato da un '1' seguito da cento '0': simbolo dell'enorme quantità di informazione che il motore di ricerca gestisce.

27 La tecnologia di ricerca impiegata da Google: PageRank Google utilizza una tecnologia basata su hardware e software avanzato. La velocità con cui possono essere eseguite le ricerche è attribuibile in parte all'efficienza dell'algoritmo di ricerca e in parte all'elevato numero di PC collegati in rete, che, insieme, contribuiscono a creare un motore di ricerca superveloce. Il nucleo principale del software è rappresentato da PageRank(TM), che consiste in un sistema che permette di classificare le pagine Web in ordine di importanza. Il sistema è stato sviluppato dagli stessi Larry Page e Sergey Brin all'Università di Stanford. PageRank continua ad essere l'elemento chiave degli strumenti di ricerca di Google.

28 Basato sullo specifico carattere "democratico" del Web, PageRank sfrutta la vastissima rete di collegamenti associati alle singole pagine per determinarne il valore. In pratica, Google interpreta un collegamento dalla pagina A alla pagina B come un "voto" espresso dalla prima in merito alla seconda. Tuttavia, non si limita a calcolare il numero di voti, o collegamenti, assegnati a una pagina. Oltre a effettuare questo calcolo, Google prende in esame la pagina che ha assegnato il voto. I voti espressi da pagine "importanti" hanno più rilevanza e quindi contribuiscono a rendere "importanti" anche le pagine collegate

29 Integrità I complessi metodi di ricerca automatici di Google sono studiati per limitare al minimo le interferenze degli utenti. Sebbene vengano visualizzati annunci pubblicitari accanto ad alcuni dei risultati più rilevanti, Google non vende spazi pubblicitari all'interno dei risultati (cioè i clienti non possono acquistare un PageRank superiore). Le funzioni di ricerca di Google offrono un sistema semplice, onesto ed obiettivo per trovare siti Web di alta qualità contenenti dati rispondenti a quelli ricercati.

30 L'indirizzo di Google è http://www.google.com ma il sito è in grado di interpretare le impostazioni del browser relative alle lingue preferite presentandosi automaticamente con l'interfaccia nella lingua preferita dall'utente.http://www.google.com La traduzione riguarda solo l'interfaccia, mentre il database sul quale viene svolta la ricerca è comunque lo stesso. l'interfaccia inglese è sempre raggiungibile attraverso il link 'Google in English'. alla pagina http://www.google.it/language_tools?hl=it potete scegliere l'interfaccia preferita fra una novantina di lingue diverse, inclusi il latino e l'esperantohttp://www.google.it/language_tools?hl=it

31 Funzione Calcolatrice di Google Per usare la funzione calcolatrice di Google, inserite nella spazio di ricerca lespressione che volete risolvere e fate Invio o cliccate su Cerca con Google. La calcolatrice può eseguire espressioni matematiche di semplice aritmetica (5+2*2 or 2^20) e più complicate come (e^(i pi)+1). Potete anche sperimentare calcoli con altri sistemi matematici come esadecimale e binario. http://www.google.it

32 Funzione Ricerca di file.PDF Google è in grado di ricercare anche file in formato.PDF (Adobe Portable Document Format). Sebbene i file.PDF non siano così numerosi come i file HTML, contengono spesso informazioni di alta qualità non disponibili in altri formati. Per i file.PDF, al posto dell'indicazione Versione cache viene visualizzata l'indicazione Versione testo, che contiene una copia del documento.PDF senza i relativi elementi di formattazione. Per visualizzare i risultati senza i collegamenti.PDF, digitare "filetype:pdf" nel campo di ricerca insieme ai termini ricercati. http://www.google.it

33 Funzione pagine simili sfrutta un algoritmo di 'filtraggio collaborativo' (basato cioè sull'analisi delle abitudini di navigazione degli utenti) elaborato dalla società Alexa (di proprietà di Amazon) per collegare fra loro siti di argomento analogo. Si può svolgere la ricerca direttamente dalla pagina di Alexa http://www.alexa.com http://www.alexa.com i risultati sono gli stessi che si otterrebbero usando la funzione di Google, ma i singoli siti sono accompagnati da una valutazione, da note sul traffico del sito e da brevi recensioni.

34 Funzione Traduzione di pagine Web Il nuovo programma di traduzione di Google (in versione Beta) consente di superare qualsiasi barriera linguistica alla comunicazione globale. L'uso di questa tecnologia di traduzione automatica permette ad utenti di lingua inglese di accedere ad una vasta gamma di pagine Web in altre lingue. Se i risultati della ricerca comprendono pagine in lingue diverse dall'inglese, viene visualizzato anche il collegamento alla versione inglese della pagina. Per visualizzare la traduzione dei titoli e delle sintesi dei risultati delle ricerche in inglese, è possibile attivare l'opzione di traduzione nella pagina Preferenze. Se si attiva questa opzione, Google traduce automaticamente i risultati della ricerca in inglese.Preferenze

35 GoogleWhacking http://www.googlewhack.com è la ricerca di termini o espressioni per ihttp://www.googlewhack.com quali Google fornisce una sola, singola occorrenza. Google Fight http://www.googlefight.comhttp://www.googlefight.com è il confronto del numero di occorrenze di due termini all'interno degli indici di Google. In genere, si tratta di nomi di persone (da inserire tra apici). Un tipo particolare di Google Fight è quello in cui si cerca di trovare due nomi con lo stesso numero di occorrenze.

36 Uso degli operatori booleani per la ricerca avanzata AND OR NOT

37 Altri motori di ricerca Alltheweb http://www.alltheweb.com la migliore alternativa a Google. Realizzato da una società europea, la norvegese Fast, http://www.fast.no Alltheweb è stato acquistato nel 2003 dalla statunitense Ouverture http://www.overture.com una delle società leader del settore, a sua volta acquistata da Yahoo! nel luglio 2003.http://www.alltheweb.comhttp://www.fast.no http://www.overture.com Dichiarava di indicizzare a fine agosto 2003 oltre 3 miliardi di pagine.

38 Altri motori di ricerca per termini Yahoo! (http://www.yahoo.com/).http://www.yahoo.com/ MSN Search (http://search.msn.com/)http://search.msn.com/ Altavista (http://www.altavista.com/)http://www.altavista.com/ Ask Jeeves (http://www.ask.com/)http://www.ask.com/ HotBot (http://www.hotbot.com/)http://www.hotbot.com/ Lycos (http://www.lycos.com/)http://www.lycos.com/

39 Alcune metarisorse EZ-Find http://www.theriver.com/TheRiver/Explore/ezfind.htmlhttp://www.theriver.com/TheRiver/Explore/ezfind.html I-tools http://www.itools.com/ http://www.itools.com/search/http://www.itools.com/http://www.itools.com/search/ http://www.stpt.com/pwrsrch.asp http://www.faganfinder.com/ http://www.ithaki.net/

40 Il futuro: il Web agent Lagente software è un programma in grado di svolgere per nostro conto determinate ricerche reagendo autonomamente ai risultati della ricerca stessa 'filtrandoli' attraverso l'uso di criteri specifici. Il programma 'agente' potrebbe inoltre risiedere fuori dal nostro computer (potrebbe ad esempio trattarsi di un programma ospitato da un server remoto, o addirittura 'distribuito' fra più server remoti) da un lato la necessità di rimanere sempre collegati durante le ricerche e migliorando dallaltro le prestazioni sui tempi di ricerca. Uno degli esempi più evoluti in questo settore è rappresentato da Copernic Agent http://www.copernic.comhttp://www.copernic.com

41 Web semantico XML costituirà la base ideale per la costrizione di quello che è stato battezzato "Semantic Web". L'idea di fondo del web semantico è quella di far diventare la Rete in grado di capire le nostre richieste. I documenti non dovrebbero più risultare come delle "isole di dati", ma piuttosto come dei database aperti nei quali un "applicativo" possa distinguere le informazioni contenute, ricavandone solo quelle richieste. Il web semantico si propone d'inserire nell'architettura della Rete elementi in grado di consentire ad agenti informatici una certa capacità d'azione. Si potrebbe ad esempio immaginare che un motore di ricerca, scorrendo le pagine alla ricerca di una prenotazione aerea, fosse in grado di capire quali link portano alle pagine relative alla destinazione richiesta, quali siano i costi e gli orari dei biglietti, di confrontare tra loro le offerte e di coordinare la partenza con l'agenda dell'utente o con le limitazioni sui costi prima impostate.

42 Tutto questo non in virtù di sistemi di intelligenza artificiale, ma molto più semplicemente in virtù di una marcatura dei documenti, attraverso un linguaggio gestibile da tutte le applicazioni e dall'introduzione di vocabolari specifici, cioè di collezioni di frasi alle quali possano associasi relazioni stabilite fra gli elementi marcati. In pratica il web semantico per funzionare deve poter disporre di informazione strutturata e di regole di deduzione per gestirla, in modo da accostare quelle informazioni che un'interrogazione ha richiesto.