(Laboratorio di ) Sistemi Informatici Avanzati

Presentazione sul tema: "(Laboratorio di ) Sistemi Informatici Avanzati"— Transcript della presentazione:

1 (Laboratorio di ) Sistemi Informatici Avanzati
Giuseppe Manco

2 Centralità, Struttura di Internet. Search: HITS e PageRank

3 Centralità, Struttura di Internet. Search: HITS e PageRank

4 Centralità La centralità misura l’importanza relativa di un nodo all’interno di un grafo Esistono svariate misure di centralità. Degree centrality Closeness centrality Betweenness centrality Ecc…

5 Degree centrality La Degree centrality di un nodo è definita come il numero di archi incidenti ad esso La Degree centrality misura la capacità immediata di un nodo di diffondere informazioni nella rete In caso di grafi diretti si possono calcolare due tipi di centrality: Indegree Outdegree

6 Degree centrality Matematicamente Nella versione normalizzata
Complessità Grafo denso: Grafo sparso:

7 Closeness centrality Misura basata su:
Shortest Path Length (spl) tra due nodi Farness: fissato un nodo, è la somma di tutte le Shortest Path Length tra il nodo in esame e tutti gli altri nodi della rete La Closeness Centrality è l’inverso della farness Intuitivamente, misura step sono necessari per diffondere una informazione da un nodo a tutta la rete

8 Closeness centrality Matematicamente Nella versione normalizzata
Complessità (dettata dalla ricerca di tutti gli spl) Grafo denso: (Floyd–Warshall algorithm) Grafo sparso: (Johnson's algorithm)

9 Closeness centrality La formulazione originale è valida solo per grafi completamente connessi Formulazione alternativa (tra le tante proposte) Opsahl (2010):

10 Betweenness centrality
È un indice che misura la frequenza di un nodo all’interno dello shortest path tra due nodi qualunque Ad esempio, la capacità di raccogliere informazioni da parte di uno sniffer in una rete informatica

11 Betweenness centrality
Sia v il nodo di cui si voglia calcolare la betweenness e siano s e t altri due nodi della rete diversi tra loro e diversi da v Sia il numero di shortest path che uniscono s e t tra loro Sia il numero di shortest path tra s e t che contengono v

12 Betweenness centrality
Matematicamente Grafo diretto Grafo indiretto Nella versione normalizzata

13 Betweenness centrality
Complessità (dettata dalla ricerca di tutti gli spl) Grafo denso: (Floyd–Warshall algorithm) Grafo sparso: (Johnson's algorithm)

14 Paragone Rete:

15 Paragone Degree centrality

16 Paragone Closeness centrality

17 Paragone Betweenness centrality

18 Eigenvector centrality
Misura la centralità di un nodo in base alle sue interazioni con la rete Un nodo è importante se è collegato a nodi importanti Ricorda qualcosa?

19 Eigenvector centrality
Supponiamo che G sia diretto con matrice di adiacenze Matematicamente Dove xv è la Eigenvector centrality del nodo v, mentre λ è una costante

20 Eigenvector centrality
In forma vettoriale: Questa è la formulazione degli autovettori, mentre le costanti sono gli autovalori Tra tutti gli autovalori possibili scegliamo quello maggiore  autovettore positivo (teorema di Perron– Frobenius) La v-esima componente dell’autovettore x è il grado di centralità del nodo v In letteratura ci sono svariati algoritmi per il calcolo dei migliori autovalori/autovettori SVD

21 Centralità, Struttura di Internet. Search: HITS e PageRank

22 Struttura di Internet Source: David Easley, Jon Kleinberg Networks, Crowds, and Markets, Cambridge University Press (2010)

23 Struttura di Internet

24 Bow-Tie Source:A. Broder, et al. Graph structure in the Web. In Proc. WWW, pages 309–320, 2000.

25 Bow-Tie Internet è dunque una rete di contenuti con proprietà simili a quelle studiate finora Anche le risorse del web sono nodi di un grafo È possibile dunque calcolare un grado di centralità e di importanza di ogni risorsa È possibile guidare la ricerca di contenuti in base all’importanza delle risorse

26 Centralità, Struttura di Internet. Search: HITS e PageRank

27 Search Problema della ricerca web: individuare le risorse richieste dall’utente nel minor tempo possibile a partire da un certo numero di parole chiave Inserisci un termine nella pagina di Google Analizza i risultati Il primo elemento è quello che ti aspettavi? Come ha fatto Google a calcolare il risultato?

28 Search Un problema difficile
Information retrieval: ricerca in grosse repositories, sulla base di keywords Keywords limitate e inespressive, e: sinonimia (modi multipli per dire la stessa cosa: casa, abitazione) Polisemia (significati multipli per lo stesso termine: Jaguar, Apple) Differenti modalità di authoring Esperti, novizi, etc. Estrema dinamicità del web Shift Scarcity  abundance

29 Centralità, Struttura di Internet. Search: HITS e PageRank
Algoritmo HITS

30 HITS HITS è l’acronimo per Hyperlink-Induced Topic Search (anche noto come hubs and authorities algorithm) È una variante di Eigenvector Centrality Due tipi di pagine web: Hubs: sono pagine che non hanno contenuto informativo “autorevole” in merito all’argomento di ricerca, ma hanno dei link verso pagine autorevoli Autorities: pagine di contenuti informativi sugli argomenti di ricerca

31 HITS Hub Authority

32 HITS Data una ricerca sul web, l’algoritmo effettua due operazioni principali: Recupero delle pagine web che trattano l’argomento in questione Assegnamento, ad ogni pagina ottenuta al passo precedente, di due punteggi Score di authority: stima dell’importanza del contenuto della pagina Hub value: stima del valore dei link verso le altre pagine

33 HITS L’assegnamento dei due punteggi avviene attraverso una procedura mutua ed iterativa Ad ogni passo uno score modifica l’altro Sia A la matrice di adiacenze del grafo che rappresenta le pagine web selezionate in base alla ricerca Sia v il vettore che contiene i valori (ordinati per nodo) di authority di ogni nodo Sia u il vettore che contiene i valori (ordinati per nodo) di hub di ogni nodo

34 HITS Inizializzazione Update In forma chiusa
Ogni elemento di u è pari ad 1 Ogni elemento di v è pari ad Atu Update In forma chiusa

35 HITS In forma procedurale: Authority Update Rule Hub Update Rule
Per ogni nodo p Dove n è il numero di pagine che puntano su p Hub Update Rule Dove n è il numero di pagine puntate da p

36 HITS Terminazione dell’algoritmo:
Così come è definito l’algoritmo diverge È necessario un passo di normalizzazione che garantisce la convergenza von Ahn, Luis ( ). "Hubs and Authorities" : Science of the Web Course Notes. Carnegie Mellon University. Retrieved

37 HITS Procedura

38 HITS Esempio. Rete:

39 HITS Matrice di adiacenze Valore iniziale di u

40 HITS Authority Hub

41 HITS Il nodo 3 è il più autorevole
I nodi 1 e 2 non sono autorevoli ma sono equamente validi come hub Ripetere il processo ulteriormente non porta ulteriori miglioramenti I vettori u e v saranno solo moltiplicati per uno scalare Serve la normalizzazione per ottenere un punto fisso

42 Centralità, Struttura di Internet. Search: HITS e PageRank

43 PageRank Il PageRank è una misura di importanza delle pagine Web derivata dalla Eigenvector centrality È un sistema attualmente alla base del motore di ricerca di Google Il suo brevetto appartiene alla Stanford University Google ha acquistato dalla Stanford University una licenza speciale del PageRank per l’ammontare di 1.8Mln di azioni Google Nel 2005 la Stanford University ha venduto le azioni in suo possesso per un totale di 336Mln di dollari

44 PageRank Il PageRank è una distribuzione probabilistica che misura la verosimiglianza che un utente generico, navigando in maniera random attraverso i link delle pagine visitate, arrivi ad una pagina target La stima della distribuzione di probabilità, come per l’algoritmo HITS, prevede una procedura iterativa ed approssimata

45 PageRank – Definizione di base
In una rete con n nodi assegniamo ad ogni nodo un PageRank iniziale pari ad 1/n Scegliamo un numero limitato di step k Effettuiamo k volte la procedura di update dei PageRank delle varie pagine Basic PageRank Update Rule: Ogni pagina divide il proprio PageRank per il suo outdegree e passa tale quantità al PageRank delle pagine alle quali punta Se una pagina non ha link uscenti passa l’attuale PageRank a se stessa Ogni pagina assegna al proprio PageRank la somma di tutte le porzioni di PageRank trasferitegli dalle pagine che la puntano

46 PageRank – Definizione di base
Matematicamente. Inizializzazione. Per ogni pagina pi Update. Per ogni nodo pi Dove M(pi) è l’insieme di tutte le pagine che puntano pi

47 PageRank – Definizione di base
Esempio

48 PageRank – Definizione di base
Step A B C D E F G H 1 1/8 2 1/2 1/16 3 5/16 1/4 1/32 4 …

49 PageRank – Problema Si consideri la seguente rete

50 PageRank – Problema Poiché il sotto ramo della pagina C non ha archi che facciano defluire il rank accumulato indietro nei nodi A, B, D, E e H, si verificherà la seguente condizione dopo un certo numero di iterazioni di PageRank: PR(A) = PR(B) = PR(C) = PR(D) = PR(E) = PR(H) = 0 PR(F) = PR(G) = 0.5 Questo scenario è molto verosimile nel Web: modello Bow-Tie

51 PageRank – Soluzione Si aggiunge un fattore di dump (d):
Si suppone che ad ogni click, l’utente, che naviga in maniera random seguendo i link, possa decidere di smettere di seguire i link e di scegliere di aprire una pagina a caso Update. Per ogni nodo pi Ora si ha il problema della stima del parametro d Google, attualmente, usa un valore intorno a 0.85

52 PageRank Forma matriciale Update
Dove la funzione di adiacenza l(pi, pj) è pari a 0 se non esiste un arco tra pi e pj, ed è normalizzata in presenza di archi in modo da avere:

53 PageRank I valori dei PageRank sono le entry dell’autovettore dominante della matrice di adiacenze modificata La matrice di adiacenze è resa stocastica Rappresenta la probabilità di transazione da una pagina alla successiva Le colonne sommano ad 1 Siamo, quindi, di fronte ad una variante dell’eigenvector centrality

54 Differenze tra HITS e PageRank
Tempo di esecuzione HITS è eseguito contestualmente alla query query lente hub e authority score dipendenti dalle query Il PageRank è eseguito in una fase di indicizzazione precedente alle query Query veloci Score generale (ed unico) Numero di score HITS calcola due score per ogni documento Il PageRank calcola un solo score per documento Quantità di pagine in analisi HITS lavora su un sottoinsieme di documenti “rilevanti” ai fini della query Il PageRank indicizza tutte le pagine web

55 Problema del Pagerank Il principale problema riscontrato nell’utilizzo del PageRank è la preferenza verso le pagine con la maggiore età. Pagine nuove, anche se ricche di contenuti, sono penalizzate dal fatto di non essere puntate da altre pagine esistenti A meno di non far parte di un sito già esistente fortemente connesso Ecco il motivo perché Wikipedia è sempre nei primi posti in una ricerca su Google