(Laboratorio di ) Sistemi Informatici Avanzati

Presentazione sul tema: "(Laboratorio di ) Sistemi Informatici Avanzati"— Transcript della presentazione:

1 (Laboratorio di ) Sistemi Informatici Avanzati
Giuseppe Manco

2 Grafi

3 Teoria dei grafi Grafi Grafi diretti Dimensione, ordine
Degree, degree distribution Sottografi Cammini, componenti Geodetica Alcuni grafi particolari centralità Diadi e triadi Cmmini, geodetia, componenti fortemente/debolmente connesse Centralità Alcuni grafi diretti particolari

4 Definizione Un grafo G è una coppia (V,E) di vertici (V) e archi (E)

5 Grafo indiretto Digrafo Archi simmetrici Archi diretti
L A D M B F C I D B G E G A H C F coauthorship links Actor network protein interactions URLs su www Chiamate telefoniche metabolic reactions

6 Dimensione, ordine Dimensione Ordine Numero di nodi in V
Numero L di archi in E Dimensione 7 Ordine 8

7 Grado Il numero di archi in un grafo
I grafi diretti definiscono in-degree e out-degree. A B A G F B C D E

8 Grado medio j i A F B C D E

9 Grafi completi Ordine massimo
Un grafo di ordine L=Lmax è un grafo completo Il grado medio è

10 Sparsità Rapporto tra il numero effettivo di archi e il massimo numero di archi

11 Alcune reti Estrema sparsità L << Lmax <k> <<N-1. or
WWW (ND Sample): N=325,729; L= Lmax=1012 <k>=4.51 Protein (S. Cerevisiae): N= 1,870; L=4,470 Lmax=107 <k>=2.39 Coauthorship (Math): N= 70,975; L= Lmax= <k>=3.9 Movie Actors: N=212,250; L= Lmax= <k>=28.78 (Sorgente: Albert, Barabasi, RMP2002) Estrema sparsità

12 N L <k> (Sorgente: : The structure and function of complex networks, M. E. J. Newman, SIAM Review 45, (2003) ,

13 Metcalfe’s law Metcalfe's law, frequently quoted during the internet boom of 2000, states that the value of a network is proportional to the square of the number of its nodes, i.e. $N^2$. Formulated around 1980 in terms of communication devices by Robert M. Metcalfe, the inventor of Ethernet\cite{Gilder_Forbes-ASAP_1993}, the idea behind Metcalfe's law is that the more individuals use a network, the more valuable it becomes. Indeed, a fax machine is useless to you if there is no one to send a fax to. The more of your acquaintances have a fax machine, the more valuable it is to you as well. The $N^2$ dependence encodes the fact that if a network has $N=10$ members, there are $L_{max}=45$ different possible connections that these members can make to each other. If the network doubles in size to $N=20$, the number of connections doesn't merely double but roughly quadruples to 190, an effect often called "network effect" or "network externality" in economics. During the Internet boom Metcalfe's law was frequently used to offer a quantitative valuation for internet companies, supporting a "build it and they will come " mentality\cite{Briscoe_Spectrum-IEEE_2006}. It implied that the value of a service is proportional to the square of the number of its consumers or users, while costs would grow only linearly. Hence if the service attracts sufficient number of users, it will inevitably become profitable, as $N^2$ will surely surpass $N$ at some sufficiently large $N$ value. Hence Metcalf's Law offered credibility to growth, while neglecting profitability, fueling the Internet bubble of 2001. Metcalfe's law imagines that networks are complete graphs. It is based on Eq. (\ref{EQ-L-Max}), indicating that if all links of communication network with $N$ nodes are equally valuable, the total value of the network is proportional to $N(N-1)/2$, that is, roughly, $N^2$. There are two fundamental problems with Metcalfe's law: ($i$) While all links are possible, in real networks not all links are present. Indeed, most real networks are, which means that only a very small fraction of the links are present. If we assign a value to each link, then the total value of the network will grow slower than $N^2$, as we will see in the coming chapters. ($ii$) Not all links are of equal value. Some links are used heavily while the vast majority of links are 'weak', i.e. they are rarely utilized. (Sorgente: Barabasi,

14 Matrice di adiacenza Aij=1 se esiste un arco (i,j) 4 2 3 1

15 Matrice di adiacenza b e g a c f h d a b c d e f g h a b c d e f g h The adjacency matrix can take far more complicated forms for a larger network….

16 4 3 2 1 4 3 2 1

17 Grafi speciali Grafo vuoto con 5 nodi (Z5) Stella con 5 vertici
Ciclico con 5 vertici

18 Albero Foresta

19 Indiretto Digrafo 4 4 1 1 2 2 3 3 Actor network, protein-protein interactions WWW, citation networks

20 Non pesato Pesato 4 4 1 1 2 2 3 3 protein-protein interactions, www
Call Graph, metabolic networks

21 auto-archi multigrafo 4 4 1 1 2 2 3 3 Protein interaction network, www
Social networks, collaboration networks

22 Completo (K4) 4 1 2 3 Actor network, protein-protein interactions

23 I grafi reali WWW Protein Interactions Collaboration network
multigrafo diretto, auto-archi Protein Interactions Indiretto non pesato con auto-archi Collaboration network Indiretto, multigrafo, pesato Chiamate a telefonia Diretto, pesato Collegamenti Facebook Indiretto

24 Grafo bipartito Nodi suddivisi in due gruppi Grafi completi bipartiti
Nessun arco ammesso nello stesso gruppo Grafi completi bipartiti Hollywood actor network Collaboration networks Disease network (diseasome)

25 Goh, Cusick, Valle, Childs, Vidal & Barabási, PNAS (2007)
GENOME PHENOME DISEASOME Goh, Cusick, Valle, Childs, Vidal & Barabási, PNAS (2007)

26 Sottografo Un sottoinsieme W di V che include tutti gli archi in E relativi a W

27 Diade Sottografo di due nodi Dyad census: (D0,D1)

28 Diade Dyad census: (M,A,N) N numero di coppie senza archi
A numero di coppie con un solo arco M numero di coppie con più archi Dyad census: (M,A,N)

29 Triade Sottografo di dimensione 3

30 Triade Tryad census: il conteggio dei 16 tipi di grafi elencati sopra

31 Cammini Un cammino è una sequenza di nodi adiacenti (ovvero, collegati da un arco) 1.2 2.1 1.3.4 1.2.4

32 Cammini tra due nodi Nij numero di cammini tra i e j  

33 Raggiungibilità Se esiste un cammino da A a B, allora B è raggiungibile da A Se ogni vertice è raggiungibile da un altro, allora il grafo è connesso

34 Componenti connesse Una componente connessa di un grafo indiretto è un sottografo massimale connesso B A C D

35 Componenti connesse Se ogni nodo di un digrafo è raggiungibile da un altro, allora il grafo è fortemente connesso Se ogni nodo di un digrafo è raggiungibile da un altro senza considerare il verso degli archi, allora il grafo è debolmente connesso Una componente connessa (debolmente/fortemente) è un sottografo massimale (debolmente/fortemente) connesso

36 Connettività, componenti
La matrice di adiacenza di un grafo con molte componenti può essere rappresentata a blocchi

37 La componente gigante Una componente che racchiude la maggior parte del grafo

38 Distanza La distanza geodetica (geodesic path) tra due nodi è il cammino di lunghezza minima tra questi due nodi *se i due nodi sono sconnessi, la distanza è infinita Nei digrafi il verso conta La distanza tra A e B può essere diversa da quella tra B e A B A C D B A C D

39 Diametro, distanza media
dmax la distanza massima tra una coppia di nodi nel grafo. Distanza media, <d>, per un grafo connesso: dij è la distanza tra i e j Su un grafo indiretto, dij =dji , quindi

40 N L <k> (Sorgente: : The structure and function of complex networks, M. E. J. Newman, SIAM Review 45, (2003) ,

41 Misure su grafi

42 Cutpoints Un vertice è un cutpoint se la sua rimozione aumenta le componenti di un grafo

43 Ponti Un arco è un bridge (ponte) se la sua rimozione aumenta le componenti Grafo senza ponti

44 Connettività La connettività di un grafo G è il minimo numero di nodi che bisogna eliminare per rendere il grafo disconnesso

45 Connettività (archi) Il minimo numero di archi da eliminare per rendere il grafo disconnesso Edge-connectivity Connectivity

46 Centralità Il grado di centralità (potenziale di comunicazione) è il grado (normalizzato) di un nodo

47

48 Closeness Potenziale di comunicazione indipendente

49

50 Betweeness Il numero di cammini che contengono a

51

52 Coefficiente di clustering
Quanti dei tuoi vicini sono connessi da un arco? Alternativamente

53 Nodi su una linea

54 N L <k> (Sorgente: : The structure and function of complex networks, M. E. J. Newman, SIAM Review 45, (2003) ,

55 Degree distribution Degree distribution P(k): probabilità che un vertice scelto in maniera casuale abbia grado k Nk = # nodi di grado k P(k) = Nk / N k P(k) 0.6 0.5 0.4 0.3 0.2 0.1 1 2 3 4

56 Degree distribution e reti reali
Right-skewed Una coda lunga di valori molto lontani dal valore medio Complicata da misurare Istogrammi su scale esponenziali Power laws

57 Cumulative degree distribution
(Sorgente: : The structure and function of complex networks, M. E. J. Newman, SIAM Review 45, (2003)

58 Power laws Probabilità di un valore che varia in misura inversamente proporzionale ad una potenza di quel valore

59 Distribuzioni classiche

60 Distribuzioni power law

61 Distribuzioni power law
Poche città con una grande popolazione, molte città con una popolazione piccola 40 città della dimensione di New York 2700 città con meno di 110,000. Plottando l’istogramma, su scale logaritmiche, otteniamo una linea retta

62

63 Power law Possiamo rappresentare gli istrogrammi con
Se p(x) rappresenta la distribuzione tra x e x + dx E l’istogramma è una linea in scala log-log

64 Power law Piccole occorrenze estremamente comuni
Grandi occorrenze molto rare Occorrono in diversi fenomeni city populations Grado dei terremoti, crateri lunari, tempeste solari computer files Frequenze d’uso delle parole nel linguaggio umano Il numero di articoli che un ricercatore scrive Il numero di citazioni di un articolo Il numero di link di una pagina web Le vendite di un libro …

65 Power law: Social networks
Numero di azioni che un utente compie (digg) Numero di amicizie (flixster)

66 Plottare le power-laws
α = 2.5 Istogramma con equal binning

67 La scala lineare La relazione power-law non apparente
Ha senso se si guarda a pochi bin Range limitato Intero range

68 Log-log plot Le potenze spaziate in maniera uniforme
1 2 3 10 20 30 100 200 20=1, 21=2, 22=4, 23=8, 24=16, 25=32, 26=64, ….

69 ln (# di occorrenze di x)
Log-log plot Metodo più comune Non necessariamente accurato ln (# di occorrenze di x) ln(x)

70 Plottare le power laws Molte osservazioni quando x < 10
Rumore sulla coda, molta variabilità

71 Logarithmic binning La size dei bin aumenta in progressione geometrica
0.1, 0,2, 0.4, …. Normalizzazione: il numero di elementi in un intervallo di ampiezza Δx va diviso per Δx stesso per rendere il conteggio unitario Il dato normalizzato diventa indipendente dall’ampiezza

72 Plottare le power laws Logarithmic binning Ancora rumore

73 Distribuzione cumulativa
Nessuna perdita di informazione P(x) = P(X>x) Il risultato è ancora una power-law con esponente α – 1.

74 Plottare le power laws Cumulative distribution

75 Power laws, Pareto distribution, Zipf's law
Le distribuzioni cumulative sono anche chiamate rank/frequency distributions. Le cumulative che seguono una powe law sono anche dette Zipf o Pareto “Zipf’s law” e“Pareto distribution” sono sinonimi di “power-law distribution”. Le differenze sono essenzialmente nel plot Zipf x sull’asse orizzontale, P(x) su quello verticale Pareto al contrario

76 Cumulative, rank/frequency
Si ordinano le misurazioni Si plotta il rank sulla misurazione

77 Stimare una power-law Va individuato il valore xmin da cui la power-law comincia xmin è maggiore di 0 Perché?

78 Stimare α dai dati Si trova lo slope direttamente dalla linea
Nell’esempio precedente, il logarithmic binning produce α = 2.26 ± 0.02 Si estrae l’esponente utilizzando la formula α = ± nell’esempio precedente

79 Esempi di power laws

80 N L <k> (Sorgente: : The structure and function of complex networks, M. E. J. Newman, SIAM Review 45, (2003) ,

81 Non tutto è una power law

82 Non tutto è una power law
Exponential tails Distribuzione cumulativa ancora esponenziale Semi-logarithmic plot

83 Maximum degree Il grado oltre il quale non ci sono più nodi
Su una power-law, otteniamo Stima approssimativa

84 Maximum degree Una stima più accurata
Un grafo con esattamente m vertici di grado k e nessun vertice di grado maggiore di k ha probabilità Probabilità che il grado più alto sia k

85 Resilience Studio della connettività
Se alcuni vertici sono rimossi, la lunghezza dei cammini aumenta Alcuni nodi divengono disconnessi Livello di resilience correlato alla distanza media Epidemiologia Robustezza ad attacchi

86 Uno studio World Wide Web Due strategie di removal
Un frammento di pagine Distribuzione Power-law Due strategie di removal Random Rimozione progressiva dei vertici di grado più alto

87 Risultato Cosa possiamo concludere?

88 Risultato Cosa possiamo concludere?
Alta tollerabilità ai “fallimenti” random Estrema vulnerabilità ai “fallimenti” degli hub