Clustering Mercoledì, 24 novembre 2004 Giuseppe Manco Readings: Chapter 8, Han and Kamber Chapter 14, Hastie, Tibshirani and Friedman Density-Based Clustering.

Slides:



Advertisements
Presentazioni simili
Algoritmi e Strutture Dati
Advertisements

Introduzione Teoria degli insiemi Relazioni Funzioni
Master Bioinformatica 2002: Grafi Problema: cammini minimi da tutti i vertici a tutti i vertici Dato un grafo pesato G =(V,E,w), trovare un cammino minimo.
UNIVERSITA’ DI MILANO-BICOCCA LAUREA MAGISTRALE IN BIOINFORMATICA
Algoritmi e Strutture Dati
Sistemi di supporto alle decisioni 4. Clustering
Alberi binari di ricerca
Capitolo 3 Strutture dati elementari Algoritmi e Strutture Dati Camil Demetrescu, Irene Finocchi, Giuseppe F. Italiano.
Algoritmi e Strutture Dati
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 1 Usa la tecnica del.
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 1 Ordinamenti ottimi.
Algoritmi e Strutture Dati
Algoritmi e Strutture Dati
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 1 Ordinamenti lineari.
Capitolo 4 Ordinamento Algoritmi e Strutture Dati.
Algoritmi e Strutture Dati
Capitolo 4 Ordinamento Algoritmi e Strutture Dati Camil Demetrescu, Irene Finocchi, Giuseppe F. Italiano.
Capitolo 3 Strutture dati elementari Algoritmi e Strutture Dati.
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 1 Ordinamenti lineari.
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 1 Usa la tecnica del.
Algoritmi e Strutture Dati Capitolo 2 Modelli di calcolo e metodologie di analisi.
Algoritmi e Strutture Dati
Apprendimento Non Supervisionato
Apprendimento Automatico: Apprendimento Pigro (Lazy Learning)
U V U V (a) |cfc|=2 prima e dopo (b) |cfc|=2 prima e |cfc|=1 dopo
Capitolo 13 Cammini minimi: Algoritmo di Floyd e Warshall Algoritmi e Strutture Dati.
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Capitolo 12 Minimo albero ricoprente: Algoritmi di Prim e di Borůvka Algoritmi.
Algoritmi e Strutture Dati
Capitolo 4 Ordinamento: Selection e Insertion Sort Algoritmi e Strutture Dati.
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Capitolo 12 Minimo albero ricoprente: Algoritmi di Prim e di Borůvka Algoritmi.
Algoritmi e Strutture Dati
Capitolo 4 Ordinamento: Selection e Insertion Sort Algoritmi e Strutture Dati.
Capitolo 4 Ordinamento: Selection e Insertion Sort Algoritmi e Strutture Dati.
Ricerca della Legge di Controllo
Seminario su clustering dei dati – Parte II
Seminario su clustering dei dati – Parte II
D2I - Tema 3 Analysis and comparison of methods and algorithms for data mining.
Progettazione dei sistemi interattivi (A.A. 2004/05) - Lezione 3 1 La relazione di ereditarietà Punto di vista insiemistico: la relazione di ereditarietà
Lezione 5 Domande: Laverage path length di Chord con 2^b identificatori e N=2^b nodi è (giustificare la risposta) Laverage path length di Chord con 2^b.
Sottoinsiemi disgiunti
Alberi ricoprenti minimi Alcune applicazioni Lunedì 17 novembre 2003.
Instance Based Learning Mercoledì, 17 novembre 2004 Giuseppe Manco Readings: Chapter 8, Mitchell Chapter 7, Han & Kamber Instance-Based Learning (IBL):
Chapter 14, Hastie , Tibshirani and Friedman
Chapter 14, Hastie , Tibshirani and Friedman
Clustering Martedì, 30 novembre 2004 Giuseppe Manco Readings: Chapter 8, Han and Kamber Chapter 14, Hastie, Tibshirani and Friedman Clustering Lecture.
Elementi di Informatica di base
Lezioni di Ricerca Operativa Corso di Laurea in Informatica
Prof. Cerulli – Dott.ssa Gentili
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 1 K 4 è planare? Sì!
CLUSTERING WITH WEKA Branca Stefano Dosi Clio Gnudi Edward William.
Capitolo 3 Strutture dati elementari Algoritmi e Strutture Dati Camil Demetrescu, Irene Finocchi, Giuseppe F. Italiano.
Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Capitolo 12 Minimo albero ricoprente: Algoritmi di Prim e di Borůvka Algoritmi.
Voronoi-Based K Nearest Neighbor Search for Spatial Network Databases
ROCK A Robust Clustering Algorithm for Categorical Attributes Sudipto Guha, Rajeev Rastogi, Kyuseok Shim Sistemi Informativi per le Decisioni a.a. 2005/2006.
Metaclassificazione Giovedì, 18 novembre 2004 Francesco Folino ( Combinare Classificatori Lecture 8.
Algoritmi di classificazione e reti neurali Seminario su clustering dei dati Università Sapienza di Roma Dipartimento di ingegneria Informatica, Automatica.
Heap concetti ed applicazioni. maggio 2002ASD - Heap2 heap heap = catasta condizione di heap 1.albero binario perfettamente bilanciato 2.tutte le foglie.
Capitolo 12 Minimo albero ricoprente Algoritmi e Strutture Dati.
Voronoi-Based K Nearest Neighbor Search for Spatial Network Databases1 GRUPPO 13: Relatore: Mengoli Dario Mengoli Dario Rovatti Fabrizio Tassoni Davide.
Sistemi basati su conoscenza Metodi di ricerca informata Prof. M.T. PAZIENZA a.a
Dipartimento di Ingegneria dell’Informazione Università degli Studi di Parma Intelligenza Artificiale Risoluzione dei Problemi (parte 2) Agostino Poggi.
Algoritmi e Strutture Dati
Capitolo 13 Cammini minimi Algoritmi e Strutture Dati.
CURE: AN EFFICIENT CLUSTERING ALGORITHM FOR LARGE DATABASES GRUPPO 12 Filippo Bindi Massimiliano Ceccarini Andrea Giuliodori PRESENTAZIONE Sistemi Informativi.
Algoritmi e Strutture Dati
Cammini minimi fra tutte le coppie:
1 “Efficient Algorithms for Mining Outliers from Large Data Sets” Articolo di S. Ramaswamy, R. Rastogi, K. Shim Presentazione a cura di Marcolini Serena,
Capitolo 12 Minimo albero ricoprente: Algoritmo di Kruskal Algoritmi e Strutture Dati.
AA LEZ 26Sistemi per la Gestione Aziendale - Prof. Giuseppe Zollo1 Sistemi per la Gestione Aziendale. AA Ingegneria Gestionale (LS) Facoltà.
Cluster Analysis: concetti di base e algoritmi
Transcript della presentazione:

Clustering Mercoledì, 24 novembre 2004 Giuseppe Manco Readings: Chapter 8, Han and Kamber Chapter 14, Hastie, Tibshirani and Friedman Density-Based Clustering Lecture 11

Clustering Clustering basato su densità Idea di base: –I cluster sono regioni ad alta densità –I cluster sono separati da regioni a bassa densità Perché clustering basato su densità? –Algoritmo k-means e varianti inadeguati con clusters strutturati diversamente

Clustering Concetti di base Idea –Ogni punto in un cluster è caratterizzato da una densità locale –Linsieme dei punti in un cluster è connesso spazialmente Densità locale –Intorno –MinPoints Numero minimo di punti richiesti in N (x) Un oggetto q è un core-object se, dati e MinPts, MinPts=5

Clustering Concetti di base [2] p è raggiungibile da q se –q è un core-object –p N (q) Chiusura transitiva p connesso a q se –Esiste o –p e q sono raggiungibili da o

Clustering Concetti di Base [3] Cluster –Sottoinsieme S D Massimale: se p S e q è raggiungibile da p allora q S Connesso: ogni oggetto in S è connesso agli altri oggetti in S Clustering –Partizione di D = [S 1 ;…,S n ;N] S 1 ;…,S n clusters N outliers Core Bordo Outlier = 1cm MinPts = 5

Clustering Lalgoritmo DBScan Assunzione fondamentale –Ogni oggetto in un cluster S è raggiungibile da un qualsiasi core-object –Gli outliers non sono raggiungibili dai core-objects –Passo 4: gli y raccolti tramite una serie di queries di neighborhood 1.FOR EACH x D 2.IF x non appartiene a nessun cluster 3.IF x è un core-object 4.S x = {y| y raggiungibile da x} ELSE 5.N = N {x}

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio =2cm MinPts =3

Clustering DBScan: esempio

Clustering DBScan: Proprietà Complessità computazionale –Senza supporto alle queries di neighborhood: O(n 2 ) O(n) per ogni query –Supporto basato su strutture ad albero (alberi metrici, R-tree, ecc): O(n log n) O(log n) per ogni query –Accesso diretto ai Neighbors: O(n) O(1) per ogni query Confronti Run-time

Clustering Come si determinano i parametri ottimali? Cluster –Insieme di oggetti di densità alta –Dipende da e MinPts Idea: Stimiamo i parametri con la densità di ogni oggetto k-distance(x): la distanza dal suo k-esimo neighbor Euristica: fissiamo MinPts, scegliamo come punto di taglio

Clustering Sommario Clustering basato su densità –Vantaggi Clusters di dimensione e forma arbitraria Numero di clusters non predeterminato Ben supportato da indici spaziali Determina automaticamente il rumore e gli outliers –Svantaggi Difficile determinare i parametri giusti In alcuni casi molto sensibile ai parametri