E FFICIENT S KYLINE Q UERYING WITH V ARIABLE U SER P REFERENCES ON N OMINAL A TTRIBUTES Gruppo 3 Alessandro Cangini (Relatore) Marco Casadio Valerio Sandri.

Presentazione sul tema: "E FFICIENT S KYLINE Q UERYING WITH V ARIABLE U SER P REFERENCES ON N OMINAL A TTRIBUTES Gruppo 3 Alessandro Cangini (Relatore) Marco Casadio Valerio Sandri."— Transcript della presentazione:

1 E FFICIENT S KYLINE Q UERYING WITH V ARIABLE U SER P REFERENCES ON N OMINAL A TTRIBUTES Gruppo 3 Alessandro Cangini (Relatore) Marco Casadio Valerio Sandri Raymond Chi-Wing Wong, Ada Wai-Chee Fu, Jian Pei, Yip Sing Ho, Tai Wong, Yubao Liu 1

2 S CENARIO Le attuali tecniche di valutazione dello skyline si basano sullordinamento fisso degli attributi. Esistono attributi il cui ordinamento non è prefissato e varia da utente a utente. E il caso degli attributi nominali. AutoPrezzoCilindrataColoreAlimentazione a13.5001400NeroGpl b18.0001600NeroGpl c23.0001800VerdeDiesel d19.5001400AzzurroDiesel e13.5001200NeroBenzina f26.0001600VerdeBenzina g19.5001600AzzurroDiesel h11.0001200RossoDiesel 2

3 S CENARIO Assumiamo che unauto sia universalmente migliore quanto inferiore è il prezzo e superiore la cilindrata. Questo non vale per gli attributi Colore e Alimentazione. Consideriamo, per ora, solo preferenze sullattributo colore. UtentePreferenzeSkyline BrianV > A > *{a,b,c,g,h} ChrisN > A > *{a,b,c,h} LoisR > *{a,b,c,g,h} PeterA > V > *{a,b,c,g,h} StewieN > A > R > *{a,b,c,h} Preferenze del genere si dicono preferenze implicite 3

4 S CENARIO - E SEMPIO Consideriamo le tuple: Se consideriamo solo gli attributi numerici: A > B, in quanto ha minore prezzo e maggiore cilindrata Tuttavia se consideriamo una preferenza del tipo I.e. una macchina Verde e preferibile ad una Nera A non domina più B in quanto e preferibile per Prezzo e Cilindrata, ma non per Colore. 4 AutoPrezzoCilindrataColoreAlimentazione A18.0001600NeroGpl B23.0001400VerdeDiesel Verde > Nero Come Facciamo???

5 D EFINIZIONE D EL P ROBLEMA Gli algoritmi tradizionali (tipo BBS) non sono applicabili: la funzione distanza, in questo caso, non è calcolata solamente su attributi numerici. Primo approccio: determinare gli skyline di tutte le possibili preferenze implicite. Numero di tutte le possibili preferenze implicite proporzionale a: Es. con 3 ( = m ) attributi nominali ognuno dei quali ha 40 ( = c ) possibili valori. Il numero totale di preferenze implicite è nellordine di 10 9. Problema : Trovare un modo efficiente di calcolare gli skyline su attributi nominali con preferenze utente variabili. O((c*c!) m ) 5

6 A NDIAMO OLTRE … Un primo tentativo è stato quello di adattare qualcosa di già esistente. Algoritmi quali BBS e NN richiedono, ad ogni nuova preferenza implicita, una generazione di un indice sullattributo categorico sul quale lalgoritmo lavora. Es. Supponiamo di avere 10.000 query con preferenze implicite. Per ognuna di esse bisogna calcolare lindice. Troppo oneroso!!! 6

7 SFS (S ORT -F IRST -S KYLINE ) E un algoritmo nel quale tutte le tuple sono ordinate con una funzione f di preferenza in base a un loro punteggio e lo skyline viene ricavato sulla base di tale ordinamento. Es. f come somma di tutte le dimensioni di un punto. Vale solo per attributi numerici totalmente ordinati. Se possiamo sfruttare la possibilità di variare i valori dei punteggi in base alle preferenze implicite, non abbiamo costi aggiuntivi in pre- processing e possiamo sfruttare solo raffinamenti sulle preferenze implicite e non più sugli attributi numerici. 7

8 SFS - ADAPTIVE Calcolo dello skyline senza preferenze implicite Calcolo del punteggio per ogni punto dello skyline AutoPrezzoCilindrataColore a13.5001400Nero b18.0001600Nero c23.0001800Verde d19.5001400Azzurro e13.5001200Nero f26.0001600Verde g19.5001600Azzurro h11.0001200Rosso AutoPunteggio a15.904 b18.204 c23.004 g19.704 h11.604 Punteggio calcolato come: Prezzo + (1800 – Cilindrata) + |Colore| Monotonicità HOW TO: per ogni valore dellattributo Colore si calcola uno skyline. Lo skyline totale si ottiene dallunione degli skyline parziali Unauto è ora più preferibile se Prezzo e Cilindrata sono inferiori. 8

9 SFS - ADAPTIVE Modifica del ranking in base ad una preferenza implicita e si ordina per valori crescenti di score. Si applica SFS coi valori modificati Poiché b > g, si elimina g ; lo skyline risultante è { a,b,c,h } Query: N > A > * N = 2, A = 1 e si ricalcola il punteggio AutoPunteggio h11.604 a15.902 b18.202 g19.703 c23.004 AutoPunteggio a15.904 b18.204 c23.004 g19.704 h11.604 AutoPunteggio a15.902 b18.202 c23.004 g19.703 h11.604 Per ogni nuova query occorrono (1)una nuova modifica del ranking; O(n) (2)un nuovo ordinamento; O(n*log n) (3)un nuovo check di dominanza. O (n 2 ) PROBLEMA : non scalabilità a fronte di skyline grandi ed alto numero di query… IT WORKS! INFATTIBILE!!! 9

10 IPO – TREE : P RESENTAZIONE (I MPLICIT P REFERENCE O RDER ) Idea di base : memorizzare alcuni risultati parziali che, combinati tra loro, generino il risultato richiesto. Come? IPO – tree : albero che memorizza risultati per certe combinazioni di preferenze implicite. Come lo usiamo? Esiste la possibilità di dividere la query in sotto-query più semplici e di trovare i relativi skyline. Questi risultati parziali saranno poi composti per formare il totale. 10

11 IPO – TREE : C OSTRUZIONE N > *V > *R > * Root A > * Φ S:{a,b,c,e,f,g,h} A = {} G > *D > *B > * Φ D > *G > * … Φ … …… A = {e,f} A = {} A = {e,f} A = {e,f,g} A = {g} 2.Ad ogni livello dellalbero ci sono i nodi relativi alle preferenze implicite di solamente un attributo (inclusa la preferenza nulla Φ). 1. Per ogni combinazione dei valori degli attributi categorici si calcola lo skyline sugli attributi numerici e questo si inserisce nella radice. 3. Le foglie contengono le tuple squalificate dallo skyline della radice per quella combinazione di preferenze implicite E con preferenze del tipo N > A > * ?? A = {e,f} A = {e,f,g} 11

12 IPO – TREE : P ROPRIETÀ DI MERGE Date due preferenze implicite su uno stesso attributo categorico e i rispettivi skyline 1. v 1 > v 2 > … > v x-1 > *e SKY 1 2. v x > *e SKY 2 Lo skyline relativo alla preferenza implicita v 1 > v 2 > … > v x-1 > v x > * (indicato con SKY 3 ) si calcola come SKY 3 = (SKY 1 SKY 2 ) PSKY 1 dove PSKY 1 è linsieme dei punti di SKY 1 che hanno valori in v 1, …, v x-1 (quelli esplicitati nella preferenza implicita) Oss : La definizione è ricorsiva su (1). 12

13 IPO – TREE : P ROPRIETÀ DI MERGE Es. Consideriamo le preferenze sul colore di Chris N > A > * A > * SKYA = {a,b,c,g,h} N > * SKYN = {a,b,c,h} PSKYN = {a,b} (SKYN SKYA) PSKYN = {a,b,c,h} UtentePreferenzeSkyline BrianV > A > *{a,b,c,g,h} ChrisN > A > *{a,b,c,h} LoisR > *{a,b,c,g,h} PeterA > V > *{a,b,c,g,h} StewieN > A > R > *{a,b,c,h} N > A > R > * / \ N > A > * R > * / \ N > * A > * IT WORKS!!! Come la mettiamo con le mie preferenze?! Molto Bene!!! 13

14 IPO – TREE : A PPLICAZIONE DEL MERGE N > *V > *R > * Root A > * Φ G > *D > *B > *Φ D > *G > * Φ A = {e,f} A = {g} A = {e,f,g} S:{a,b,c,e,f,g,h} A = {} A = {e,f} N > *, B > * A > *, B > * SKY1 = {a,b,c,e,f,h} PSKY1 = {e} SKY2 = {a,b,c,e,f,g,h} N > A > *, B > * MERGE: SKY3 = {a,b,c,e,f,h} A = {e,f,g} 14

15 IPO – TREE : D IMENSIONE Lalbero così creato ha un numero di nodi proporzionale a: Es. con 3 ( = m ) attributi nominali ognuno dei quali ha 40 ( = c ) possibili valori. Il numero totale di nodi è nellordine di 10 4. Oss : la generazione di tutte le preferenze implicite e nellordine di 10 9. O(c m ) Che risparmio!!! 15

16 R ISULTATI C OMPUTAZIONALI Misuriamo lefficienza confrontandola con SFS-A su di un Dataset Reale (Nursery Dataset from UCI Machine Learning Repository) in termini di: Memoria impiegata. Costo temporale in fase di preparazione (preprocessing) Costo temporale in fase di esecuzione (query time) Parametri di Riferimento: DB Size Numero di attributi non nominali Ordine delle preferenze implicite delle query 16

17 R ISULTATI C OMPUTAZIONALI Misuriamo lefficienza in termini di Memoria impiegata Costo temporale in fase di preparazione (preprocessing) Costo temporale in fase di esecuzione (query time) 17 DB size Numero di attributi non nominali Ordine delle preferenze implicite delle query

18 R ISULTATI C OMPUTAZIONALI Misuriamo lefficienza in termini di Memoria impiegata Costo temporale in fase di preparazione (preprocessing) Costo temporale in fase di esecuzione (query time) 18 DB size Numero di attributi non nominali Ordine delle preferenze implicite delle query

19 R ISULTATI C OMPUTAZIONALI Misuriamo lefficienza in termini di Memoria impiegata Costo temporale in fase di preparazione (preprocessing) Costo temporale in fase di esecuzione (query time) 19 DB size Numero di attributi non nominali Ordine delle preferenze implicite delle query

20 C ONCLUSIONI E S VILUPPI F UTURI A fronte di una maggiore costo in fase di pre- processing e in termini di memoria impiegata, si hanno notevoli miglioramenti a run-time Maggiore efficienza! Sviluppi futuri: Aggiornamento IPO-tree; Studio di metodologie alternative (introdurre negli attuali algoritmi di skyline il concetto di attributo nominale qualora ne siano sprovvisti). 20

21 G RUPPO 3 - FINE 21 Alessandro Cangini (Relatore) Marco Casadio Valerio Sandri