[PPT] - O p t i mi z i n g A c c e s s A c r o s s Mu l PowerPoint Presentation

SLIDE 1

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M ā n

a

· M a y 2 1 1

O p t i mi z i n g A c c e s s A c r

s

s Mu l t i p l e H i e r a r c h i e s i n D a t a Wa r e h

u

s e s Q u e r y R e w r i t i n g

S t u d e n t : D a t e : S u p e r v i s

r

: J a d e C h e n g Ma y 2 , 2 1 1 D r . L i p y e

w

L i m , P h D

SLIDE 2

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

D a t a Wa r e h

u

s i n g O L A P d a t a m a r t c

n

s i s t s

f

a f a c t t a b l e a n d s e v e r a l d i m e n s i

n

s . E a c h d i m e n s i

n

i s a s s

c

i a t e d w i t h m u l t i p l e c

m

p l e x a n d u n b a l a n c e d h i e r a r c h i e s .

I n t r

d

u c t i

n

SLIDE 3

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

P r i m a r y H i e r a r c h i e s A s e t

f

p r i m a r y h i e r a r c h i e s a r e d e f i n e d

n

e a c h c

m

m

n

f a c t t a b l e .

I n t r

d

u c t i

n

SLIDE 4

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

A p p l i c a t i

n
S

p e c i f i c H i e r a r c h i e s A l a r g e n u m b e r

f

a p p l i c a t i

n
s

p e c i f i c h i e r a r c h i e s e x i s t s .

I n t r

d

u c t i

n

SLIDE 5

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

C u r r e n t S t r a t e g y P r e

c
m

p u t e a g g r e g a t e s f

r

s

m

e i n t e r n a l n

d

e s

f

s p e c i f i c a p p l i c a t i

n

h i e r a r c h i e s .

I n t r

d

u c t i

n

P r

b

l e m s w i t h T h i s S t r a t e g y 1 . T h i s p r e

c
m

p u t a t i

n

i s u n f e a s i b l e f

r

a l l i n t e r n a l n

d

e s

f

a l l a p p l i c a t i

n

h i e r a r c h i e s . 2 . O L A P q u e r y e n g i n e s c a n n

t

e x p l

i

t p r e c

m

p u t e d a g g r e g a t e s a c r

s

s h i e r a r c h i e s .

SLIDE 6

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

P h a s e I – O v e r l a p D i s c

v

e r y , O f f

l

i n e D i s c

v

e r & s t

r

e

v

e r l a p p i n g r e l a t i

n

s h i p s i n t h e h i e r a r c h i e s

f

a n O L A P e n v i r

n

m e n t . I n p u t : A p r i m a r y h i e r a r c h y . A s e t

f

a p p l i c a t i

n
s

p e c i f i c h i e r a r c h i e s . O u t p u t : A c a t a l

g

t a b l e c

n

t a i n i n g t h e

v

e r l a p p i n g i n f

r

m a t i

n

b e t w e e n h i e r a r c h i e s . E x a m p l e c a t a l

g

t a b l e :

geography-hierarchy-Asia project-hierarchy-Project1 : :

P r

p
s

e d S

l

u t i

n

SLIDE 7

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

P h a s e I I – Q u e r y R e w r i t e , O n

l

i n e R e w r i t e q u e r i e s u s i n g t h e d i s c

v

e r e d r e l a t i

n

s h i p s . I n p u t : A n a g g r e g a t i

n

q u e r y . A n a p p l i c a t i

n
s

p e c i f i c h i e r a r c h y . T h e c a t a l

g

t a b l e . O u t p u t : A n a l t e r n a t e q u e r y f

r

m u l a t i

n

. A s s u m p t i

n

: C a t a l

g

t a b l e s t

r

e s t h e p r e

c
m

p u t e d

v

e r l a p p i n g s u b

h

i e r a r c h i e s . T a s k s : F i r s t , f i n d s a l l

v

e r l a p p i n g s u b

h

i e r a r c h i e s s h a r e d w i t h e v a l u a t e d f

r

e s t . S e c

n

d , a l t e r t h e i n p u t q u e r y b y r e p l a c i n g t h e c a c h e d s u b

h

i e r a r c h i e s .

P r

p
s

e d S

l

u t i

n

SLIDE 8

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

S y n t h e t i c F

r

e s t G e n e r a t i n g Mo d u l e ( f r

m

D r . L i m ) G e n e r a t e s a p p l i c a t i

n
s

p e c i f i c h i e r a r c h i e s a s a n X ML f i l e . O v e r l a p p i n g D i s c

v

e r i n g Mo d u l e ( f r

m

D r . L i m ) R e t u r n s a l i s t

f

n

d

e p a i r s i n d i c a t i n g t h e r

t

s

f

m a x i m a l

v

e r l a p p i n g s u b

h

i e r a r c h i e s . Q u e r y R e w r i t i n g Mo d u l e C h e c k s f

r

a l l p

s

s i b l e r e w r i t e s a n d r e t u r n s a n a l t e r e d a g g r e g a t i

n

q u e r y f

r

m u l a t i

n

. R a n d

m

Q u e r y G e n e r a t i n g Mo d u l e G e n e r a t e s q u e r i e s w i t h s p e c i f i e d s i z e a n d

v

e r l a p p i n g a g a i n s t p r e

c
m

p u t e d a g g r e g a t e s . B e n c h m a r k Mo d u l e C

n

n e c t s t

a

My S Q L d a t a b a s e , e x e c u t e s n u m e r

u

s q u e r i e s , a n d c

l

l e c t s a n a l y s i s d a t a .

P r

g

r a m M

d

u l e s

SLIDE 9

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

C r e a t e T a b l e

CREATE TABLE db1.table1 ( id INTEGER NOT NULL DEFAULT NULL AUTO_INCREMENT, name TEXT CHARACTER SET latin1 NOT NULL, value INTEGER NOT NULL, PRIMARY KEY (id)) ENGINE = MyISAM ROW_FORMAT = DYNAMIC; INSERT INTO table1 (name, value) VALUES ('L57', 36);

B e n c h m a r k s P r e p a r a t i

n

F

r

a g i v e n c a t a l

g

t a b l e , a l l l e a v e s ( e . g .

L57)

a r e i n s e r t e d w i t h d u m m y d a t a ( e . g .

36)

. F

r

a g i v e n s e t

f

r a n d

m

l y g e n e r a t e d q u e r i e s , a l l n e c e s s a r y l e a v e s a r e i n s e r t e d . Mo r e d u m m y d a t a i s i n s e r t e d , a n d a l l d a t a i s s h u f f l e d t

a

v

i

d s e q u e n t i a l a c c e s s . P

p

u l a t e T a b l e

SLIDE 10

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

P

p

u l a t e C a c h e

SELECT value FROM table1 WHERE name = 'L57';

B e n c h m a r k s P r e p a r a t i

n

F

r

a g i v e n c a t a l

g

t a b l e q u e r y a l l l e a v e s f

r

e v e r y s h a r e d s u b

h

i e r a r c h y , a g g r e g a t e

“value”,

s t

r

e t h e s u m f

r

e a c h s h a r e d s u b

h

i e r a r c h y i n m e m

r

y . Q u e r y T a b l e a n d R e c

r

d T i m i n g D a t a F

r

a g i v e n a g g r e g a t i

n

q u e r y , q u e r y a l l l e a v e s , a g g r e g a t e

“value”,

r e t u r n t h e s u m . T h i s i s d

n

e

n

b

t

h t h e r a w q u e r y a n d t h e r e

w

r i t t e n q u e r y . T w

r

e s u l t s a r e v e r i f i e d t

b

e t h e s a m e .

SLIDE 11

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n s i z e a n d h a v e s m a l l

v

e r l a p w i t h t h e c a t a l

g

t a b l e . R e

w

r i t i n g q u e r i e s d

e

s n

t

d

m

i n a t e t h e q u e r y e x e c u t i

n

t i m e . Q u e r i e s w i t h a s m a l l

v

e r l a p p r

p

e r t y d

n
t

t a k e a d v a n t a g e

f

t h e c a t a l

g

t a b l e .

SLIDE 12

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

T h e b e n e f i t

f

r e

w

r i t i n g q u e r i e s b e c

m

e s a p p a r e n t . R e

w

r i t t e n q u e r i e s e x e c u t e d n

t

i c e a b l y f a s t e r . Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n s i z e a n d h a v e m e d i u m

v

e r l a p w i t h t h e c a t a l

g

t a b l e .

SLIDE 13

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n s i z e a n d h a v e l a r g e

v

e r l a p w i t h t h e c a t a l

g

t a b l e . T h e r e

w

r i t t e n q u e r i e s e x e c u t e d c

n

s i d e r a b l y f a s t e r t h a n t h e r a w q u e r i e s . T h e a m

u

n t

f

t i m e s p e n t t

r

e

w

r i t e a q u e r y s t a y s t h e s a m e a n d d

e

s n

t

d

m

i n a t e .

SLIDE 14

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n s i z e a n d h a v e v a r y i n g

v

e r l a p w i t h t h e c a t a l

g

t a b l e .

SLIDE 15

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n

v

e r l a p p i n g p e r c e n t a g e a n d h a v e a s m a l l s i z e . R e

w

r i t i n g q u e r i e s d

e

s n

t

d

m

i n a t e t h e q u e r y e x e c u t i

n

t i m e . Q u e r i e s w i t h s m a l l s i z e s d

n
t

t a k e a d v a n t a g e

f

t h e c a t a l

g

t a b l e .

SLIDE 16

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n

v

e r l a p p i n g p e r c e n t a g e a n d h a v e a l a r g e s i z e . Q u e r y r e

w

r i t i n g s i g n i f i c a n t l y i m p r

v

e s t h e p e r f

r

m a n c e

f

l a r g e a g g r e g a t i

n

q u e r i e s .

SLIDE 17

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

B e n c h m a r k R e s u l t s

Q u e r y D a t a b a s e Q u e r i e s a r e f i x e d i n

v

e r l a p p i n g p e r c e n t a g e a n d h a v e v a r y i n g s i z e s

SLIDE 18

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

C

n

c l u s i

n

s

P r

b

l e m I d e n t i f i e d U n c

n

t r

l

l e d p r

l

i f e r a t i

n
f

a p p l i c a t i

n

h i e r a r c h i e s i n e n t e r p r i s e d a t a w a r e h

u

s e s . I n a b i l i t y

f

t h e O L A P q u e r y e n g i n e s t

e

x p l

i

t a g g r e g a t e s a c r

s

s d i f f e r e n t h i e r a r c h i e s . P r

p
s

e d S

l

u t i

n

F i n d h i e r a r c h y

v

e r l a p i n f

r

m a t i

n

f r

m

a n a p p l i c a t i

n
s

p e c i f i c h i e r a r c h y f

r

e s t . R e

w

r i t e a g g r e g a t i

n

q u e r i e s t

e

x p l

i

t

v

e r l a p s a n d u s e p r e

c
m

p u t e d a g g r e g a t e s .

SLIDE 19

J a d e C h e n g · I C S 6 2 4 F i n a l P r

j

e c t · U n i v e r s i t y

f

H a w a i ‘ i a t M " n

a

· M a y 2 1 1

C

n

c l u s i

n

s

P r e v i

u

s B e n c h m a r k Wo r k S h

w

e d t h a t f i n d i n g

v

e r l a p i n f

r

m a t i

n

i s f e a s i b l e . C u r r e n t B e n c h m a r k Wo r k Q u e r y r e

w

r i t i n g d

e

s n

t

d

m

i n a t e t h e e x e c u t i

n

t i m e

f

a g g r e g a t i

n

q u e r i e s . Q u e r y r e

w

r i t i n g s i g n i f i c a n t l y i m p r

v

e s t h e p e r f

r

m a n c e

f

q u e r i e s w i t h l a r g e

v

e r l a p s . Q u e r y r e

w

r i t i n g s i g n i f i c a n t l y i m p r

v

e s t h e p e r f

r

m a n c e

f

l a r g e q u e r i e s . P

s

s i b l e F u t u r e Wo r k P e r f

r

m e n d

t
e

n d e x p e r i m e n t a l e v a l u a t i

n

w i t h b

t

h p h a s e s . E x p e r i m e n t

n

l a r g e f

r

e s t w i t h l a r g e c a t a l

g

t a b l e t h a t r e q u i r e s s t

r

a g e i n d a t a b a s e . I m p r

v

e t h e c a c h i n g m e c h a n i s m , e . g . , t h e c a t a l

g

c a c h e s i n t e r m e d i a t e s u b

h