[PPT] - M a s s i v e S c a l e - o u t o f E x p e n PowerPoint Presentation

SLIDE 1

M a s s i v e S c a l e

u

t

f

E x p e n s i v e C

n

t i n u

u

s Q u e r i e s

E r i k Z e i t l e r a n d T

r

e R i s c h D e p a r t m e n t

f

I n f

r

m a t i

n

T e c h n

l
g

y U p p s a l a U n i v e r s i t y P r e s e n t e d b y H a i k a l P r i b a d i

SLIDE 2

M a s s i v e S c a l e

u

t

f

E x p e n s i v e C

n

t i n u

u

s Q u e r i e s

M

t

i v a t i

n

a n d C

n

t r i b u t i

n

S p l i t s t r e a m f u n c t i

n

s S t r e a m p r

c

e s s e s i n d i s t r i b u t e d e n v i r

n

m e n t E v a l u a t i

n

R e l a t e d a n d f u t u r e w

r

k

SLIDE 3

M

t

i v a t i

n

a n d C

n

t r i b u t i

n

SLIDE 4

M

t

i v a t i

n

R e a l t i m e d e c i s i

n

m a k i n g

– S

c i e n t i f i c c

m

p u t i n g , e n g i n e e r i n g , n e t w

r

k t r a f f i c , p h

n

e c

n

v e r s a t i

n

s , A T M t r a n s a c t i

n

s , w e b s e a r c h e s , a n d s e n s

r

d a t a

Q u e r i e s

f

m a s s i v e d a t a s t r e a m s E x p e n s i v e c

m

p u t a t i

n

R e q u i r e s s p l i t t i n g s t r e a m i n t

p

a r a l l e l s u b s t r e a m s

SLIDE 5

P r

b

l e m w i t h s t r e a m s p l i t t i n g

B e c

m

e s a b

t

t l e n e c k f

r

i n p u t s s t r e a m s

f

H i g h v

l

u m e C

m

p l e x p a r a l l e l i z a t i

n

c

n

d i t i

n

M a s s i v e p a r a l l e l i z a t i

n
f

q u e r y

p

e r a t

r

s

SLIDE 6

C

n

t r i b u t i

n

P a r a s p l i t A s p l i t s t r e a m f u n c t i

n

E l i m i n a t e s b

t

t l e n e c k

f

s t r e a m s p l i t t i n g

– P

a r a l l e l i z e s t r e a m s p l i t t i n g

p

e r a t

r

A c h i e v e s m a x r a t e

f

n e t w

r

k b

u

n d

SLIDE 7

I n p u t s t r e a m S S p l i t i n t

q

p a r a l l e l s t r e a m Q u e r y

p

e r a t

r

Q a r e e x e c u t e d

n

s u b s t r e a m s S u b s t r e a m s m a p t

p

a r a l l e l C P U s : P Q

j

, j = 1 . . q T u p l e s i n a s p l i t s t r e a m m a y b e :

– p

a r t i t i

n

e d

– r

e p l i c a t e d

C

n

c e p t : d a t a p a r a l l e l s t r e a m p r

c

e s s i n g

SLIDE 8

S t r e a m F u n c t i

n

s

SLIDE 9

S p l i t s t r e a m f u n c t i

n

b a s i c s i g n a t u r e

S p l i t s t r e a m ( s t r e a m s , i n t e g e r q , f u n c t i

n

r f n , f u n c i

n

b f n ) v e c t

r
f

s t r e a m s v → s : i n p u t s t r e a m q :

u

t p u t s p l i t r f n : r

u

t i n g f u n c t i

n

b f n : b r

a

d c a s t f u n c t i

n

SLIDE 10

SLIDE 11

P r

b

l e m : r

u

t i n g a n d b r

a

d c a s t f u n c t i

n

s b e c

m

e b

t

t l e n e c k s

n

h i g h v

l

u m e s t r e a m s

SLIDE 12

P a r a s p l i t f u n c t i

n

P a r a s p l i t ( s t r e a m s , i n t e g e r q , f u n c t i

n

r f n , f u n c i

n

b f n ) v e c t

r
f

s t r e a m s v → E l i m i n a t e s t h e t h e b

t

t l e n e c k b y s c a l i n g

u

t e x e c u t i

n
f

r f n a n d b f n i n a d d i t i

n

t

Q

D y n a m i c a l l y c r e a t e s d i s t r i b u t e d e x e c u t i

n

p l a n f

r

s t r e a m p r

c

e s s e s

SLIDE 13

P a r a s p l i t f u n c t i

n

Wi n d

w

r

u

t e r , P R : r a n d

m

l y s p l i t s s t r e a m w i n d

w

s i n t

p

p a r a l l e l s u b s t r e a m

– R

a n d

m

r

u

t i n g e l i m i n a t e s d e l a y

– Wi

n d

w

s i z e c a n b e c

n

f i g u r e d w i t h h i g h v

l

u m e

Wi n d

w

s p l i t t e r , P S : s p l i t s s u b t r e a m s a c c

r

d i n g t

s

p l i t f u n c t i

n

s ( r f n a n d b f n ) Q u e r y p r

c

e s s

r

P Q

j

: m e r g e s a l l r e c e i v e d s u b s t r e a m s i n t

a

l

c

a l s t r e a m w h e r e q u e r y

p

e r a t

r

Q w i l l b e e x e c u t e d . O r d e r

f

t u p l e s a r e m a i n t a i n e d t h r

u

g h t h e i r t i m e s t a m p .

SLIDE 14

SLIDE 15

S t r e a m p r

c

e s s e s f

r

d i s t r i b u t e d e n v i r

n

m e n t

SLIDE 16

O p e r a t

r

s i n a s t r e a m p r

c

e s s

M e r g e s e v e r a l s t r e a m s i n t

n

e C

m

p u t e a c

n

t i n u

u

s s u b

p

l a n

v

e r s t r e a m S p l i t s t r e a m i n t

m
d

u l e s b e i n g p a r t i t i

n

e d

r

r e p l i c a t e d

SLIDE 17

C

s

t m

d

e l f

r

S t r e a m P r

c

e s s e s

c r : r e a d i n g a n i n p u t t u p l e c p : p

l

l i n g i n p u t s t r e a m s c m : m e r g i n g i n p u t s t r e a m s u : n u m b e r

f

i n p u t s t r e a m s c q : c

m

p u t a t i

n

c

s

t

n

m e r g e d s t r e a m σ: s e l e c t i v i t y

f

s u b

p

l a n c s : s p l i t t i n g m

d

u l e s p e r t u p l e c e : e m i t t i n g a t u p l e t

a

n

u

t p u t s t r e a m

SLIDE 18

C

s

t m

d

e l f

r

S t r e a m p r

c

e s s e s

Wi n d

w

r

u

t e r ( P R ) C

P R

= c r

W

+ c s

W

+ c e

W

Wi n d

w

S p l i t t e r C

P S

= c r

W

+ c s (

+

r + q . b ) + c e ( r + q . b ) Q u e r y P r

c

e s s

r

C

P Q

= c r + p . ( c p + c m ) + O

SLIDE 19

H e u r i s t i c f

r

a u t

m

a t i c p a r a l l e l i z a t i

n

ΦP

R

: m a x s t r e a m r a t e f

r

P R ΦP

S

: m a x s t r e a m r a t e f

r

P S ( n b : p a r a l l e l i z e d ) ΦP

Q

: m a x s t r e a m r a t e f

r

P Q ( n b : p a r a l l e l i z e d ) ΦP

A R A S P L I T

= m i n ( ΦP

R,

ΦP

S,

ΦP

Q)

SLIDE 20

H e u r i s t i c f

r

a u t

m

a t i c p a r a l l e l i z a t i

n

Wi n d

w

r

u

t e r

– L

a r g e w i n d

w

s i z e , l e s s c

m

m u n i c a t i

n

– D

e t e r m i n e w i n d

w

s i z e

– P

r

f

i l e t h e c l u s t e r w i t h d i f f e r e n t w i n d

w

s i z e s

Wi n d

w

s p l i t t e r

– P

a r a l l e l i z a t i

n

x S P r a t e > = D e s i r e d r a t e

– C

n

s i d e r C

P S

a n d C

P Q

t

c

a l c u l a t e

p

t i m a l p a r a l l e l i z a t i

n
v

e r c

s

t

SLIDE 21

E v a l u a t i

n

SLIDE 22

A c h i e v i n g n e t w

r

k b

u

n d

SLIDE 23

S c a l e

u

p c

m

p a r i s

n

– w r t M a x T r e e

SLIDE 24

P a r a s p l i t E f f i c i e n c y

SLIDE 25

L i n e a r R

a

d B e n c h m a r k

SLIDE 26

F u t u r e w

r

k

SLIDE 27

F u t u r e Wo r k

S c a l i n g

u

t p a r a l l e l d a t a b a s e

– C

m

b i n e h i g h v

l

u m e

f

i d l e d a t a

A d a p t i v e p a r a l l e l i z a t i

n

S c h e d u l i n g

f

e x e c u t i

n
v

e r s t r e a m s

SLIDE 28

C

m

m e n t s a n d C r i t i c i s m s

C

s

t m

d

e l e q u a t i

n

c

e

f f i c i e n t s s h

u

l d b e w e l l d e f i n e d a n d e x p l a i n e d O p t i m i z a t i

n
f

c

s

t m

d

e l e q u a t i

n

i s a v i t a l t

p

i c

f

d i s c u s s i

n

, m

r

e d e t a i l

n

t h e m a t t e r w

u

l d b e u s e f u l

SLIDE 29

T h a n k y

u