[PPT] - T o w a r d s a c o d e l e t - b a s e d r u PowerPoint Presentation

SLIDE 1

T

w

a r d s a c

d

e l e t

b

a s e d r u n t i me f

r

e x a s c a l e c

mp

u t i n g

C h r i s L a u d e r d a l e E T I n t e r n a t i

n

a l , I n c .

SLIDE 2

S l i d e 2

f

2 4

W h a t w i l l b e c

v

e r e d

P

r

b

l e m s & m

t

i v a t i

n
C
d

e l e t r u n t i m e

v

e r v i e w

C
d

e l e t s & c

m

p l e x e s

D

e a l i n g w i t h l

c

a l i t y & h e t e r

g

e n e i t y

R

e l a t e d w

r

k & c

n

c l u s i

n

SLIDE 3

S l i d e 3

f

2 4

I n t r

d

u c t i

n
C

a n ’ t r e a c h e x a s c a l e b y c

n

t i n u i n g p a s t t r e n d s

N

e e d s

m

e t h i n g t

E

x p

s

e a n d c

r

d i n a t e p a r a l l e l i s m

C
n

t r

l

d a t a a n d e x e c u t i

n

l

c

a l i t y

A

b s t r a c t p l a t f

r

m

a

n d l

c

a t i

n
s

p e c i f i c d e t a i l s

U

n i f y s

f

t w a r e i n t e r f a c e f

r

s u p e r c

m

p u t i n g

SLIDE 4

S l i d e 4

f

2 4

Ab s t r a c t ma c h i n e mo d e l

N

d

e N

d

e N

d

e C l u s t e r N

d

e N

d

e R A M G P U / a c c e l . C P U C P U C P U G P U / a c c e l . C P U

C h i p

l
c

a l R A M C

r

e / g r

u

p C

r

e / g r

u

p C

r

e / g r

u

p C

r

e / g r

u

p C

r

e / g r

u

p

C

r

e

L

c

a l R A M R e g i s t e r s T h r e a d s E x e c . u n i t s

SLIDE 5

S l i d e 5

f

2 4

Ha r d w a r e

r

e l a t e d p r

b

l e ms : S c a l a b i l i t y

P

r e s e n t & f u t u r e r e l i a n c e

n

t h r e a d

l

e v e l p a r a l l e l i s m f

r

p e r f

r

m a n c e i n c r e a s e s

C

a n ’ t k e e p i n c r e a s i n g c l

c

k r a t e

C

a n ’ t k e e p r e l y i n g

n

i n s t r u c t i

n
l

e v e l p a r a l l e l i s m

Me

m

r

y a c c e s s

Mo

r e c

r

e s → h i g h e r a c c e s s l a t e n c y , p

w

e r c

s

t

N
t

p r a c t i c a l t

u

s e c

h

e r e n t c a c h e s

S

m a l l c

r

e

/

c h i p

l
c

a l m e m

r

i e s s i m p l i f y h a r d w a r e b u t c

m

p l i c a t e s

f

t w a r e

N

e e d a w a y t

h

i d e a c c e s s l a t e n c i e s a n d c r

s

s a d d r e s s s p a c e s

SLIDE 6

S l i d e 6

f

2 4

Ha r d w a r e

r

e l a t e d p r

b

l e ms : He t e r

g

e n e i t y

I

n c r e a s i n g l y c

m

m

n
G
d

s

l

u t i

n

f

r
E

f f e c t i v e u t i l i z a t i

n
f

s p a c e / p

w

e r

n

c h i p

A

c c e l e r a t i n g m a t r i x

/

v e c t

r
r

e l a t e d

p

e r a t i

n

s

D

i f f i c u l t t

a

c t u a l l y u s e i n s

f

t w a r e

S

p e c i a l A P I s f

r

a c c e l e r a t

r

s

Mu

s t s t a t i c a l l y p a r t i t i

n

w

r

k

r

d u p l i c a t e c

d

e

N

e e d t

h

a n d l e m

r

e t r a n s p a r e n t l y ( u n i f y a n d c

r

d i n a t e s u p p

r

t s

f

t w a r e )

SLIDE 7

S l i d e 7

f

2 4

S

f

t w a r e

r

e l a t e d p r

b

l e ms

R

e l i a n c e

n

s e q u e n t i a l p r

c

e s s i n g , c

h

e r e n t m e m

r

y

C

a n u s e m u l t i t h r e a d i n g f

r

p a r a l l e l i s m , b u t

H

i g h a d d r e s s s p a c e / m e m

r

y

v

e r h e a d f

r

s t a c k

H

i g h

v

e r h e a d t

c

r e a t e , m a n a g e , s w i t c h t h r e a d s

S

t a c k m u s t r e m a i n i n f i x e d a d d r e s s r a n g e f

r

i t s l i f e t i m e

N

e e d a w a y t

s

i d e s t e p b l

c

k i n g , e x p

s

e f i n e

g

r a i n e d p a r a l l e l i s m

SLIDE 8

S l i d e 8

f

2 4

E x i s t i n g s

f

t w a r e f r a me w

r

k s

N

d

e N

d

e N

d

e C l u s t e r N

d

e

N

d

e R A M G P U / a c c e l .

C P U C P U C P U

G P U / a c c e l .

C P U

C h i p

l
c

a l R A M

C

r

e / g r

u

p C

r

e / g r

u

p C

r

e / g r

u

p C

r

e / g r

u

p C

r

e / g r

u

p

C

r

e

L

c

a l R A M R e g i s t e r s T h r e a d s E x e c . u n i t s

MP I , S H ME M: E x p l i c i t d a t a t r a n s f e r O p e n MP : P a r a l l e l f

r
a

l l C i l k : P a r a l l e l r e c u r s i

n

O p e n C L , C U D A , D i r e c t C

m

p u t e : S e l f

c
n

t a i n e d S I MD k e r n e l s

SLIDE 9

S l i d e 9

f

2 4

E x i s t i n g s

f

t w a r e f r a me w

r

k s

MP

I , S H ME M

Mu

s t e x p l i c i t l y t r a n s f e r d a t a t

/

f r

m

s p e c i f i c n

d

e s

A

r e n

t

t h r e a d

s

a f e i n g e n e r a l ( s p e c i f i c t

i

m p l e m e n t a t i

n

)

O

p e n MP , C i l k , T B B

O

p e n MP & C i l k g e a r e d t

s

p e c i f i c a l g

r

i t h m t y p e s

T

B B i s C + +

n

l y ; C i l k i s C

n

l y , b u t t e c h n i q u e s c

u

l d b e a p p l i e d t

C

+ + / F O R T R A N

Wo

r k

n

l y i n

n

e a d d r e s s s p a c e

U

n i f

r

m , c

h

e r e n t m e m

r

y a s s u m e d

O

p e n C L , C U D A , D i r e c t C

m

p u t e

O

p e n C L a n d D i r e c t 3 D d e v i c e c

n

t e x t s n

t

t h r e a d

s

a f e ; C U D A i s

Mu

s t e x p l i c i t l y c

r

d i n a t e C P U a n d G P U

E

x i s t i n g f r a m e w

r

k s a c h i e v e s p e c i f i c g

a

l s , b u t d

n
t

i n t e r a c t w e l l .

SLIDE 10

S l i d e 1

f

2 4

C

d

e l e t r u n t i me

v

e r v i e w

H a r d w a r e O p e r a t i n g s y s t e m S y s t e m l i b r a r i e s A p p l i c a t i

n

C

d

e l e t r u n t i me H a r d w a r e O p e r a t i n g s y s t e m S y s t e m l i b r a r i e s A p p l i c a t i

n

P r e s e n t s

f

t w a r e s t a c k : P r

p
s

e d s

f

t w a r e s t a c k : O S / H W t h r e a d s [ U s e r

m
d

e t h r e a d s ] F u n c t i

n

c a l l s C

d

e l e t d i s p a t c h O S / H W t h r e a d s [ U s e r

m
d

e t h r e a d s ] [ F u n c t i

n

c a l l s ] P r e s e n t e x e c u t i

n

m

d

e l : P r

p
s

e d e x e c u t i

n

m

d

e l :

SLIDE 11

S l i d e 1 1

f

2 4

C

d

e l e t r u n t i me

v

e r v i e w : C

d

e l e t s

B

r e a k a p p l i c a t i

n

i n t

s

m a l l e r p i e c e s ( = c

d

e l e t s )

C
d

e l e t s s h

u

l d n ’ t b l

c

k

r

r u n i n d e f i n i t e l y

Mu

s t e x p l i c i t l y s p i l l / f i l l a t c

d

e l e t b

u

n d a r i e s

L
w
v

e r h e a d h i d i n g

f

l

n

g

l

a t e n c y

p

e r a t i

n

s

O

n e c

d

e l e t s t a r t s a n

p

e r a t i

n

, a n

t

h e r c a t c h e s t h e r e s u l t

R

u n t i m e p r

v

i d e s f

r

i n t e r

a

d d r e s s

s

p a c e m

b

i l i t y

S

i m p l e & r a p i d e x p

s

u r e

f

f i n e

g

r a i n e d p a r a l l e l i s m

Ma

k e s s c a l a b i l i t y e a s y –j u s t p r

v

i d e w

r

k a n d s

m

e t h i n g w i l l r u n i t

SLIDE 12

S l i d e 1 2

f

2 4

E x a mp l e : Du a l p a r a l l e l f

r
a

l l l

p

s

A 1 B 1 B 1 C C C C C C B 2 B 2 A 2

SLIDE 13

S l i d e 1 3

f

2 4

C

d

e l e t r u n t i me

v

e r v i e w : L

c

a l e s

H

i g h

l

e v e l d e s c r i p t i

n
f

a v a i l a b l e h a r d w a r e

R

e g i

n
b
u

n d p r

c

e s s i n g + s t

r

a g e c a p a b i l i t i e s : l

c

a l e

E

x p

s

e d A P I f

r

p l a c i n g c

d

e l e t e x e c u t i

n

& d a t a

C
d

e l e t s + l

c

a l e s e n a b l e t r a n s p a r e n t h a n d l i n g

f

h e t e r

g

e n e i t y

SLIDE 14

S l i d e 1 4

f

2 4

C

d

e l e t s

F

u n d a m e n t a l u n i t

f

s c h e d u l i n g / e x e c u t i

n
R

e p r e s e n t e d b y i n

m

e m

r

y d e s c r i p t

r
Ru

n f

r

k : Wo r k t

b

e p e r f

r

m e d t

a

d v a n c e p r

g

r a m s t a t e .

C

a n c e l f

r

k : Wo r k t

b

e p e r f

r

m e d t

b

a c k

u

t p r

g

r a m s t a t e , i n c a s e a n e r r

r

i s e n c

u

n t e r e d .

SLIDE 15

S l i d e 1 5

f

2 4

C

d

e l e t c

mp

l e x e s

C
d

e l e t c

mp

l e x : A d

h
c

g r

u

p

f

≥1 c

d

e l e t ( s ) t h a t c

p

e r a t e t

c
m

p l e t e s

m

e t a s k .

C

a n s p e c i f y c h a i n c

d

e l e t & c

n

t e x t w h e n s t a r t i n g

C
m

p l e x m u s t c h a i n –r u n

r

c a n c e l i t s c h a i n c

d

e l e t –b e f

r

e c

m

p l e t i n g . U s e d f

r

:

I

n p u t c l e a n u p

P

a s s i n g r e t u r n v a l u e s , t a k i n g f u r t h e r i n p u t s

C

a t c h i n g a n d r e s u m i n g f r

m

e r r

r

s

SLIDE 16

S l i d e 1 6

f

2 4

C

d

e l e t / f u n c t i

n

i n t e r

p

e r a b i l i t y

C
d

e l e t s / c

m

p l e x e s u s e d a s i m p l e m e n t a t i

n
f

H L L f u n c t i

n

s :

C

h a i n c

d

e l e t + c

n

t e x t c

r

r e s p

n

d s t

r

e t u r n I P + S P

I

n p u t t

c

h a i n c

r

r e s p

n

d s t

r

e t u r n v a l u e

E

r r

r

t

c

a n c e l e d c h a i n c

r

r e s p

n

d s t

t

h r

w

n e x c e p t i

n
F

u n c t i

n

s u s e d i n i m p l e m e n t a t i

n
f

c

d

e l e t s :

R

u n / c a n c e l f

r

k s i m p l e m e n t e d a s f u n c t i

n

s

R

u n t i m e c a l l s f

r

k f u n c t i

n

t

d

i s p a t c h c

d

e l e t

R

e t u r n f r

m

f

r

k f u n c t i

n

= e n d

f

c

d

e l e t

C
m

p l e x e s c a n b e w r a p p e d a s f u n c t i

n

s a n d v i c e v e r s a

SLIDE 17

S l i d e 1 7

f

2 4

L

c

a l i t y a w a r e n e s s

S

y s t e m c

m

p

n

e n t s g r

u

p e d i n t

a

l

c

a l e t r e e

E

a c h l

c

a l e h a s a t t a c h e d s c h e d u l e r & a l l

c

a t

r
L

e a f l

c

a l e s c

r

r e s p

n

d t

t

h r e a d s

H

i g h e r

l

e v e l l

c

a l e s m a n a g e c h i l d r e n ’ s r e s

u

r c e s c

l

l e c t i v e l y

S

c h e d u l e r s / a l l

c

a t

r

s p u s h a n d p u l l w

r

k a r

u

n d t h e h i e r a r c h y

C l u s t e r N

d

e C h i p C

r

e g r

u

p C

r

e T h r e a d

SLIDE 18

S l i d e 1 8

f

2 4

Ha n d l i n g h e t e r

g

e n e i t y

G

l

b

a l l

c

a l e t r e e s h a r e d t h r

u

g h

u

t r u n t i m e

L
c

a l e s d e s c r i b e a s s

c

i a t e d h a r d w a r e d e t a i l s

C
d

e f

r

m a t / I S A d i f f e r e n c e s

C
d

e l e t s a r e i d e n t i f i e d g l

b

a l l y , b u t d i f f e r e n t d e s c r i p t

r

d a t a m a y b e u s e d i n d i f f e r e n t l

c

a l e s

C

a n p r

v

i d e d i f f e r e n t r u n / c a n c e l f

r

k s f

r

d i f f e r e n t a r c h i t e c t u r e s u s i n g s a m e d e s c r i p t

r

SLIDE 19

S l i d e 1 9

f

2 4

S c h e d u l i n g a n d a l l

c

a t i

n
L

e a f s c h e d u l e r s / a l l

c

a t

r

s m a n a g e t i m e / s p a c e

n

a p a r t i c u l a r t h r e a d , h i g h e r

l

e v e l c a n d e l e g a t e

A

p p l i c a t i

n

c a n s p e c i f y s

n

e r / l a t e r

r

d e r i n g

C h i p s c h e d u l e r

C

r

e 2 s c h e d . C

r

e 1 s c h e d .

A B C h i p s c h e d u l e r

C

r

e 2 s c h e d . C

r

e 1 s c h e d .

C B C h i p s c h e d u l e r

C

r

e 2 s c h e d . C

r

e 1 s c h e d .

E D B C E D E B h a s b e e n s c h e d u l e d t

c

h i p . A i s r u n n i n g

n

c

r

e 1 . C

r

e 2 i s i d l e . A s c h e d u l e s C t

c
r

e 1 . B t a k e n b y c

r

e 2 . C r u n s

n

c

r

e 1 . C s c h e d u l e s D & E t

c
r

e 1 . D r u n s

n

c

r

e 1 . E s t

l

e n b y c

r

e 2 .

SLIDE 20

S l i d e 2

f

2 4

Ap p l i c a b i l i t y t

a

l g

r

i t h m c l a s s e s

F
r

k

j
i

n

s

t y l e a l g

r

i t h m s

R

e c u r s i

n
b

a s e d

– C

a n p a r a l l e l i z e m u l t i w a y

r

e c u r s i v e a l g

r

i t h m s

– A

p p l i c a t i

n
s

p e c i f i e d s c h e d u l i n g

r

d e r l i m i t s p a r a l l e l i s m b l

w

u p

D

a t a

p

a r a l l e l / S I MD

– C

a n d

p

a r a l l e l f

r
a

l l

v

e r l

c

a l e s t

d

i s t r i b u t e w

r

k

– Wo

r k s t e a l i n g a u t

m

a t i c a l l y b a l a n c e s l

a

d a f t e r w a r d s

D

a t a f l

w

a l g

r

i t h m s

C

a n r e g i s t e r c

d

e l e t i n s t a n c e s t

c

a t c h d a t a a v a i l a b i l i t y

C

a n u s e l

c

a l e

b

a s e d r

u

t i n g t

w

a l k a r

u

n d g r a p h s

SLIDE 21

S l i d e 2 1

f

2 4

Re l a t e d w

r

k

B

a s i s f

r

c

d

e l e t s : G a

e

t a l . ’ s t h e

r

e t i c a l m

d

e l

D

r

p

p e d t h e

r

e t i c a l l i m i t a t i

n

s

A

d d e d c a n c e l l a t i

n

a n d c h a i n i n g s e m a n t i c s

L
c

a l e s c l

s

e l y r e l a t e d t

H

a b a n e r

h

i e r a r c h i c a l p l a c e t r e e s

E

x i s t i n g f r a m e w

r

k s :

MP

I , S H ME M, O p e n MP , C i l k , T B B , O p e n C L , C U D A , D i r e c t C

m

p u t e ( a l r e a d y a d d r e s s e d )

P

a r a l l e X ( m

d

e l ) a n d H P X ( r u n t i m e i m p l e m e n t a t i

n

)

– Ma

n y h i g h e r

l

e v e l c

n

s t r u c t s

– C

a n i m p l e m e n t P X c

n

s t r u c t s

n

t

p
f

a c

d

e l e t r u n t i m e

SLIDE 22

S l i d e 2 2

f

2 4

On g

i

n g / f u t u r e w

r

k

S

Wi

f t

A

d a p t i v e

R

u n t i m e

Ma

c h i n e

V

e r s i

n

: E x p e r i m e n t a l p r

t
t

y p e ; a v a i l a b l e f

r

d

w

n l

a

d

– R

e d u c e d s c h e d u l i n g c a p a b i l i t y , c

d

e l e t s e m a n t i c s , a l l

c

a t

r

s u p p

r

t

V

e r s i

n

1 : U n d e r d e v e l

p

m e n t

SLIDE 23

S l i d e 2 3

f

2 4

C

n

c l u s i

n
N

e e d a n e w e x e c u t i

n

m

d

e l f

r

e x a s c a l e

C
d

e l e t r u n t i m e m

d

e l e n a b l e s

S

c a l a b i l i t y

– F

e e d c

d

e l e t s t

t

h e r u n t i m e , d

n

’ t r e l y

n

t h r e a d i n g

– U

n i f i e d m

d

e l f

r

e n t i r e c l u s t e r

P
r

t a b i l i t y

– S

i n g l e p

r

t a b l e r u n t i m e i n t e r f a c e

– P

l a t f

r

m d i f f e r e n c e s c a n b e d e a l t w i t h b y r u n t i m e

B

e t t e r h a r d w a r e u t i l i z a t i

n

– A

u t

m

a t i c l

a

d b a l a n c i n g

– T

r a n s p a r e n t u s e

f

h e t e r

g

e n e

u

s c

m

p

n

e n t s

SLIDE 24

S l i d e 2 4

f

2 4

Qu e s t i

n

s / c

mme

n t s ?

S WA R M v d

w

n l

a

d : h t t p : / / e t i n t e r n a t i

n

a l . c

m