T o w a r d s a c o d e l e t - b a s e d r u - - PowerPoint PPT Presentation

t o w a r d s a c o d e l e t b a s e d r u n t i me f o
SMART_READER_LITE
LIVE PREVIEW

T o w a r d s a c o d e l e t - b a s e d r u - - PowerPoint PPT Presentation

T o w a r d s a c o d e l e t - b a s e d r u n t i me f o r e x a s c a l e c o mp u t i n g C h r i s L a u d e r d a l e E T I n t e r n a t i o n a l , I n c . S l


slide-1
SLIDE 1

T

  • w

a r d s a c

  • d

e l e t

  • b

a s e d r u n t i me f

  • r

e x a s c a l e c

  • mp

u t i n g

C h r i s L a u d e r d a l e E T I n t e r n a t i

  • n

a l , I n c .

slide-2
SLIDE 2

S l i d e 2

  • f

2 4

W h a t w i l l b e c

  • v

e r e d

  • P

r

  • b

l e m s & m

  • t

i v a t i

  • n
  • C
  • d

e l e t r u n t i m e

  • v

e r v i e w

  • C
  • d

e l e t s & c

  • m

p l e x e s

  • D

e a l i n g w i t h l

  • c

a l i t y & h e t e r

  • g

e n e i t y

  • R

e l a t e d w

  • r

k & c

  • n

c l u s i

  • n
slide-3
SLIDE 3

S l i d e 3

  • f

2 4

I n t r

  • d

u c t i

  • n
  • C

a n ’ t r e a c h e x a s c a l e b y c

  • n

t i n u i n g p a s t t r e n d s

  • N

e e d s

  • m

e t h i n g t

  • E

x p

  • s

e a n d c

  • r

d i n a t e p a r a l l e l i s m

  • C
  • n

t r

  • l

d a t a a n d e x e c u t i

  • n

l

  • c

a l i t y

  • A

b s t r a c t p l a t f

  • r

m

  • a

n d l

  • c

a t i

  • n
  • s

p e c i f i c d e t a i l s

  • U

n i f y s

  • f

t w a r e i n t e r f a c e f

  • r

s u p e r c

  • m

p u t i n g

slide-4
SLIDE 4

S l i d e 4

  • f

2 4

Ab s t r a c t ma c h i n e mo d e l

N

  • d

e N

  • d

e N

  • d

e C l u s t e r N

  • d

e N

  • d

e R A M G P U / a c c e l . C P U C P U C P U G P U / a c c e l . C P U

C h i p

  • l
  • c

a l R A M C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p

C

  • r

e

L

  • c

a l R A M R e g i s t e r s T h r e a d s E x e c . u n i t s

slide-5
SLIDE 5

S l i d e 5

  • f

2 4

Ha r d w a r e

  • r

e l a t e d p r

  • b

l e ms : S c a l a b i l i t y

  • P

r e s e n t & f u t u r e r e l i a n c e

  • n

t h r e a d

  • l

e v e l p a r a l l e l i s m f

  • r

p e r f

  • r

m a n c e i n c r e a s e s

  • C

a n ’ t k e e p i n c r e a s i n g c l

  • c

k r a t e

  • C

a n ’ t k e e p r e l y i n g

  • n

i n s t r u c t i

  • n
  • l

e v e l p a r a l l e l i s m

  • Me

m

  • r

y a c c e s s

  • Mo

r e c

  • r

e s → h i g h e r a c c e s s l a t e n c y , p

  • w

e r c

  • s

t

  • N
  • t

p r a c t i c a l t

  • u

s e c

  • h

e r e n t c a c h e s

  • S

m a l l c

  • r

e

  • /

c h i p

  • l
  • c

a l m e m

  • r

i e s s i m p l i f y h a r d w a r e b u t c

  • m

p l i c a t e s

  • f

t w a r e

  • N

e e d a w a y t

  • h

i d e a c c e s s l a t e n c i e s a n d c r

  • s

s a d d r e s s s p a c e s

slide-6
SLIDE 6

S l i d e 6

  • f

2 4

Ha r d w a r e

  • r

e l a t e d p r

  • b

l e ms : He t e r

  • g

e n e i t y

  • I

n c r e a s i n g l y c

  • m

m

  • n
  • G
  • d

s

  • l

u t i

  • n

f

  • r
  • E

f f e c t i v e u t i l i z a t i

  • n
  • f

s p a c e / p

  • w

e r

  • n

c h i p

  • A

c c e l e r a t i n g m a t r i x

  • /

v e c t

  • r
  • r

e l a t e d

  • p

e r a t i

  • n

s

  • D

i f f i c u l t t

  • a

c t u a l l y u s e i n s

  • f

t w a r e

  • S

p e c i a l A P I s f

  • r

a c c e l e r a t

  • r

s

  • Mu

s t s t a t i c a l l y p a r t i t i

  • n

w

  • r

k

  • r

d u p l i c a t e c

  • d

e

  • N

e e d t

  • h

a n d l e m

  • r

e t r a n s p a r e n t l y ( u n i f y a n d c

  • r

d i n a t e s u p p

  • r

t s

  • f

t w a r e )

slide-7
SLIDE 7

S l i d e 7

  • f

2 4

S

  • f

t w a r e

  • r

e l a t e d p r

  • b

l e ms

  • R

e l i a n c e

  • n

s e q u e n t i a l p r

  • c

e s s i n g , c

  • h

e r e n t m e m

  • r

y

  • C

a n u s e m u l t i t h r e a d i n g f

  • r

p a r a l l e l i s m , b u t

  • H

i g h a d d r e s s s p a c e / m e m

  • r

y

  • v

e r h e a d f

  • r

s t a c k

  • H

i g h

  • v

e r h e a d t

  • c

r e a t e , m a n a g e , s w i t c h t h r e a d s

  • S

t a c k m u s t r e m a i n i n f i x e d a d d r e s s r a n g e f

  • r

i t s l i f e t i m e

  • N

e e d a w a y t

  • s

i d e s t e p b l

  • c

k i n g , e x p

  • s

e f i n e

  • g

r a i n e d p a r a l l e l i s m

slide-8
SLIDE 8

S l i d e 8

  • f

2 4

E x i s t i n g s

  • f

t w a r e f r a me w

  • r

k s

N

  • d

e N

  • d

e N

  • d

e C l u s t e r N

  • d

e

N

  • d

e R A M G P U / a c c e l .

C P U C P U C P U

G P U / a c c e l .

C P U

C h i p

  • l
  • c

a l R A M

C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p C

  • r

e / g r

  • u

p

C

  • r

e

L

  • c

a l R A M R e g i s t e r s T h r e a d s E x e c . u n i t s

MP I , S H ME M: E x p l i c i t d a t a t r a n s f e r O p e n MP : P a r a l l e l f

  • r
  • a

l l C i l k : P a r a l l e l r e c u r s i

  • n

O p e n C L , C U D A , D i r e c t C

  • m

p u t e : S e l f

  • c
  • n

t a i n e d S I MD k e r n e l s

slide-9
SLIDE 9

S l i d e 9

  • f

2 4

E x i s t i n g s

  • f

t w a r e f r a me w

  • r

k s

  • MP

I , S H ME M

  • Mu

s t e x p l i c i t l y t r a n s f e r d a t a t

  • /

f r

  • m

s p e c i f i c n

  • d

e s

  • A

r e n

  • t

t h r e a d

  • s

a f e i n g e n e r a l ( s p e c i f i c t

  • i

m p l e m e n t a t i

  • n

)

  • O

p e n MP , C i l k , T B B

  • O

p e n MP & C i l k g e a r e d t

  • s

p e c i f i c a l g

  • r

i t h m t y p e s

  • T

B B i s C + +

  • n

l y ; C i l k i s C

  • n

l y , b u t t e c h n i q u e s c

  • u

l d b e a p p l i e d t

  • C

+ + / F O R T R A N

  • Wo

r k

  • n

l y i n

  • n

e a d d r e s s s p a c e

  • U

n i f

  • r

m , c

  • h

e r e n t m e m

  • r

y a s s u m e d

  • O

p e n C L , C U D A , D i r e c t C

  • m

p u t e

  • O

p e n C L a n d D i r e c t 3 D d e v i c e c

  • n

t e x t s n

  • t

t h r e a d

  • s

a f e ; C U D A i s

  • Mu

s t e x p l i c i t l y c

  • r

d i n a t e C P U a n d G P U

  • E

x i s t i n g f r a m e w

  • r

k s a c h i e v e s p e c i f i c g

  • a

l s , b u t d

  • n
  • t

i n t e r a c t w e l l .

slide-10
SLIDE 10

S l i d e 1

  • f

2 4

C

  • d

e l e t r u n t i me

  • v

e r v i e w

H a r d w a r e O p e r a t i n g s y s t e m S y s t e m l i b r a r i e s A p p l i c a t i

  • n

C

  • d

e l e t r u n t i me H a r d w a r e O p e r a t i n g s y s t e m S y s t e m l i b r a r i e s A p p l i c a t i

  • n

P r e s e n t s

  • f

t w a r e s t a c k : P r

  • p
  • s

e d s

  • f

t w a r e s t a c k : O S / H W t h r e a d s [ U s e r

  • m
  • d

e t h r e a d s ] F u n c t i

  • n

c a l l s C

  • d

e l e t d i s p a t c h O S / H W t h r e a d s [ U s e r

  • m
  • d

e t h r e a d s ] [ F u n c t i

  • n

c a l l s ] P r e s e n t e x e c u t i

  • n

m

  • d

e l : P r

  • p
  • s

e d e x e c u t i

  • n

m

  • d

e l :

slide-11
SLIDE 11

S l i d e 1 1

  • f

2 4

C

  • d

e l e t r u n t i me

  • v

e r v i e w : C

  • d

e l e t s

  • B

r e a k a p p l i c a t i

  • n

i n t

  • s

m a l l e r p i e c e s ( = c

  • d

e l e t s )

  • C
  • d

e l e t s s h

  • u

l d n ’ t b l

  • c

k

  • r

r u n i n d e f i n i t e l y

  • Mu

s t e x p l i c i t l y s p i l l / f i l l a t c

  • d

e l e t b

  • u

n d a r i e s

  • L
  • w
  • v

e r h e a d h i d i n g

  • f

l

  • n

g

  • l

a t e n c y

  • p

e r a t i

  • n

s

  • O

n e c

  • d

e l e t s t a r t s a n

  • p

e r a t i

  • n

, a n

  • t

h e r c a t c h e s t h e r e s u l t

  • R

u n t i m e p r

  • v

i d e s f

  • r

i n t e r

  • a

d d r e s s

  • s

p a c e m

  • b

i l i t y

  • S

i m p l e & r a p i d e x p

  • s

u r e

  • f

f i n e

  • g

r a i n e d p a r a l l e l i s m

  • Ma

k e s s c a l a b i l i t y e a s y –j u s t p r

  • v

i d e w

  • r

k a n d s

  • m

e t h i n g w i l l r u n i t

slide-12
SLIDE 12

S l i d e 1 2

  • f

2 4

E x a mp l e : Du a l p a r a l l e l f

  • r
  • a

l l l

  • p

s

A 1 B 1 B 1 C C C C C C B 2 B 2 A 2

slide-13
SLIDE 13

S l i d e 1 3

  • f

2 4

C

  • d

e l e t r u n t i me

  • v

e r v i e w : L

  • c

a l e s

  • H

i g h

  • l

e v e l d e s c r i p t i

  • n
  • f

a v a i l a b l e h a r d w a r e

  • R

e g i

  • n
  • b
  • u

n d p r

  • c

e s s i n g + s t

  • r

a g e c a p a b i l i t i e s : l

  • c

a l e

  • E

x p

  • s

e d A P I f

  • r

p l a c i n g c

  • d

e l e t e x e c u t i

  • n

& d a t a

  • C
  • d

e l e t s + l

  • c

a l e s e n a b l e t r a n s p a r e n t h a n d l i n g

  • f

h e t e r

  • g

e n e i t y

slide-14
SLIDE 14

S l i d e 1 4

  • f

2 4

C

  • d

e l e t s

  • F

u n d a m e n t a l u n i t

  • f

s c h e d u l i n g / e x e c u t i

  • n
  • R

e p r e s e n t e d b y i n

  • m

e m

  • r

y d e s c r i p t

  • r
  • Ru

n f

  • r

k : Wo r k t

  • b

e p e r f

  • r

m e d t

  • a

d v a n c e p r

  • g

r a m s t a t e .

  • C

a n c e l f

  • r

k : Wo r k t

  • b

e p e r f

  • r

m e d t

  • b

a c k

  • u

t p r

  • g

r a m s t a t e , i n c a s e a n e r r

  • r

i s e n c

  • u

n t e r e d .

slide-15
SLIDE 15

S l i d e 1 5

  • f

2 4

C

  • d

e l e t c

  • mp

l e x e s

  • C
  • d

e l e t c

  • mp

l e x : A d

  • h
  • c

g r

  • u

p

  • f

≥1 c

  • d

e l e t ( s ) t h a t c

  • p

e r a t e t

  • c
  • m

p l e t e s

  • m

e t a s k .

  • C

a n s p e c i f y c h a i n c

  • d

e l e t & c

  • n

t e x t w h e n s t a r t i n g

  • C
  • m

p l e x m u s t c h a i n –r u n

  • r

c a n c e l i t s c h a i n c

  • d

e l e t –b e f

  • r

e c

  • m

p l e t i n g . U s e d f

  • r

:

  • I

n p u t c l e a n u p

  • P

a s s i n g r e t u r n v a l u e s , t a k i n g f u r t h e r i n p u t s

  • C

a t c h i n g a n d r e s u m i n g f r

  • m

e r r

  • r

s

slide-16
SLIDE 16

S l i d e 1 6

  • f

2 4

C

  • d

e l e t / f u n c t i

  • n

i n t e r

  • p

e r a b i l i t y

  • C
  • d

e l e t s / c

  • m

p l e x e s u s e d a s i m p l e m e n t a t i

  • n
  • f

H L L f u n c t i

  • n

s :

  • C

h a i n c

  • d

e l e t + c

  • n

t e x t c

  • r

r e s p

  • n

d s t

  • r

e t u r n I P + S P

  • I

n p u t t

  • c

h a i n c

  • r

r e s p

  • n

d s t

  • r

e t u r n v a l u e

  • E

r r

  • r

t

  • c

a n c e l e d c h a i n c

  • r

r e s p

  • n

d s t

  • t

h r

  • w

n e x c e p t i

  • n
  • F

u n c t i

  • n

s u s e d i n i m p l e m e n t a t i

  • n
  • f

c

  • d

e l e t s :

  • R

u n / c a n c e l f

  • r

k s i m p l e m e n t e d a s f u n c t i

  • n

s

  • R

u n t i m e c a l l s f

  • r

k f u n c t i

  • n

t

  • d

i s p a t c h c

  • d

e l e t

  • R

e t u r n f r

  • m

f

  • r

k f u n c t i

  • n

= e n d

  • f

c

  • d

e l e t

  • C
  • m

p l e x e s c a n b e w r a p p e d a s f u n c t i

  • n

s a n d v i c e v e r s a

slide-17
SLIDE 17

S l i d e 1 7

  • f

2 4

L

  • c

a l i t y a w a r e n e s s

  • S

y s t e m c

  • m

p

  • n

e n t s g r

  • u

p e d i n t

  • a

l

  • c

a l e t r e e

  • E

a c h l

  • c

a l e h a s a t t a c h e d s c h e d u l e r & a l l

  • c

a t

  • r
  • L

e a f l

  • c

a l e s c

  • r

r e s p

  • n

d t

  • t

h r e a d s

  • H

i g h e r

  • l

e v e l l

  • c

a l e s m a n a g e c h i l d r e n ’ s r e s

  • u

r c e s c

  • l

l e c t i v e l y

  • S

c h e d u l e r s / a l l

  • c

a t

  • r

s p u s h a n d p u l l w

  • r

k a r

  • u

n d t h e h i e r a r c h y

C l u s t e r N

  • d

e C h i p C

  • r

e g r

  • u

p C

  • r

e T h r e a d

slide-18
SLIDE 18

S l i d e 1 8

  • f

2 4

Ha n d l i n g h e t e r

  • g

e n e i t y

  • G

l

  • b

a l l

  • c

a l e t r e e s h a r e d t h r

  • u

g h

  • u

t r u n t i m e

  • L
  • c

a l e s d e s c r i b e a s s

  • c

i a t e d h a r d w a r e d e t a i l s

  • C
  • d

e f

  • r

m a t / I S A d i f f e r e n c e s

  • C
  • d

e l e t s a r e i d e n t i f i e d g l

  • b

a l l y , b u t d i f f e r e n t d e s c r i p t

  • r

d a t a m a y b e u s e d i n d i f f e r e n t l

  • c

a l e s

  • C

a n p r

  • v

i d e d i f f e r e n t r u n / c a n c e l f

  • r

k s f

  • r

d i f f e r e n t a r c h i t e c t u r e s u s i n g s a m e d e s c r i p t

  • r
slide-19
SLIDE 19

S l i d e 1 9

  • f

2 4

S c h e d u l i n g a n d a l l

  • c

a t i

  • n
  • L

e a f s c h e d u l e r s / a l l

  • c

a t

  • r

s m a n a g e t i m e / s p a c e

  • n

a p a r t i c u l a r t h r e a d , h i g h e r

  • l

e v e l c a n d e l e g a t e

  • A

p p l i c a t i

  • n

c a n s p e c i f y s

  • n

e r / l a t e r

  • r

d e r i n g

C h i p s c h e d u l e r

C

  • r

e 2 s c h e d . C

  • r

e 1 s c h e d .

A B C h i p s c h e d u l e r

C

  • r

e 2 s c h e d . C

  • r

e 1 s c h e d .

C B C h i p s c h e d u l e r

C

  • r

e 2 s c h e d . C

  • r

e 1 s c h e d .

E D B C E D E B h a s b e e n s c h e d u l e d t

  • c

h i p . A i s r u n n i n g

  • n

c

  • r

e 1 . C

  • r

e 2 i s i d l e . A s c h e d u l e s C t

  • c
  • r

e 1 . B t a k e n b y c

  • r

e 2 . C r u n s

  • n

c

  • r

e 1 . C s c h e d u l e s D & E t

  • c
  • r

e 1 . D r u n s

  • n

c

  • r

e 1 . E s t

  • l

e n b y c

  • r

e 2 .

slide-20
SLIDE 20

S l i d e 2

  • f

2 4

Ap p l i c a b i l i t y t

  • a

l g

  • r

i t h m c l a s s e s

  • F
  • r

k

  • j
  • i

n

  • s

t y l e a l g

  • r

i t h m s

  • R

e c u r s i

  • n
  • b

a s e d

– C

a n p a r a l l e l i z e m u l t i w a y

  • r

e c u r s i v e a l g

  • r

i t h m s

– A

p p l i c a t i

  • n
  • s

p e c i f i e d s c h e d u l i n g

  • r

d e r l i m i t s p a r a l l e l i s m b l

  • w

u p

  • D

a t a

  • p

a r a l l e l / S I MD

– C

a n d

  • p

a r a l l e l f

  • r
  • a

l l

  • v

e r l

  • c

a l e s t

  • d

i s t r i b u t e w

  • r

k

– Wo

r k s t e a l i n g a u t

  • m

a t i c a l l y b a l a n c e s l

  • a

d a f t e r w a r d s

  • D

a t a f l

  • w

a l g

  • r

i t h m s

  • C

a n r e g i s t e r c

  • d

e l e t i n s t a n c e s t

  • c

a t c h d a t a a v a i l a b i l i t y

  • C

a n u s e l

  • c

a l e

  • b

a s e d r

  • u

t i n g t

  • w

a l k a r

  • u

n d g r a p h s

slide-21
SLIDE 21

S l i d e 2 1

  • f

2 4

Re l a t e d w

  • r

k

  • B

a s i s f

  • r

c

  • d

e l e t s : G a

  • e

t a l . ’ s t h e

  • r

e t i c a l m

  • d

e l

  • D

r

  • p

p e d t h e

  • r

e t i c a l l i m i t a t i

  • n

s

  • A

d d e d c a n c e l l a t i

  • n

a n d c h a i n i n g s e m a n t i c s

  • L
  • c

a l e s c l

  • s

e l y r e l a t e d t

  • H

a b a n e r

  • h

i e r a r c h i c a l p l a c e t r e e s

  • E

x i s t i n g f r a m e w

  • r

k s :

  • MP

I , S H ME M, O p e n MP , C i l k , T B B , O p e n C L , C U D A , D i r e c t C

  • m

p u t e ( a l r e a d y a d d r e s s e d )

  • P

a r a l l e X ( m

  • d

e l ) a n d H P X ( r u n t i m e i m p l e m e n t a t i

  • n

)

– Ma

n y h i g h e r

  • l

e v e l c

  • n

s t r u c t s

– C

a n i m p l e m e n t P X c

  • n

s t r u c t s

  • n

t

  • p
  • f

a c

  • d

e l e t r u n t i m e

slide-22
SLIDE 22

S l i d e 2 2

  • f

2 4

On g

  • i

n g / f u t u r e w

  • r

k

  • S

Wi

f t

A

d a p t i v e

R

u n t i m e

Ma

c h i n e

  • V

e r s i

  • n

: E x p e r i m e n t a l p r

  • t
  • t

y p e ; a v a i l a b l e f

  • r

d

  • w

n l

  • a

d

– R

e d u c e d s c h e d u l i n g c a p a b i l i t y , c

  • d

e l e t s e m a n t i c s , a l l

  • c

a t

  • r

s u p p

  • r

t

  • V

e r s i

  • n

1 : U n d e r d e v e l

  • p

m e n t

slide-23
SLIDE 23

S l i d e 2 3

  • f

2 4

C

  • n

c l u s i

  • n
  • N

e e d a n e w e x e c u t i

  • n

m

  • d

e l f

  • r

e x a s c a l e

  • C
  • d

e l e t r u n t i m e m

  • d

e l e n a b l e s

  • S

c a l a b i l i t y

– F

e e d c

  • d

e l e t s t

  • t

h e r u n t i m e , d

  • n

’ t r e l y

  • n

t h r e a d i n g

– U

n i f i e d m

  • d

e l f

  • r

e n t i r e c l u s t e r

  • P
  • r

t a b i l i t y

– S

i n g l e p

  • r

t a b l e r u n t i m e i n t e r f a c e

– P

l a t f

  • r

m d i f f e r e n c e s c a n b e d e a l t w i t h b y r u n t i m e

  • B

e t t e r h a r d w a r e u t i l i z a t i

  • n

– A

u t

  • m

a t i c l

  • a

d b a l a n c i n g

– T

r a n s p a r e n t u s e

  • f

h e t e r

  • g

e n e

  • u

s c

  • m

p

  • n

e n t s

slide-24
SLIDE 24

S l i d e 2 4

  • f

2 4

Qu e s t i

  • n

s / c

  • mme

n t s ?

S WA R M v d

  • w

n l

  • a

d : h t t p : / / e t i n t e r n a t i

  • n

a l . c

  • m

/ s w a r m