C L B l a s t : A T u n e d B L A S L i b r a - - PowerPoint PPT Presentation

SLIDE 1

C L B l a s t : A T u n e d B L A S L i b r a r y

f

• r

F a s t e r D e e p L e a r n i n g

C e d r i c N u g t e r e n M a y 1 1 , 2 1 7 h t t p : / / g i t h u b . c

• m

/ c n u g t e r e n / c l b l a s t h t t p : / / c n u g t e r e n . g i t h u b . i

• /

c l b l a s t

SLIDE 2

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2

• u

t

• f

4 3

T h e H e a r t

• f

D e e p L e a r n i n g

SLIDE 3

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3

• u

t

• f

4 3

G E M M i s a t t h e H e a r t

• f

D e e p L e a r n i n g

SLIDE 4

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 4

• u

t

• f

4 3

S

• w

h e r e a r e t h e M a t r i x

• M

u l t i p l i c a t i

• n

s ?

SLIDE 5

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 5

• u

t

• f

4 3

C

• n

v

• l

u t i

• n

s a s M a t r i x M u l t i p l i c a t i

• n

SLIDE 6

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 6

• u

t

• f

4 3

G E M M i s t h e H e a r t

• f

D e e p L e a r n i n g

SLIDE 7

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 7

• u

t

• f

4 3

D

• e

s e v e r y

• n

e a g r e e ?

SLIDE 8

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 8

• u

t

• f

4 3

D

• e

s e v e r y

• n

e a g r e e ?

SLIDE 9

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 9

• u

t

• f

4 3

S t i l l t r u e i n 2 1 7 !

SLIDE 10

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1

• u

t

• f

4 3

B u t w h y a n e w B L A S L i b r a r y ?

• N

V I D I A ’ s c u B L A S i s g r e a t ,

• r

i s i t ?

SLIDE 11

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 1

• u

t

• f

4 3

B u t w h y a n e w B L A S L i b r a r y ?

• N

V I D I A ’ s c u B L A S i s g r e a t ,

• r

i s i t ?

SLIDE 12

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 2

• u

t

• f

4 3

B u t w h y a n e w B L A S L i b r a r y ?

• N

V I D I A ’ s c u B L A S i s g r e a t ,

• r

i s i t ?

– N

• t

p

• r

t a b l e , n

• t

c u s t

• m

i s a b l e , n

• t
• p

e n

• s
• u

r c e , . . .

SLIDE 13

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 3

• u

t

• f

4 3

B u t w h y a n e w B L A S L i b r a r y ?

• N

V I D I A ’ s c u B L A S i s g r e a t ,

• r

i s i t ?

– N

• t

p

• r

t a b l e , n

• t

c u s t

• m

i s a b l e , n

• t
• p

e n

• s
• u

r c e , . . .

• I

s A M D ’ s c l B L A S g r e a t ?

– N

• t

p e r f

• r

m a n c e p

• r

t a b l e , n

• t

w e l l e n g i n e e r e d , l a c k

• f

n e w f e a t u r e s , . . .

SLIDE 14

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 4

• u

t

• f

4 3

I n t r

• d

u c i n g C L B l a s t

• C

L B l a s t : M

• d

e r n C + + 1 1 O p e n C L B L A S l i b r a r y

• I

m p l e m e n t s a l l B L A S r

• u

t i n e s f

• r

a l l p r e c i s i

• n

s ( S , D , C , Z )

• A

c c e l e r a t e s a l l k i n d s

• f

a p p l i c a t i

• n

s :

– F

l u i d d y n a m i c s , q u a n t u m c h e m i s t r y , l i n e a r a l g e b r a , e t c .

– T

• d

a y ’ s f

• c

u s : d e e p l e a r n i n g

SLIDE 15

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 5

• u

t

• f

4 3

I n t r

• d

u c i n g C L B l a s t

• C

L B l a s t : M

• d

e r n C + + 1 1 O p e n C L B L A S l i b r a r y

• I

m p l e m e n t s a l l B L A S r

• u

t i n e s f

• r

a l l p r e c i s i

• n

s ( S , D , C , Z )

• A

c c e l e r a t e s a l l k i n d s

• f

a p p l i c a t i

• n

s :

– F

l u i d d y n a m i c s , q u a n t u m c h e m i s t r y , l i n e a r a l g e b r a , e t c .

– T

• d

a y ’ s f

• c

u s : d e e p l e a r n i n g

• A

l r e a d y i n t e g r a t e d i n t

• v

a r i

• u

s p r

• j

e c t s :

– J

O C L B l a s t ( J a v a b i n d i n g s )

– A

r r a y F i r e ( G P U a c c e l e r a t e d l i b r a r y a n d a p p l i c a t i

• n

s )

– O

p e n C L f

• r

k

• f

C a f e ( g i t h u b . c

• m

/ d i v i d i t i / c k

• c

a f e )

– O

p e n C L f

• r

k

• f

T F ( g i t h u b . c

• m

/ h u g h p e r k i n s / t e n s

• r

l

• w
• c

l )

SLIDE 16

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 6

• u

t

• f

4 3

I n t r

• d

u c i n g C L B l a s t

C I a n d e x t e n s i v e t e s t i n g a c t i v i t y c

• m

m u n i t y

SLIDE 17

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 7

• u

t

• f

4 3

B u t … i s i t f a s t ?

• A

l l k e r n e l s a r e g e n e r i c a n d t u n a b l e t h a n k s t

• i

n t e g r a t i

• n
• f

t h e C L T u n e a u t

• t

u n e r ( p r e s e n t e d a t l a s t y e a r ’ s G T C )

SLIDE 18

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 8

• u

t

• f

4 3

B u t … i s i t f a s t ?

• A

l l k e r n e l s a r e g e n e r i c a n d t u n a b l e t h a n k s t

• i

n t e g r a t i

• n
• f

t h e C L T u n e a u t

• t

u n e r ( p r e s e n t e d a t l a s t y e a r ’ s G T C )

SLIDE 19

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 1 9

• u

t

• f

4 3

B u t … i s i t f a s t ?

• A

l l k e r n e l s a r e g e n e r i c a n d t u n a b l e t h a n k s t

• i

n t e g r a t i

• n
• f

t h e C L T u n e a u t

• t

u n e r ( p r e s e n t e d a t l a s t y e a r ’ s G T C )

• T

u n e d

• u

t

• f
• t

h e

• b
• x

f

• r

4 c

• m

m

• n

d e v i c e s

– F

• r

n e w d e v i c e s : r u n t h e a u t

• t

u n e r w h e n i n s t a l l i n g C L B l a s t

SLIDE 20

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2

• u

t

• f

4 3

C L B l a s t B e n c h m a r k R e s u l t s

• H

i g h e r i s b e t t e r

• M
• r

e r e s u l t s a t h t t p : / / c n u g t e r e n . g i t h u b . i

• /

c l b l a s t A X P Y r e g u l a r ( i n G B / s ) A X P Y

• d

d ( i n G B / s ) G E M V

• d

d ( i n G B / s ) G E M M

• d

d ( i n G F L O P S ) G E M V r e g u l a r ( i n G B / s ) G E M M r e g u l a r ( i n G F L O P S )

SLIDE 21

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 1

• u

t

• f

4 3

C L B l a s t

• n

G e F

• r

c e G T X 7 5 T i

• O

n

• p

a r

• r

b e t t e r t h a n c l B L A S ( e s p e c i a l l y f

• r

G E M M )

SLIDE 22

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 2

• u

t

• f

4 3

C L B l a s t

• n

G e F

• r

c e G T X 7 5 T i

• .

. . b u t n

• t

a s f a s t a s N V I D I A ’ s c u B L A S

SLIDE 23

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 3

• u

t

• f

4 3

C L B l a s t

• n

G e F

• r

c e G T X 7 5 T i

• .

. . b u t n

• t

a s f a s t a s N V I D I A ’ s c u B L A S

SLIDE 24

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 4

• u

t

• f

4 3

C L B l a s t

• n

R a d e

• n

M 3 7 X

• O

n

• p

a r

• r

b e t t e r t h a n c l B L A S ( e s p e c i a l l y f

• r
• d

d

• s

i z e d G E M M )

SLIDE 25

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 5

• u

t

• f

4 3

C L B l a s t

• n

S k y l a k e U L T G T 2

• O

n

• p

a r

• r

b e t t e r t h a n c l B L A S ( e s p e c i a l l y f

• r

G E M M )

SLIDE 26

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 6

• u

t

• f

4 3

C L B l a s t

• n

C

• r

e i 5

• 6

2 U

• O

n

• p

a r

• r

b e t t e r t h a n c l B L A S ( e s p e c i a l l y f

• r

A X P Y & G E M V )

SLIDE 27

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 7

• u

t

• f

4 3

C L B l a s t f

• r

D e e p L e a r n i n g

• Wh

a t c a n w e d

• f
• r

t h e d e e p

• l

e a r n i n g c

• m

m u n i t y ?

– P

r

• b

l e m

• s

p e c i i c t u n i n g

– H

a l f

• p

r e c i s i

• n

l

• a

t i n g

• p
• i

n t ( F P 1 6 )

– B

a t c h e d r

• u

t i n e s

SLIDE 28

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 8

• u

t

• f

4 3

T u n i n g O n l y f

• r

a S i n g l e S i z e ?

• D

e f a u l t G E M M t u n i n g :

– 1

2 4 x 1 2 4 m a t r i c e s

• D

e e p

• l

e a r n i n g :

– V

a r i

• u

s b u t i x e d m a t r i x s i z e s ( d e p e n d e n t

• n

n e t w

• r

k l a y

• u

t )

– T

y p i c a l l y s m a l l e r a n d /

• r

r e c t a n g u l a r m a t r i c e s

SLIDE 29

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 2 9

• u

t

• f

4 3

T u n i n g O n l y f

• r

a S i n g l e S i z e ?

• D

e f a u l t G E M M t u n i n g :

– 1

2 4 x 1 2 4 m a t r i c e s

• D

e e p

• l

e a r n i n g :

– V

a r i

• u

s b u t i x e d m a t r i x s i z e s ( d e p e n d e n t

• n

n e t w

• r

k l a y

• u

t )

– T

y p i c a l l y s m a l l e r a n d /

• r

r e c t a n g u l a r m a t r i c e s

• P
• t

e n t i a l f

• r
• p

t i m a l p e r f

• r

m a n c e i n C L B l a s t :

– T

u n i n g f

• r

a c u s t

• m

s i z e p

• s

s i b l e

– C

+ + A P I t

• c

h a n g e p a r a m e t e r s a t r u n

• t

i m e

SLIDE 30

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3

• u

t

• f

4 3

P r

• b

l e m

• S

p e c i i c T u n i n g

• S

G E M M t u n i n g f

• r

R a d e

• n

M 3 7 X G P U

SLIDE 31

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 1

• u

t

• f

4 3

P r

• b

l e m

• S

p e c i i c T u n i n g

• S

G E M M t u n i n g f

• r

R a d e

• n

M 3 7 X G P U

• B

e s t

• n

t h e d i a g

• n

a l

• >

1 % d u e t

• r

a n d

• m

t u n i n g

SLIDE 32

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 2

• u

t

• f

4 3

P r

• b

l e m

• S

p e c i i c T u n i n g

• S

G E M M t u n i n g f

• r

R a d e

• n

M 3 7 X G P U

• B

e s t

• n

t h e d i a g

• n

a l

• >

1 % d u e t

• r

a n d

• m

t u n i n g

• G

a i n

• f

~ 2 x f

• r

s

• m

e c a s e s

d e f a u l t

SLIDE 33

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 3

• u

t

• f

4 3

H a l f

• p

r e c i s i

• n

l

• a

t i n g

• p
• i

n t ( F P 1 6 )

• D
• u

b l e

• p

r e c i s i

• n

( F P 6 4 ) n

• t

n e e d e d f

• r

d e e p

• l

e a r n i n g

• E

v e n F P 3 2 i s t

• m

u c h i n t r

• d

u c i n g → h a l f

• p

r e c i s i

• n

F P 1 6

• I

m p l e m e n t e d i n l

• w
• p
• w

e r d e v i c e s ( A R M M a l i , I n t e l G P U s ) a n d d e e p

• l

e a r n i n g s p e c i i c G P U s ( P 1 )

SLIDE 34

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 4

• u

t

• f

4 3

H a l f

• p

r e c i s i

• n

l

• a

t i n g

• p
• i

n t ( F P 1 6 )

• D
• u

b l e

• p

r e c i s i

• n

( F P 6 4 ) n

• t

n e e d e d f

• r

d e e p

• l

e a r n i n g

• E

v e n F P 3 2 i s t

• m

u c h i n t r

• d

u c i n g → h a l f

• p

r e c i s i

• n

F P 1 6

• I

m p l e m e n t e d i n l

• w
• p
• w

e r d e v i c e s ( A R M M a l i , I n t e l G P U s ) a n d d e e p

• l

e a r n i n g s p e c i i c G P U s ( P 1 )

• P
• t

e n t i a l f

• r

2 x s a v i n g s i n : b a n d w i d t h , s t

• r

a g e , c

• m

p u t e , e n e r g y

SLIDE 35

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 5

• u

t

• f

4 3

H a l f

• p

r e c i s i

• n

l

• a

t i n g

• p
• i

n t ( F P 1 6 )

• D
• u

b l e

• p

r e c i s i

• n

( F P 6 4 ) n

• t

n e e d e d f

• r

d e e p

• l

e a r n i n g

• E

v e n F P 3 2 i s t

• m

u c h i n t r

• d

u c i n g → h a l f

• p

r e c i s i

• n

F P 1 6

• I

m p l e m e n t e d i n l

• w
• p
• w

e r d e v i c e s ( A R M M a l i , I n t e l G P U s ) a n d d e e p

• l

e a r n i n g s p e c i i c G P U s ( P 1 )

• P
• t

e n t i a l f

• r

2 x s a v i n g s i n : b a n d w i d t h , s t

• r

a g e , c

• m

p u t e , e n e r g y

• C

u r r e n t F P 1 6 s u p p

• r

t f

• r

G P U s :

– c

u B L A S : H G E M M

• n

l y

– c

l B L A S : n

• F

P 1 6 a t a l l

– C

L B l a s t : a l l r

• u

t i n e s !

SLIDE 36

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 6

• u

t

• f

4 3

H a l f

• p

r e c i s i

• n

F P 1 6

• n

I n t e l S k y l a k e G P U

• F

P 1 6 ~ 1 . 8 x f a s t e r a c r

• s

s t h e b

• a

r d !

F P 3 2 F P 1 6 c l B L A S

SLIDE 37

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 7

• u

t

• f

4 3

B a t c h i n g B L A S r

• u

t i n e s

• S

m a l l

• s

i z e d G E M M i s s u p e r s l

• w

– N

• t

e n

• u

g h w

• r

k

• g

r

• u

p s

– N

• t

e n

• u

g h t h r e a d s

SLIDE 38

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 8

• u

t

• f

4 3

B a t c h i n g B L A S r

• u

t i n e s

• S

m a l l

• s

i z e d G E M M i s s u p e r s l

• w

– N

• t

e n

• u

g h w

• r

k

• g

r

• u

p s

– N

• t

e n

• u

g h t h r e a d s

• L

e t ’ s m a k e i t f a s t a g a i n :

– C

• m

b i n e m u l t i p l e s m a l l G E M M

• p

e r a t i

• n

s i n t

• a

s i n g l e k e r n e l

– U

s e

• f

s e t s t

• i

n d i c a t e w h e r e t h e n e x t m a t r i c e s s t a r t

SLIDE 39

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 3 9

• u

t

• f

4 3

B a t c h e d G E M M

• n

G e F

• r

c e G T X 7 5 T i

• S

G E M M 1 2 8 x 1 2 8 x 1 2 8 :

– R

e g u l a r : ~ 4 G F L O P S

– B

a t c h e d : ~ 1 G F L O P S ( 1 G E M M ) u p t

• ~

5 G F L O P S ( 8 K ) !

batch size

SLIDE 40

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 4

• u

t

• f

4 3

B a t c h e d G E M M

• n

G e F

• r

c e G T X 7 5 T i

• S

i g n i i c a n t b e n e i t s f

• r

l a r g e r s i z e s a s w e l l

– m

• s

t l y b e n e i c i a l i n t h e r a n g e n = 6 4 t i l l 5 1 2

8 G E MMs 6 4 G E MMs

SLIDE 41

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 4 1

• u

t

• f

4 3

Wh a t ’ s n e x t ?

• M
• r

e f e a t u r e s f

• r

d e e p l e a r n i n g :

– ‘

i m 2 c

• l

’

– Wi

n

• g

r a d ? F F T ?

• I

n p u t

• b

a s e d a u t

• t

u n i n g u s i n g l e a r n e d m

• d

e l s

– S

i m i l a r t

• S

7 1 5 : T h e I S A A C l i b r a r y

• I

n t e g r a t i

• n

i n t

• O

p e n C L d e e p

• l

e a r n i n g p r

• j

e c t s

– T

e n s

• r

F l

• w

S Y C L ? L i b D N N ?

• S

u g g e s t i

• n

s ?

SLIDE 42

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 4 2

• u

t

• f

4 3

Wh y i s B L A S I m p

• r

t a n t f

• r

?

• H

D M a p m a k i n g D e e p

• l

e a r n i n g →

• D

e e p

• l

e a r n i n g F a s t B L A S l i b r a r i e s →

• M
• r

e i n f

• :

S 7 8 9

• A

M u l t i

• S
• u

r c e , M u l t i

• S

e n s

• r

A p p r

• a

c h t

• H

D M a p C r e a t i

• n

–

Wi l l e m S t r i j b

• s

c h

• H

e a d

• f

A u t

• n
• m
• u

s D r i v i n g , T

• m

T

• m

–

T

• d

a y a t 1 : 3 A M i n r

• m

2 1 D

SLIDE 43

C L B l a s t : T u n e d O p e n C L B L A S C e d r i c N u g t e r e n , T

• m

T

• m

S l i d e 4 3

• u

t

• f

4 3

C

• n

c l u s i

• n
• I

n t r

• d

u c i n g C L B l a s t : a m

• d

e r n C + + 1 1 O p e n C L B L A S l i b r a r y

• P

e r f

• r

m a n c e p

• r

t a b l e t h a n k s t

• g

e n e r i c k e r n e l s a n d a u t

• t

u n i n g

• E

s p e c i a l l y t a r g e t e d a t a c c e l e r a t i n g d e e p

• l

e a r n i n g :

– P

r

• b

l e m

• s

i z e s p e c i i c t u n i n g :

• U

p t

• 2

x i n a n e x a m p l e e x p e r i m e n t

– H

a l f

• p

r e c i s i

• n

F P 1 6 s u p p

• r

t :

• U

p t

• 2

x b e n e i t i n s p e e d a n d m e m

• r

y s a v i n g s

– B

a t c h e d G E M M r

• u

t i n e :

• O

r d e r

• f

m a g n i t u d e b e n e i t d e p e n d i n g

• n

t h e u s e

• c

a s e

SLIDE 44

C L B l a s t : A T u n e d B L A S L i b r a r y

f

• r

F a s t e r D e e p L e a r n i n g

C e d r i c N u g t e r e n M a y 1 1 , 2 1 7 h t t p : / / g i t h u b . c

• m

/ c n u g t e r e n / c l b l a s t h t t p : / / c n u g t e r e n . g i t h u b . i

• /

c l b l a s t