[PPT] - E C O N O MI C E V E N T D E T E C T I O N F O PowerPoint Presentation

SLIDE 1

E C O N O MI C E V E N T D E T E C T I O N F O R C O MP A N Y

S

P E C I F I C N E WS T E X T

G i l l e s J a c

b

s g i l l e s m . j a c

b

s @ u g e n t . b e E l s L e f e v e r e l s . l e f e v e r @ u g e n t . b e V é r

n

i q u e H

s

t e v e r

n

i q u e . h

s

t e @ u g e n t . b e

L a n g u a g e & T r a n s l a t i

n

T e c h n

l
g

y T e a m ( L T 3 ) , G h e n t U n i v e r s i t y E C O N L P @ A C L 2 1 8 , M e l b

u

r n e , A u s t r a l i a

SLIDE 2

2

O U T L I N E

1 . I n t r

d

u c t i

n

2 . D a t a s e t d e s c r i p t i

n

3 . E x p e r i m e n t s 4 . E r r

r

a n a l y s i s 5 . C

n

c l u s i

n

6 . L i m i t a t i

n

s & f u t u r e w

r

k

SLIDE 3

3

I N T R O D U C T I O N

T

a s k : E v e n t m e n t i

n

d e t e c t i

n

a n d t y p i n g f

r

e c

n
m

i c e v e n t s i n c

m

p a n y

s

p e c i fj c n e w s .

E

v e n t c

n

c e p t u a l i z a t i

n

: “ t e x t u a l l y r e p

r

t e d r e a l

w
r

l d

c

c u r r e n c e s , a c t i

n

s , s i t u a t i

n

s i n v

l

v i n g c

m

p a n i e s ” “ However, revenues from voice and text fell in the period.” → T u r n

v

e r e v e n t “ So far, free cash flow has been used to finance share buybacks and dividend increases.” → S h a r e b u y b a c k e v e n t “ It will increase the number of Barclays’ customers in France by 25 per cent.” → S a l e s V

l

u m e e v e n t

SLIDE 4

4

I N T R O D U C T I O N

A

p p l i c a t i

n

s :

E

c

n
m

i c s ( a c a d e m i c ) : e v e n t s t u d i e s ( M a c K i n l a y , 1 9 9 7 ) ; a s s e s s i n g i m p a c t

f

n e w s e v e n t s ( B

u

d

u

k h e t a l . , 2 1 6 )

S

e c u r i t y p r i c e p r e d i c t i

n

, b u s i n e s s i n t e l l i g e n c e , t r a d i n g s t r a t e g i e s , e t c .

C

u r r e n t m e t h

d

s a r e p a t t e r n

r

k n

w

l e d g e

b

a s e d ( F e l d m a n e t a l . , 2 1 1 ; A r e n d a r e n k

a

n d K a k k

n

e n , 2 1 2 ; H

g

e n b

m

e t a l . , 2 1 3 ; D u e t a l . , 2 1 6 ) : l a r g e l y h a n d m a d e

n

t

l
g

i e s .

S

u p e r v i s e d , d a t a

d

r i v e n m e t h

d

s : p

t

e n t i a l t

g

e n e r a l i z e

v

e r l e x i c a l v a r i a t i

n

.

→

r e q u i r e s a n n

t

a t e d g

l

d

s

t a n d a r d d a t a s e t .

C

u r r e n t l y n

r

e s

u

r c e s e x i s t f

r

s u p e r v i s e d e v e n t d e t e c t i

n

i n e c

n
m

i c d

m

a i n .

I

n g e n e r a l

d
m

a i n e v e n t d e t e c t i

n

: l a r g e a m

u

n t

f

r e s

u

r c e s ( e . g . A C E / E R E ( T A C

K

B P ) ( A g u i l a r e t a l . , 2 1 4 ) ) .

SLIDE 5

5

D A T A S E T D E S C R I P T I O N

O

u r S e n t i F M d a t a s e t e n a b l e s e v e n t m e n t i

n

d e t e c t i

n

a n d t y p i n g ( ! = e v e n t e x t r a c t i

n

w i t h a r g u m e n t s l

t

s ) .

7

c

mp

a n i e s s e l e c t e d f

r

s e c t

r

d i v e r s i fj c a t i

n

.

4

9 7 n e w s a r t i c l e s f r

m

t h e F i n a n c i a l T i m e s ( 2 4

2

1 3 ) i n E n g l i s h .

2

5 2 2 e v e n t me n t i

n

s .

A

n n

t

a t i

n

s :

T
k

e n

l

e v e l a n n

t

a t i

n

: D i s c

n

t i n u

u

s a n d m u l t i

t
k

e n s p a n .

“

a b

u

t _ c

m

p a n y ” r e l a t i

n
n

e a c h e v e n t .

SLIDE 6

6

D A T A S E T D E S C R I P T I O N

D

u t c h c

u

n t e r p a r t a v a i l a b l e ( L e f e v e r a n d H

s

t e , 2 1 6 ) .

V

a l i d i t y

f

t h e a n n

t

a t i

n

s c h e m e w a s e v a l u a t e d

n

D u t c h s u b s e t :

7

8 . 4 1 % I n t e r

a

n n

t

a t

r

F 1

s

c

r

e .

E

v e n t t y p e s :

1

e v e n t t y p e s , t y p

l
g

y c

n

s t r u c t e d i t e r a t i v e l y

n

c

r

p u s s u b s a m p l e .

T

y p e

v

e r l a p w i t h S t

c

k S

n

a r ( F e l d m a n e t a l . , 2 1 1 ) a n d S P E E D

n

t

l
g

y ( H

g

e n b

m

, 2 1 3 ) .

SLIDE 7

7

E X P E R I ME N T S

G
a

l : p r

v

i d e a b a s e l i n e f

r

t h e d a t a s e t .

T

a s k : S e n t e n c e

l

e v e l e v e n t t y p i n g , m u l t i

l

a b e l c l a s s i fj c a t i

n

.

F

e a t u r e

e

n g i n e e r i n g + S V M.

L

e x i c a l f e a t u r e s : b a g

f
n
g

r a m ( t

k

e n , c h a r , l e m m a ) , s p e c i a l t

k

e n p r e s e n c e .

S

y n t a c t i c f e a t u r e s : P

S

a n d N E R

t

a g s .

K

e r n e l s : l i n e a r a n d R B F .

w

v e c + L S T M:

P

r e

t

r a i n e d , h

l

d

i

n s e t G l

V

e .

P

r e

t

r a i n e d , 6 B c

r

p u s G l

V

e .

N
p

r e

t

r a i n e d , t

k

e n

s

e q u e n c e i n p u t .

P

r e

t

r a i n e d v e c t

r

s c h

s

e n f r

m

m u l t i p l e c a n d i d a t e s b y q u a l i t y e v a l u a t i

n
n

a n a l

g

y t a s k .

SLIDE 8

8

E X P E R I ME N T A L S E T

U

P

E

v a l u a t i

n

: s u p p

r

t

w

e i g h t e d m a c r

F

1

n

1 % r a n d

m

h

l

d

u

t t e s t .

H

y p e r

p

a r a m e t e r

p

t i m i z a t i

n

:

S

V M

R

B F : 5

f
l

d c r

s

s

v

a l i d a t i

n

, g r i d

s

e a r c h .

S

V M

L

i n e a r : N

p

t i m i z a t i

n

, d e f a u l t L i b S V M h y p e r

p

a r a m e t e r s .

L

S T M : 3

f
l

d c r

s

s

v

a l i d a t i

n

, r a n d

m

i z e d

s

e a r c h ( 3 2 i t . ) .

S

V M :

n

e

v

s

r

e s t .

L

S T M : m u l t i

l

a b e l &

n

e

v

s

r

e s t ( f

r

b e s t i n p u t ) .

SLIDE 9

9

R E S U L T S : A L L S Y S T E MS

SLIDE 10

10

R E S U L T S : B E S T S V M & L S T M S Y S T E M, S C O R E S B Y T Y P E

SLIDE 11

11

E R R O R A N A L Y S I S

W

e p e r f

r

m e d q u a l i t a t i v e e r r

r

a n a l y s i s

n

b e s t s y s t e m p r e d i c t i

n

( S V M _ L i n e a r ) .

S
m

e e v e n t t y p e s h a v e h i g h l y i n d i c a t i v e l e x i c a l c l u e s f

r

s

m

e e v e n t s :

“

Home-serve, which also reports on Friday, rose 2.8% to pound(s) 17.54 after RBS upgraded from ”hold” to ”buy”

. → B u y R a t i n g :

f

t e n t r i g g e r e d b y u p g r a d e d , h

l

d , b u y .

M
s

t t y p e s s h

w

s t r

n

g l e x i c a l v a r i a t i

n

.

“

This could raise doubts about Vodafone’s target of reaching 10m subscribers by the end of the current financial year.”

“

It will increase the number of Barclays’ customers in France by 25 per cent.”

→

S a l e s V

l

u m e : d i fg e r e n t l e x i c a l t r i g g e r i t e m f

r

e a c h p

s

s i b l e p r

d

u c t

r

s e r v i c e ( e . g . , c u s t

m

e r s , v i e w e r s , d r i v e r s ) .

A

m b i g u

u

s l e x i c a l c l u e s

c

c u r i n s e v e r a l e v e n t c a t e g

r

i e s .

E

. g . , “ b u y ” : i n f

r

m s M e r g e r A c q u i s i t i

n

a n d B u y r a t i n g c a t e g

r

i e s .

C

l a s s i fj e r d i d n

t

p i c k u p

n

s

m

e s t r

n

g l e x i c a l c l u e s :

A

d d s e m a n t i c k n

w

l e d g e f r

m

s t r u c t u r e d r e s

u

r c e s f

r

s e m a n t i c g e n e r a l i z a t i

n

.

SLIDE 12

12

C O N C L U S I O N

1

s t g

l

d

s

t a n d a r d e v e n t d e t e c t i

n

d a t a s e t f

r

m i c r

e

c

n
m

i c d

m

a i n .

B

a s e l i n e e x p e r i m e n t s

n

s e n t e n c e

l

e v e l e v e n t t y p i n g : S a t i s f a c t

r

y p e r f

r

m a n c e w i t h s t r a i g h t

f
r

w a r d

n

e

v

s

r

e s t c l a s s i fj c a t i

n

m e t h

d

: S V M_ L i n e a r : 7 3 % F 1

s

c

r

e . L S T M _ 6 B

G

l

v

e : 7 % F 1

s

c

r

e .

SLIDE 13

13

L I MI T A T I O N S

C
r

p u s c

l

l e c t i

n

:

K

e y w

r

d

s

e a r c h t

r

e t r i e v e a r t i c l e s p e r e v e n t t y p e : i n t r

d

u c e s l e x i c a l b i a s .

T

y p e c

v

e r a g e c

u

l d b e i m p r

v

e d : 1 8 e v e n t t y p e s i n B

u

d h

u

k e t a l . ( 2 1 6 ) v s .

u

r 1 t y p e s .

B

a s e l i n e c l a s s i fj c a t i

n

t

e

l e m e n t a r y :

T

a s k : O u r d a t a

s

e t a l l

w

s f

r

t

k

e n

s

p a n e v e n t m e n t i

n

d e t e c t i

n

i n s t e a d

f

s e n t e n c e

l

e v e l .

S

t r a i g h t

f
r

w a r d c l a s s i fj e r s : m u c h r

m

f

r

i m p r

v

e m e n t a n d m

r

e a d v a n c e d a p p r

a

c h e s .

SLIDE 14

14

F U T U R E WO R K

C
l

l e c t m

r

e d a t a : N e w S E N T i V E N T d a t a s e t f

r

E R E

l

i k e e v e n t e x t r a c t i

n

c u r r e n t l y b e i n g a n n

t

a t e d .

R

a n d

m

l y c r a w l e d f

r

3 c

m

p a n i e s ( v s . S e n t i F M k e y w

r

d

s

e a r c h c

l

l e c t i

n

) .

L

a r g e r t y p e a n d s u b t y p e c

v

e r a g e .

E

n a b l e s m u l t i

t

a s k a p p r

a

c h u s i n g t h e c u r r e n t S e n t i F M d a t a s e t .

T

a s k : T

k

e n

s

p a n m e n t i

n

d e t e c t i

n

a n d e v e n t s u b t y p e d e t e c t i

n

.

C

r

s

s

l

i n g u a l e x p e r i m e n t s w i t h E n g l i s h a n d D u t c h d a t a s e t .

SLIDE 15

15

T H A N K Y O U ! Q U E S T I O N S ?

E

n g l i s h S e n t i F M d a t a s e t a n d e x p e r i me n t r e p l i c a t i

n

d a t a a v a i l a b l e h e r e : h t t p s : / /

s

f . i

/

e n u 2 k /

D

u t c h + E n g l i s h S e n t i F M d a t a s e t : a v a i l a b l e u p

n

r e q u e s t .

C
n

t a c t : G i l l e s J a c

b

s G i l l e s M. J a c

b

s @u g e n t . b e E l s L e f e v e r E l s . L e f e v e r @u g e n t . b e V é r

n

i q u e H

s

t e V e r

n

i q u e . H

s

t e @u g e n t . b e

SLIDE 16

16

R E F E R E N C E S

G i l l e s J a c

b

s , E l s L e f e v e r , a n d V é r

n

i q u e H

s

t e . 2 1 8 . E c

n
m

i c e v e n t d e t e c t i

n

i n c

m

p a n y

s

p e c i fj c n e w s t e x t . I n P r

c

e e d i n g s

f

t h e 1 s t W

r

k s h

p
n

E c

n
m

i c s a n d N L P ( E C O N L P ) . A C L 2 1 8 , M e l b

u

r n e , A U S , 1

1

. C r a i g M a c K i n l a y . 1 9 9 7 . E v e n t S t u d i e s i n E c

n
m

i c s a n d F i n a n c e . J

u

r n a l

f

E c

n
m

i c L i t e r a t u r e , 3 5 ( 1 ) : 1 3 – 3 9 . J a c

b

B

u

d

u

k h , R

n

e n F e l d m a n , S h i m

n

K

g

a n , a n d M a t t h e w P R i c h a r d s

n

. 2 1 6 . I n f

r

m a t i

n

, t r a d i n g , a n d v

l

a t i l i t y : E v i d e n c e f r

m

fj r m

s

p e c i fj c n e w s . S S R N W

r

k i n g P a p e r 2 1 9 3 6 6 7 . R

n

e n F e l d m a n , B e n j a m i n R

s

e n f e l d , R

y

B a r

H

a i m , a n d M

s

h e F r e s k

.

2 1 1 . T h e s t

c

k s

n

a r s e n t i m e n t a n a l y s i s

f

s t

c

k s b a s e d

n

a h y b r i d a p p r

a

c h . I n T w e n t y

T

h i r d I A A I C

n

f e r e n c e . E r n e s t A r e n d a r e n k

a

n d T u

m
K

a k k

n

e n . 2 1 2 . O n t

l
g

y

B

a s e d I n f

r

m a t i

n

a n d E v e n t E x t r a c t i

n

f

r

B u s i n e s s I n t e l l i g e n c e . I n A r t i fj c i a l I n t e l l i g e n c e : M e t h

d
l
g

y , S y s t e m s , a n d A p p l i c a t i

n

s , v

l

u m e 7 5 5 7

f

L e c t u r e N

t

e s i n C

m

p u t e r S c i e n c e , p a g e s 8 9 – 1 2 . S p r i n g e r . A l e x a n d e r H

g

e n b

m

, F r e d e r i k H

g

e n b

m

, F l a v i u s F r a s i n c a r , K i m S c h

u

t e n , a n d O t t

v

a n d e r M e e r . 2 1 3 . S e m a n t i c s

B

a s e d I n f

r

m a t i

n

E x t r a c t i

n

f

r

D e t e c t i n g E c

n
m

i c E v e n t s . M u l t i m e d i a T

l

s a n d A p p l i c a t i

n

s , 6 4 ( 1 ) : 2 7 – 5 2 . M i a n D u , L i d i a P i v

v

a r

v

a , a n d R

m

a n Y a n g a r b e r . 2 1 6 . P U L S : n a t u r a l l a n g u a g e p r

c

e s s i n g f

r

b u s i n e s s i n t e l l i g e n c e . I n P r

c

e e d i n g s

f

t h e 2 1 6 W

r

k s h

p
n

H u m a n L a n g u a g e T e c h n

l
g

y , p a g e s 1 – 8 . J a c q u e l i n e A g u i l a r , C h a r l e y B e l l e r , P a u l M c N a m e e , B e n j a m i n V a n D u r m e , S t e p h a n i e S t r a s s e l , Z h i y i S

n

g , a n d J

e

E l l i s . 2 1 4 . A c

m

p a r i s

n
f

t h e e v e n t s a n d r e l a t i

n

s a c r

s

s A C E , E R E , T A C

K

B P , a n d F r a m e N e t a n n

t

a t i

n

s t a n d a r d s . I n P r

c

e e d i n g s

f

t h e S e c

n

d W

r

k s h

p
n

E V E N T S : D e fj n i t i

n

, D e t e c t i

n

, C

r

e f e r e n c e , a n d R e p r e s e n t a t i

n

, p a g e s 4 5 – 5 3 . E l s L e f e v e r a n d V e r

n

i q u e H

s

t e . 2 1 6 . A c l a s s i fj c a t i

n
b

a s e d a p p r

a

c h t

e

c

n
m

i c e v e n t d e t e c t i

n

i n d u t c h n e w s t e x t . I n P r

c

e e d i n g s

f

t h e T e n t h I n t e r n a t i

n

a l C

n

f e r e n c e

n

L a n g u a g e R e s

u

r c e s a n d E v a l u a t i

n

( L R E C ’ 1 6 ) , p a g e s 3 3 – 3 3 5 . E u r

p

e a n L a n g u a g e R e s

u

r c e s A s s

c

i a t i

n