SLIDE 1
Neural ¡CRF ¡Parsing
Greg ¡Durre2 ¡and ¡Dan ¡Klein ¡
- UC ¡Berkeley
Neural CRF Parsing Greg Durre2 and Dan Klein UC Berkeley - - PowerPoint PPT Presentation
Neural CRF Parsing Greg Durre2 and Dan Klein UC Berkeley - - PowerPoint PPT Presentation
Neural CRF Parsing Greg Durre2 and Dan Klein UC Berkeley Parsing with CKY Parsing with CKY He gave a long speech on foreign
SLIDE 2
SLIDE 3
Parsing ¡with ¡CKY
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
SLIDE 4
Parsing ¡with ¡CKY
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP
SLIDE 5
Parsing ¡with ¡CKY
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
SLIDE 6
Parsing ¡with ¡CKY
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
SLIDE 7
Parsing ¡with ¡CKY
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
SLIDE 8
Discrete ¡Structure
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
SLIDE 9
Discrete ¡Structure
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
SLIDE 10
Discrete ¡Structure
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score =
PP NP NP
Pr
NP
SLIDE 11
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Socher ¡et ¡al. ¡(2013)]
ConNnuous ¡Structure
SLIDE 12
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Socher ¡et ¡al. ¡(2013)]
ConNnuous ¡Structure
SLIDE 13
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Socher ¡et ¡al. ¡(2013)]
Powerful ¡nonlinear ¡featurizaNon…
ConNnuous ¡Structure
SLIDE 14
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Socher ¡et ¡al. ¡(2013)]
Powerful ¡nonlinear ¡featurizaNon…but ¡inference ¡is ¡now ¡intractable.
ConNnuous ¡Structure
SLIDE 15
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)]
SLIDE 16
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] 2 5 8
SLIDE 17
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] 2 5 8
SLIDE 18
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] FirstWord=a, ¡… 2 5 8
SLIDE 19
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] FirstWord=a, ¡… 2 5 8
SLIDE 20
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] FirstWord=a, ¡… 2 5 8
- Discrete ¡structure ¡with ¡discrete ¡features
SLIDE 21
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] FirstWord=a, ¡… 2 5 8
- Discrete ¡structure ¡with ¡discrete ¡features
- Efficient ¡inference ¡via ¡basic ¡CKY…
SLIDE 22
CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
[Taskar ¡et ¡al. ¡(2004), ¡Finkel ¡et ¡al. ¡(2008), ¡Hall ¡et ¡al. ¡(2014)] FirstWord=a, ¡… 2 5 8
- Discrete ¡structure ¡with ¡discrete ¡features
- Efficient ¡inference ¡via ¡basic ¡CKY…but ¡the ¡model ¡is ¡typically ¡linear
SLIDE 23
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
SLIDE 24
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
SLIDE 25
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
SLIDE 26
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
SLIDE 27
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
neural ¡network
SLIDE 28
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
neural ¡network
SLIDE 29
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
neural ¡network
- Neural ¡networks ¡score ¡decisions ¡locally ¡
(Collobert ¡et ¡al., ¡2011)
SLIDE 30
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
neural ¡network
- Neural ¡networks ¡score ¡decisions ¡locally ¡
(Collobert ¡et ¡al., ¡2011)
- Discrete ¡structure ¡with ¡con$nuous ¡features
SLIDE 31
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
neural ¡network
- Neural ¡networks ¡score ¡decisions ¡locally ¡
(Collobert ¡et ¡al., ¡2011)
- Inference ¡is ¡sNll ¡efficient…
- Discrete ¡structure ¡with ¡con$nuous ¡features
SLIDE 32
Neural ¡CRF ¡Parsing
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
PP NP NP
score
2 5 8
a speech
- n
policy
neural ¡network
- Neural ¡networks ¡score ¡decisions ¡locally ¡
(Collobert ¡et ¡al., ¡2011)
- Inference ¡is ¡sNll ¡efficient…and ¡we ¡get ¡nonlinear ¡featurizaNon!
- Discrete ¡structure ¡with ¡con$nuous ¡features
SLIDE 33
Model
SLIDE 34
Basic ¡CRF ¡Model
[Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
NP PP NP
SLIDE 35
Basic ¡CRF ¡Model
[Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
NP PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
SLIDE 36
Basic ¡CRF ¡Model
[Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
NP PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 37
Basic ¡CRF ¡Model
[Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
w>f
NP PP NP
2 5 8
= NP PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 38
Basic ¡CRF ¡Model
[Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
w>f
NP PP NP
2 5 8
= NP PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 39
Basic ¡CRF ¡Model
FirstWord ¡= ¡a ∧ [Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
w>f
NP PP NP
2 5 8
= NP PP NP
NP PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 40
Basic ¡CRF ¡Model
FirstWord ¡= ¡a ∧ [Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
w>f
NP PP NP
2 5 8
= NP PP NP
NP PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 41
Basic ¡CRF ¡Model
FirstWord ¡= ¡a ∧ [Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
w>f
NP PP NP
2 5 8
= NP PP NP
NP PP NP
PrevWord ¡= ¡gave∧ NP
PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 42
Basic ¡CRF ¡Model
FirstWord ¡= ¡a ∧ [Hall, ¡Durre5, ¡Klein ¡(2014)]
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
w>f
NP PP NP
2 5 8
= NP PP NP
NP PP NP
PrevWord ¡= ¡gave∧ NP
PP NP
P(T|x) ∝ Y
r∈T
exp (score(r))
NP PP NP
2 5 8
score
SLIDE 43
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
NP PP NP
2 5 8
score
SLIDE 44
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave Surface ¡feature
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
NP PP NP
2 5 8
score
SLIDE 45
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave Surface ¡feature Label ¡feature
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
NP PP NP
2 5 8
score
SLIDE 46
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave First ¡= ¡a, Prev ¡= ¡gave,… Surface ¡feature Label ¡feature
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
s
NP PP NP
2 5 8
score
SLIDE 47
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave First ¡= ¡a, Prev ¡= ¡gave,
NP …
… Surface ¡feature Label ¡feature
NP PP NP
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
`
s
NP PP NP
2 5 8
score
SLIDE 48
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave First ¡= ¡a, Prev ¡= ¡gave,
NP …
… Surface ¡feature Label ¡feature
NP PP NP
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
`
s
Fi,j = si`j
NP PP NP
2 5 8
score
SLIDE 49
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave First ¡= ¡a, Prev ¡= ¡gave,
NP …
…
= W
Surface ¡feature Label ¡feature
NP PP NP
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
`
s
Fi,j = si`j
NP PP NP
2 5 8
score
SLIDE 50
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave First ¡= ¡a, Prev ¡= ¡gave,
NP …
…
= W
Surface ¡feature Label ¡feature
s
X X X
2 5 8 NP PP NP
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
`
s
Fi,j = si`j
NP PP NP
2 5 8
score
SLIDE 51
Basic ¡CRF ¡Model
FirstWord ¡= ¡a PrevWord ¡= ¡gave First ¡= ¡a, Prev ¡= ¡gave,
NP …
…
= W
Surface ¡feature Label ¡feature
s
X X X
2 5 8 NP PP NP
NP PP NP
`>
∧ ∧
w>f
NP PP NP
2 5 8
=
NP PP NP NP PP NP
`
s
Fi,j = si`j
NP PP NP
2 5 8
score
SLIDE 52
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
= W s
X X X
2 5 8
NP PP NP
`>
SLIDE 53
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
= W s
X X X
2 5 8
NP PP NP
`>
SLIDE 54
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
SLIDE 55
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
v
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
SLIDE 56
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
v
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
s
SLIDE 57
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
v
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
s
- ne-‑layer ¡NN
SLIDE 58
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
v
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
100-‑dim ¡vectors ¡ (Bansal ¡et ¡al., ¡2014)
= W s
X X X
2 5 8
NP PP NP
`>
s
- ne-‑layer ¡NN
SLIDE 59
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
v
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
100-‑dim ¡vectors ¡ (Bansal ¡et ¡al., ¡2014) 200-‑dim ¡vector
= W s
X X X
2 5 8
NP PP NP
`>
s
- ne-‑layer ¡NN
SLIDE 60
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
v
s
- ne-‑layer ¡NN
SLIDE 61
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
v
s
- ne-‑layer ¡NN
SLIDE 62
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
= W s
X X X
2 5 8
NP PP NP
`>
v
s
- ne-‑layer ¡NN
SLIDE 63
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
Neural
= W s
X X X
2 5 8
NP PP NP
`>
v
s
- ne-‑layer ¡NN
SLIDE 64
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
Sparse Neural
= W s
X X X
2 5 8
NP PP NP
`>
s
v
s
- ne-‑layer ¡NN
SLIDE 65
NP PP NP
2 5 8
score
Neural ¡CRF ¡Model
He ¡ ¡gave ¡ ¡a ¡ ¡long ¡ ¡speech ¡ ¡on ¡ ¡foreign ¡ ¡policy ¡ ¡.
1 2 3 4 5 6 7 8 9
Sparse Neural Neural+Sparse
= W s
X X X
2 5 8
NP PP NP
`>
s s
v
s
- ne-‑layer ¡NN
SLIDE 66
Inference
SLIDE 67
Inference
Just ¡CKY!
SLIDE 68
Inference
… ¡with ¡coarse ¡pruning ¡and ¡caching ¡of ¡neural ¡net ¡opera^ons
Just ¡CKY!
(Goodman, ¡1997) (Chen ¡and ¡Manning, ¡2014)
SLIDE 69
Inference
… ¡with ¡coarse ¡pruning ¡and ¡caching ¡of ¡neural ¡net ¡opera^ons
Just ¡CKY!
Roughly ¡2x ¡slower ¡than ¡with ¡sparse ¡features ¡alone (Goodman, ¡1997) (Chen ¡and ¡Manning, ¡2014)
SLIDE 70
Learning
SLIDE 71
Learning
Just ¡Maximum ¡Likelihood!
SLIDE 72
Learning
Just ¡Maximum ¡Likelihood!
… ¡with ¡backpropaga^on ¡through ¡each ¡local ¡neural ¡network
SLIDE 73
Learning
Op^miza^on: ¡Adadelta ¡(Zeiler, ¡2012) ¡worked ¡slightly ¡be5er ¡than ¡ Adagrad ¡(Duchi ¡et ¡al., ¡2011)
Just ¡Maximum ¡Likelihood!
… ¡with ¡backpropaga^on ¡through ¡each ¡local ¡neural ¡network
SLIDE 74
Results
SLIDE 75
87 88 89 90 91 92
90.1
Sparse
Results: ¡English ¡Treebank ¡(Dev)
Dev ¡set ¡F1 ¡all ¡lengths
SLIDE 76
87 88 89 90 91 92
90.4 90.1
Sparse Neural
Results: ¡English ¡Treebank ¡(Dev)
Dev ¡set ¡F1 ¡all ¡lengths
SLIDE 77
87 88 89 90 91 92
91.3 90.4 90.1
Sparse+ ¡ Neural Sparse Neural
Results: ¡English ¡Treebank ¡(Dev)
Dev ¡set ¡F1 ¡all ¡lengths
SLIDE 78
87 88 89 90 91 92
90.2 91.3 90.4 90.1
Sparse+ ¡ Neural Sparse Neural Sparse+ ¡ Brown
Results: ¡English ¡Treebank ¡(Dev)
Dev ¡set ¡F1 ¡all ¡lengths
SLIDE 79
87 88 89 90 91 92
90.2 91.3 90.4 90.1
Sparse+ ¡ Neural Sparse Neural Sparse+ ¡ Brown
Results: ¡English ¡Treebank ¡(Dev)
Dev ¡set ¡F1 ¡all ¡lengths
SLIDE 80
Word ¡Vectors
87 88 89 90 91 92
90.4
Dev ¡set ¡F1 ¡all ¡lengths Bansal ¡et ¡al.
SLIDE 81
Word ¡Vectors
87 88 89 90 91 92
90.4
Dev ¡set ¡F1 ¡all ¡lengths Bansal ¡et ¡al.
SLIDE 82
Word ¡Vectors
87 88 89 90 91 92
89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths Collobert ¡and ¡ Weston Bansal ¡et ¡al.
SLIDE 83
Word ¡Vectors
87 88 89 90 91 92
89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths Collobert ¡and ¡ Weston Dependency ¡ context 11-‑word ¡ surface ¡context Bansal ¡et ¡al.
SLIDE 84
Word ¡Vectors
87 88 89 90 91 92
89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths Collobert ¡and ¡ Weston
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
Dependency ¡ context 11-‑word ¡ surface ¡context Bansal ¡et ¡al.
SLIDE 85
Word ¡Vectors
87 88 89 90 91 92
89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths Collobert ¡and ¡ Weston
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
Bansal ¡et ¡al.
SLIDE 86
Word ¡Vectors
87 88 89 90 91 92
89.0 89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
Bansal ¡et ¡al. word2vec ¡
- n ¡PTB
Collobert ¡and ¡ Weston
SLIDE 87
Word ¡Vectors
87 88 89 90 91 92
89.0 89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
Bansal ¡et ¡al. word2vec ¡
- n ¡PTB
Collobert ¡and ¡ Weston
SLIDE 88
Word ¡Vectors
87 88 89 90 91 92
89.0 89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
Bansal ¡et ¡al. word2vec ¡
- n ¡PTB
Collobert ¡and ¡ Weston 1M ¡tokens 30M ¡tokens
SLIDE 89
Word ¡Vectors
87 88 89 90 91 92
89.0 89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
Bansal ¡et ¡al. word2vec ¡
- n ¡PTB
Collobert ¡and ¡ Weston
91.3
90.9 Sparse+ Sparse+
SLIDE 90
Word ¡Vectors
87 88 89 90 91 92
89.0 89.6 90.4
Dev ¡set ¡F1 ¡all ¡lengths
- Syntac^c ¡vectors ¡are ¡best ¡for ¡parsing ¡(Bansal ¡et ¡al., ¡2014; ¡Levy ¡and ¡Goldberg, ¡2014)
- Don’t ¡need ¡huge ¡unlabeled ¡corpora ¡for ¡these ¡methods ¡to ¡be ¡effec^ve
Bansal ¡et ¡al. word2vec ¡
- n ¡PTB
Collobert ¡and ¡ Weston
91.3
90.9 Sparse+ Sparse+
SLIDE 91
87 88 89 90 91 92
91.1
Test ¡set ¡F1 ¡all ¡lengths Neural+ ¡ Sparse
Results: ¡English ¡Treebank ¡(Test)
SLIDE 92
87 88 89 90 91 92
89.2 91.1
Test ¡set ¡F1 ¡all ¡lengths Sparse Neural+ ¡ Sparse
Results: ¡English ¡Treebank ¡(Test)
SLIDE 93
87 88 89 90 91 92
90.1 89.2 91.1
Test ¡set ¡F1 ¡all ¡lengths Sparse Berkeley
Petrov+ ¡06
Neural+ ¡ Sparse
Results: ¡English ¡Treebank ¡(Test)
SLIDE 94
87 88 89 90 91 92
91.1 90.1 89.2 91.1
Test ¡set ¡F1 ¡all ¡lengths Sparse Berkeley CCK
Petrov+ ¡06 Carreras+ ¡08
Neural+ ¡ Sparse
Results: ¡English ¡Treebank ¡(Test)
SLIDE 95
87 88 89 90 91 92
91.3 91.1 90.1 89.2 91.1
Test ¡set ¡F1 ¡all ¡lengths Sparse Berkeley CCK ZPar
Petrov+ ¡06 Carreras+ ¡08 Zhu+ ¡13
Neural+ ¡ Sparse
Results: ¡English ¡Treebank ¡(Test)
SLIDE 96
87 88 89 90 91 92
91.3 91.1 90.1 89.2 91.1
Test ¡set ¡F1 ¡all ¡lengths Sparse Berkeley CCK ZPar
Petrov+ ¡06 Carreras+ ¡08 Zhu+ ¡13
Neural+ ¡ Sparse
Results: ¡English ¡Treebank ¡(Test)
SLIDE 97
87 88 89 90 91 92
90.4 91.3 91.1 90.1 89.2 91.1
Test ¡set ¡F1 ¡all ¡lengths Sparse Berkeley CVG CCK ZPar
Petrov+ ¡06 Socher+ ¡13 Carreras+ ¡08 Zhu+ ¡13
Neural+ ¡ Sparse (reranking ¡ ensemble)
Results: ¡English ¡Treebank ¡(Test)
SLIDE 98
Related ¡Work
SLIDE 99
Related ¡Work
- Transi^on-‑based ¡neural ¡parsers: ¡Henderson ¡(2003), ¡Chen ¡and ¡
Manning ¡(2014)
SLIDE 100
Related ¡Work
- Transi^on-‑based ¡neural ¡parsers: ¡Henderson ¡(2003), ¡Chen ¡and ¡
Manning ¡(2014)
- Local ¡decisions ¡only: ¡Belinkov ¡et ¡al. ¡(2014)
SLIDE 101
Related ¡Work
- Transi^on-‑based ¡neural ¡parsers: ¡Henderson ¡(2003), ¡Chen ¡and ¡
Manning ¡(2014)
- Local ¡decisions ¡only: ¡Belinkov ¡et ¡al. ¡(2014)
- Sequence-‑to-‑sequence ¡LSTM: ¡Vinyals ¡et ¡al. ¡(2014)
SLIDE 102
Results: ¡Other ¡Languages
SLIDE 103
Results: ¡Other ¡Languages
- Nine ¡morphologically-‑rich ¡languages ¡from ¡the ¡SPMRL ¡shared ¡task
SLIDE 104
Results: ¡Other ¡Languages
- Word ¡vectors ¡trained ¡on ¡SPMRL ¡monolingual ¡data ¡with ¡word2vec ¡
(approximately ¡100M ¡tokens ¡per ¡language)
- Nine ¡morphologically-‑rich ¡languages ¡from ¡the ¡SPMRL ¡shared ¡task
SLIDE 105
Results: ¡Other ¡Languages
Test ¡set ¡F1 ¡all ¡lengths
70 75 80 85 90 95
85.1 83.2
Hall ¡et ¡al. ¡(2014) Sparse+Neural
Average
SLIDE 106
Results: ¡Other ¡Languages
Test ¡set ¡F1 ¡all ¡lengths
70 75 80 85 90 95
85.1 83.2
Hall ¡et ¡al. ¡(2014) Sparse+Neural
Average
SLIDE 107
Results: ¡Other ¡Languages
Arabic Basque French German Hebrew Hungarian Korean Polish Swedish
Test ¡set ¡F1 ¡all ¡lengths
70 75 80 85 90 95
85.1 83.2
Hall ¡et ¡al. ¡(2014) Sparse+Neural
Average
SLIDE 108
Results: ¡Other ¡Languages
Arabic Basque French German Hebrew Hungarian Korean Polish Swedish
Test ¡set ¡F1 ¡all ¡lengths
70 75 80 85 90 95
85.1 83.2
Hall ¡et ¡al. ¡(2014) Sparse+Neural
- Works ¡well ¡even ¡on ¡smaller ¡treebanks
Average
SLIDE 109
Conclusion
SLIDE 110
Conclusion
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 111
Conclusion
s
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 112
Conclusion
Feedforward
He gave a long speech
- n
foreign policy .
s
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 113
Conclusion
Convolu^onal
He gave a long speech
- n
foreign policy .
s
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 114
Conclusion
LSTM
He gave a long speech
- n
foreign policy .
s
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 115
Conclusion
LSTM
He gave a long speech
- n
foreign policy .
s
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 116
Conclusion
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
SLIDE 117
Conclusion
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
- Inference ¡and ¡learning ¡are ¡unchanged ¡from ¡the ¡purely ¡discrete ¡model
SLIDE 118
Conclusion
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
- Inference ¡and ¡learning ¡are ¡unchanged ¡from ¡the ¡purely ¡discrete ¡model
- High ¡performance ¡on ¡cons^tuency ¡parsing ¡for ¡a ¡range ¡of ¡languages
SLIDE 119
Conclusion
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
- Inference ¡and ¡learning ¡are ¡unchanged ¡from ¡the ¡purely ¡discrete ¡model
- High ¡performance ¡on ¡cons^tuency ¡parsing ¡for ¡a ¡range ¡of ¡languages
nlp.cs.berkeley.edu/projects/neuralcrf.shtml
SLIDE 120
Conclusion
- Neural ¡nets ¡can ¡combine ¡with ¡CRFs ¡to ¡provide ¡con^nuous ¡features ¡
in ¡discrete ¡structured ¡models
- Inference ¡and ¡learning ¡are ¡unchanged ¡from ¡the ¡purely ¡discrete ¡model
- High ¡performance ¡on ¡cons^tuency ¡parsing ¡for ¡a ¡range ¡of ¡languages
Thank ¡you!
nlp.cs.berkeley.edu/projects/neuralcrf.shtml