Agenda 8:30 Classifica1on&localiza1on 9:50 - - PowerPoint PPT Presentation
Large Scale Visual Recogni1on Challenge (ILSVRC) 2013: Introduc)on Fei-Fei
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Large ¡Scale ¡Visual ¡
Recogni1on ¡Challenge ¡(ILSVRC) ¡2013: ¡ Introduc)on ¡
Olga ¡Russakovsky ¡ (Stanford ¡U.) ¡ Jia ¡Deng ¡ ¡ (U. ¡of ¡Michigan) ¡ Jonathan ¡Krause ¡ (Stanford ¡U.) ¡ Alexander ¡Berg ¡ (UNC ¡Chapel ¡Hill) ¡ Fei-‑Fei ¡Li ¡ (Stanford ¡U.) ¡
8:30 ¡ ¡Classifica1on&localiza1on ¡ ¡ ¡ ¡ ¡ 10:30 ¡Detec1on ¡ ¡ ¡ ¡ ¡ Noon ¡Discussion ¡panel ¡ ¡ ¡ 14:00 ¡Invited ¡talk ¡by ¡ViUorio ¡Ferrari: ¡ ¡ ¡Auto-‑annota)on ¡and ¡self-‑assessment ¡in ¡ImageNet ¡ ¡ 14:40 ¡Fine-‑Grained ¡Challenge ¡2013 ¡
Agenda ¡
hUp://www.image-‑net.org/challenges/LSVRC/2013/iccv2013 ¡
8:50 ¡ 9:05 ¡ 9:20 ¡ 9:35 ¡ 9:50 ¡ Spotlights ¡ 11:30 ¡ 11:40 ¡
Spotlights ¡
10:50 ¡ 11:10 ¡
Backpack ¡
Backpack ¡ Flute ¡ Strawberry ¡ Traffic ¡light ¡ Bathing ¡cap ¡ Matchs1ck ¡ Racket ¡ Sea ¡lion ¡
Large-‑scale ¡recogni)on ¡
Large-‑scale ¡recogni)on ¡
Need ¡benchmark ¡datasets ¡
PASCAL ¡VOC ¡2005-‑2012 ¡
Classifica)on: ¡person, ¡motorcycle ¡ Detec1on ¡ Segmenta1on ¡
Person ¡ Motorcycle ¡
Ac)on: ¡riding ¡bicycle ¡
Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡
20 ¡object ¡classes ¡ ¡22,591 ¡images ¡
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Large ¡Scale ¡Visual ¡
Recogni1on ¡Challenge ¡(ILSVRC) ¡2010-‑2013 ¡
20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ ¡ ¡200 ¡object ¡classes ¡ ¡ ¡ ¡ ¡456,191 ¡images ¡ ¡DET ¡ ¡ ¡1000 ¡object ¡classes ¡ ¡1,431,167 ¡images ¡ ¡CLS-‑LOC ¡ ¡ ¡
Person ¡
hOp://image-‑net.org/challenges/LSVRC/{2010,2011,2012,2013} ¡
NEW ¡
Person ¡
Dog ¡
Person ¡Person ¡ Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡
Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hOp://image-‑net.org/challenges/LSVRC/2012/analysis ¡
Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡
DET ¡ CLS-‑LOC ¡
Par1cipa1on ¡in ¡ILSVRC ¡over ¡the ¡years ¡
Year ¡ Number ¡of ¡entries ¡
3 ¡years: ¡ 2010-‑2012 ¡ This ¡year: ¡ 2013 ¡
ILSVRC ¡2010 ¡ ILSVRC ¡2011 ¡ ILSVRC ¡2012 ¡ ILSVRC ¡2013: ¡ 81 ¡entries! ¡
Fully ¡annotated ¡200 ¡object ¡classes ¡across ¡60,000 ¡images ¡ ¡ Allows ¡evalua1on ¡of ¡generic ¡object ¡detec1on ¡ in ¡cluUered ¡scenes ¡at ¡scale ¡
Person ¡ Car ¡ Motorcycle ¡ Helmet ¡ NEW ¡
ILSVRC ¡Task ¡1: ¡Detec1on ¡
Modeled ¡aher ¡PASCAL ¡VOC ¡
NEW ¡
ILSVRC ¡Task ¡1: ¡Detec1on ¡
Stay ¡tuned! ¡
¡
At ¡10:30: ¡
Person ¡ Car ¡ Motorcycle ¡ Helmet ¡
ILSVRC ¡Task ¡2: ¡Classifica1on ¡
Steel ¡drum ¡
ILSVRC ¡Task ¡2: ¡Classifica1on ¡
Output: ¡ Scale ¡ T-‑shirt ¡ Steel ¡drum ¡ Drums1ck ¡ Mud ¡turtle ¡
Steel ¡drum ¡
Output: ¡ Scale ¡ T-‑shirt ¡ Giant ¡panda ¡ Drums1ck ¡ Mud ¡turtle ¡
ILSVRC ¡Task ¡2: ¡Classifica1on ¡
Output: ¡ Scale ¡ T-‑shirt ¡ Steel ¡drum ¡ Drums1ck ¡ Mud ¡turtle ¡
Steel ¡drum ¡
Output: ¡ Scale ¡ T-‑shirt ¡ Giant ¡panda ¡ Drums1ck ¡ Mud ¡turtle ¡
Error ¡= ¡ ¡ ¡
100,000 ¡ images ¡
1[incorrect ¡on ¡image ¡i] ¡
1 ¡ 100,000 ¡
ILSVRC ¡over ¡the ¡years ¡
Error(5 ¡predic1ons/image) ¡ # ¡Submissions ¡ 0.28 ¡ 0.26 ¡ 0.11 ¡
2010 ¡ 2011 ¡ 2012 ¡
0.15 ¡
2013 ¡
Error(5 ¡predic1ons/image) ¡ 0.43 ¡ 0.34 ¡ 0.30 ¡
Classifica1on ¡ Localiza1on ¡
ILSVRC2013 ¡classifica1on ¡results ¡
Team ¡Name ¡ Error ¡ Clarifai ¡(with ¡outside ¡data) ¡ 0.112 ¡ Clarifai ¡ 0.117 ¡ NUS ¡ 0.130 ¡ ZF ¡ 0.135 ¡ Andrew ¡Howard ¡ 0.136 ¡ OverFeat ¡– ¡NYU ¡ 0.142 ¡ UvA-‑Euvision ¡ 0.143 ¡ Adobe ¡ 0.152 ¡ VGG ¡ 0.152 ¡ Cogni1ve ¡Vision ¡ 0.161 ¡ Decaf ¡ 0.192 ¡ IBM ¡Mul1media ¡Team ¡ 0.207 ¡
… ¡ ¡Deep ¡Punx, ¡Minerva-‑MSRA, ¡MIL, ¡Orange, ¡BUPT-‑Orange, ¡ Trimps-‑Soushen1, ¡Quantum ¡Leap ¡
Team ¡Name ¡ Error ¡ Clarifai ¡(with ¡outside ¡data) ¡ 0.112 ¡ Clarifai ¡ 0.117 ¡ NUS ¡ 0.130 ¡ ZF ¡ 0.135 ¡ Andrew ¡Howard ¡ 0.136 ¡ OverFeat ¡– ¡NYU ¡ 0.142 ¡ UvA-‑Euvision ¡ 0.143 ¡ Adobe ¡ 0.152 ¡ VGG ¡ 0.152 ¡ Cogni1ve ¡Vision ¡ 0.161 ¡ Decaf ¡ 0.192 ¡ IBM ¡Mul1media ¡Team ¡ 0.207 ¡
… ¡ ¡Deep ¡Punx, ¡Minerva-‑MSRA, ¡MIL, ¡Orange, ¡BUPT-‑Orange, ¡ Trimps-‑Soushen1, ¡Quantum ¡Leap ¡
ILSVRC2013 ¡classifica1on ¡results ¡
Winner ¡ Runner-‑up ¡
Min ¡Lin*, ¡ Qiang ¡Chen*, ¡ Jian ¡Dong, ¡ Junshi ¡Huang, ¡ Wei ¡Xia, ¡ Shuicheng ¡Yan ¡ (*=equal ¡ contribu1on) ¡ Na)onal ¡ University ¡of ¡ Singapore ¡ MaUhew ¡Zeiler, ¡ Clarifai ¡
ILSVRC2013 ¡classifica1on ¡
Average ¡scale ¡of ¡object ¡in ¡image ¡ Top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
LeOer ¡opener ¡ Ladle ¡ Velvet ¡ Hatchet ¡ Hook ¡ Plunger ¡ Spider ¡web ¡ Restaurant ¡ Canoe, ¡Rapeseed, ¡Screw ¡ Basketball, ¡ Ping-‑pong ¡ ball, ¡ Swimming ¡ trunks ¡
Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡
ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡
Steel ¡drum ¡
Folding ¡ chair ¡ Persian ¡ cat ¡ Loud ¡ speaker ¡
Steel ¡ drum ¡
Picket ¡ fence ¡
Output ¡
Steel ¡drum ¡
ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡
Folding ¡ chair ¡ Persian ¡ cat ¡ Loud ¡ speaker ¡
Steel ¡ drum ¡
Picket ¡ fence ¡
Output ¡
Folding ¡ chair ¡ Persian ¡ cat ¡ Loud ¡ speaker ¡
Steel ¡ drum ¡
Picket ¡ fence ¡
Output ¡(bad ¡localiza1on) ¡
Folding ¡ chair ¡ Persian ¡ cat ¡ Loud ¡ speaker ¡ Picket ¡ fence ¡
King ¡ penguin ¡ Output ¡(bad ¡classifica1on) ¡
Steel ¡drum ¡
ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡
Folding ¡ chair ¡ Persian ¡ cat ¡ Loud ¡ speaker ¡
Steel ¡ drum ¡
Picket ¡ fence ¡
Output ¡
Steel ¡drum ¡
ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡
Error ¡= ¡ ¡ ¡
100,000 ¡ images ¡
1[incorrect ¡on ¡image ¡i] ¡
1 ¡ 100,000 ¡
ILSVRC2013 ¡classifica1on+localiza1on ¡ results ¡
Team ¡Name ¡ Error ¡ OverFeat ¡-‑ ¡NYU ¡ 0.299 ¡ VGG ¡ 0.464 ¡
ILSVRC2013 ¡classifica1on+localiza1on ¡ results ¡
Team ¡Name ¡ Error ¡ OverFeat ¡-‑ ¡NYU ¡ 0.299 ¡ VGG ¡ 0.464 ¡ Winner ¡ Runner-‑up ¡
Karen ¡Simonyan, ¡ Andrea ¡Vedaldi, ¡ Andrew ¡Zisserman ¡ Visual ¡Geometry ¡ Group, ¡University ¡
Pierre ¡Sermanet, ¡ David ¡Eigen, ¡ ¡ Michael ¡Mathieu, ¡ Xiang ¡Zhang, ¡ ¡ Rob ¡Fergus, ¡ ¡ Yann ¡LeCun ¡ NYU ¡
Average ¡scale ¡of ¡object ¡in ¡image ¡ Top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡
ILSVRC2013 ¡classifica1on+localiza1on ¡
Average ¡scale ¡of ¡object ¡in ¡image ¡ Top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡
ILSVRC2013 ¡classifica1on+localiza1on ¡
Average ¡scale ¡of ¡object ¡in ¡image ¡ Top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡
ILSVRC2013 ¡classifica1on+localiza1on ¡
Balance ¡beam ¡ ¡Ping-‑pong ¡ball ¡ Space ¡bar ¡ ¡ ¡Basketball ¡ Horizontal ¡bar ¡ ¡Pickelhaube ¡ Swimming ¡trunks ¡Volleyball ¡ Rubber ¡eraser ¡ ¡Dumbbell ¡
Average ¡scale ¡of ¡object ¡in ¡image ¡ Top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡
ILSVRC2013 ¡classifica1on+localiza1on ¡
Valley ¡Space ¡heater ¡ Scale ¡Maypole ¡ Bakery ¡Restaurant ¡ Stage ¡Bath ¡towel ¡
Which ¡types ¡of ¡objects ¡are ¡hard? ¡
Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hOp://image-‑net.org/challenges/LSVRC/2012/analysis ¡
Amount ¡of ¡object ¡texture ¡ Average ¡top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡ ILSVRC ¡2013 ¡Classifica1on+Localiza1on ¡
Which ¡types ¡of ¡objects ¡are ¡hard? ¡
Amount ¡of ¡object ¡texture ¡ Average ¡top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
ILSVRC2013 ¡Classifica1on ¡
ILSVRC ¡2013 ¡Classifica1on+Localiza1on ¡
Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hOp://image-‑net.org/challenges/LSVRC/2012/analysis ¡
Which ¡types ¡of ¡objects ¡are ¡hard? ¡
Real-‑world ¡size ¡ Average ¡top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
ILSVRC2013 ¡Classifica1on ¡
ILSVRC ¡2013 ¡Classifica1on+Localiza1on ¡
Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hOp://image-‑net.org/challenges/LSVRC/2012/analysis ¡
Which ¡types ¡of ¡objects ¡are ¡hard? ¡
Average ¡top-‑5 ¡accuracy ¡ ¡(best ¡across ¡all ¡entries) ¡
ILSVRC2013 ¡Classifica1on ¡
ILSVRC ¡2013 ¡Classifica1on+Localiza1on ¡
Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hOp://image-‑net.org/challenges/LSVRC/2012/analysis ¡
8:50 ¡ ¡MaUhew ¡Zeiler, ¡Visualizing ¡and ¡Understanding ¡ Convolu)onal ¡Neural ¡Networks ¡ ¡ ¡ 9:05 ¡Shuicheng ¡Yan, ¡Adap)ve ¡Non-‑parametric ¡ Rec)fica)on ¡of ¡Shallow ¡and ¡Deep ¡experts ¡ ¡ ¡ 9:20 ¡Andrew ¡Zisserman, ¡Deep ¡Fisher ¡Networks ¡and ¡Class ¡ Saliency ¡Maps ¡for ¡Object ¡Classifica)on ¡and ¡Localisa)on ¡ ¡ 9:35 ¡Pierre ¡Sermanet, ¡Classifica)on, ¡Localiza)on ¡and ¡ Detec)on ¡with ¡Deep ¡Learning ¡ ¡ 9:50 ¡ILSVRC ¡classifica1on ¡spotlights ¡ ¡
ILSVRC2013 ¡cls+loc ¡agenda ¡