Evalua8on Overview and Results Mar8al Michel Jonathan - - PowerPoint PPT Presentation

▶
evalua8on overview and results
SMART_READER_LITE
LIVE PREVIEW

Evalua8on Overview and Results Mar8al Michel Jonathan - - PowerPoint PPT Presentation

Sep 24, 2022 16 likes •238 views

The TRECVID 2010 Surveillance Event Detec8on (SED) Evalua8on Overview and Results Mar8al Michel Jonathan Fiscus Paul Over Science and Technology

slide-1
SLIDE 1

The ¡TRECVID ¡2010 ¡ ¡ Surveillance ¡Event ¡Detec8on ¡(SED) ¡ ¡Evalua8on ¡Overview ¡and ¡Results ¡

Mar8al ¡Michel ¡ ¡ Jonathan ¡Fiscus ¡ ¡ Paul ¡Over ¡

Science and Technology Directorate

slide-2
SLIDE 2

Mo8va8on ¡

  • SED ¡addresses ¡the ¡need ¡for ¡automa8c ¡detec8on ¡
  • f ¡events ¡in ¡large ¡amounts ¡of ¡surveillance ¡video ¡
  • Challenges ¡

– requires ¡applica8on ¡of ¡several ¡Computer ¡Vision ¡ techniques ¡ – involves ¡subtle8es ¡that ¡are ¡readily ¡understood ¡by ¡ humans, ¡difficult ¡to ¡encode ¡for ¡machine ¡learning ¡ approaches ¡ – can ¡be ¡complicated ¡due ¡to ¡cluMer ¡in ¡the ¡environment, ¡ ligh8ng, ¡camera ¡placement, ¡traffic, ¡etc. ¡

2 ¡

slide-3
SLIDE 3

Evalua8on ¡Source ¡Data ¡

1

  • Reused ¡same ¡data ¡as ¡the ¡past ¡year ¡of ¡SED ¡

evalua8on ¡

  • UK ¡Home ¡Office ¡collected ¡CCTV ¡video ¡

from ¡5 ¡camera ¡views ¡at ¡a ¡busy ¡airport ¡

  • Development ¡Set ¡

– 100 ¡hours ¡of ¡video ¡ ¡ – 10 ¡events ¡annotated ¡on ¡100% ¡of ¡the ¡data ¡

  • Evalua8on ¡Set ¡
  • “iLIDS ¡Mul8ple ¡Camera ¡Tracking ¡Scenario ¡

Training ¡set” ¡ – 45 ¡hours ¡of ¡video ¡ – 10 ¡events ¡annotated ¡on ¡1/3 ¡of ¡the ¡data ¡

Controlled Access Door Waiting Area Debarkation Area Elevator Close-Up Transit Area

1 2 2 3 3 4 4 5 5

3 ¡

slide-4
SLIDE 4

Event ¡Detec8on ¡Task ¡

  • Given ¡a ¡textual ¡descrip8on ¡of ¡an ¡observable ¡event ¡of ¡

interest, ¡automa8cally ¡detect ¡all ¡occurrences ¡of ¡the ¡event ¡ in ¡a ¡non-­‑segmented ¡corpus ¡of ¡video ¡

  • Iden8fy ¡each ¡event ¡observa8on ¡by: ¡
  • The ¡temporal ¡extent ¡(beginning ¡and ¡end ¡frames)
  • A ¡decision ¡score: ¡a ¡numeric ¡score ¡indica8ng ¡how ¡likely ¡the ¡event ¡
  • bserva8on ¡exists ¡with ¡more ¡posi8ve ¡values ¡indica8ng ¡more ¡

likely ¡observa8ons ¡

  • An ¡actual ¡decision: ¡A ¡Boolean ¡value ¡indica8ng ¡whether ¡or ¡not ¡the ¡

event ¡observa8on ¡should ¡be ¡counted ¡for ¡the ¡primary ¡metric ¡ computa8on ¡

4 ¡

slide-5
SLIDE 5

Events ¡and ¡Instances ¡per ¡Hour ¡(IpH) ¡

Single ¡Person ¡events ¡ PersonRuns ¡ 7.02 ¡IpH ¡ Someone ¡runs ¡ ¡ ¡ ¡ ¡ ¡ß ß ¡Lowest ¡frequency ¡ Poin8ng ¡ 69.74 ¡IpH ¡ Someone ¡points ¡ ¡ ¡ß ß ¡Highest ¡frequency ¡ Single ¡Person ¡+ ¡Object ¡events ¡ CellToEar ¡ 12.73 ¡IpH ¡ Someone ¡puts ¡a ¡cell ¡phone ¡to ¡his/her ¡head ¡or ¡ear ¡ ObjectPut ¡ 40.74 ¡IpH ¡ Someone ¡drops ¡or ¡puts ¡down ¡an ¡object ¡ Mul5ple ¡People ¡events ¡ Embrace ¡ 11.48 ¡IpH ¡ Someone ¡puts ¡one ¡or ¡both ¡arms ¡at ¡least ¡part ¡way ¡ around ¡another ¡person ¡ PeopleMeet ¡ 29.46 ¡IpH ¡ One ¡or ¡more ¡people ¡walk ¡up ¡to ¡one ¡or ¡more ¡other ¡ people, ¡stop, ¡and ¡some ¡communica8on ¡occurs ¡ PeopleSplitUp ¡ 12.27 ¡IpH ¡ From ¡two ¡or ¡more ¡people, ¡standing, ¡sifng, ¡or ¡moving ¡ together, ¡communica8ng, ¡one ¡or ¡more ¡people ¡separate ¡ themselves ¡and ¡leave ¡the ¡frame ¡

5 ¡

ElevatorNoEntry, ¡OpposingFlow, ¡and ¡TakePicture ¡events ¡were ¡not ¡evaluated ¡in ¡2010 ¡

slide-6
SLIDE 6

Evalua8on ¡Protocol ¡ & ¡Scoring ¡Process ¡

  • Evalua8on ¡Plan ¡

http://www.nist.gov/itl/iad/mig/trecvid.cfm

  • Framework ¡for ¡Detec8on ¡Evalua8on ¡(F4DE) ¡Toolkit ¡

http://www.nist.gov/itl/iad/mig/tools.cfm

¡

  • Four ¡step ¡evalua8on ¡process ¡(for ¡each ¡Event) ¡
  • 1. Segment ¡mapping ¡
  • 2. Segment ¡scoring ¡
  • 3. Error ¡metric ¡calcula8on ¡
  • 4. Error ¡visualiza8on ¡

6 ¡

slide-7
SLIDE 7

Step ¡1: ¡Segment ¡Mapping ¡

U8lizes ¡the ¡Hungarian ¡Solu8on ¡to ¡Bipar8te ¡Graph ¡Matching ¡ Time

Reference ¡Observa8ons System ¡Observa8ons 1 hour of video

7 ¡

slide-8
SLIDE 8

Step ¡2: ¡Segment ¡Scoring ¡

Time

Reference ¡Observa8ons System ¡Observa8ons

Missed ¡ Detec5ons ¡

¡

When ¡a ¡reference ¡

  • bserva8on ¡is ¡

NOT ¡mapped ¡

Correct ¡ Detec5ons ¡

¡

When ¡reference ¡ and ¡system ¡

  • bserva8ons ¡are ¡

mapped ¡

False ¡Alarms ¡

¡ When ¡a ¡system ¡

  • bserva8on ¡is ¡

NOT ¡mapped ¡ 1 Hour of Video

8 ¡

slide-9
SLIDE 9

Time

Reference ¡Observa8ons System ¡Observa8ons

RateFA = # FalseAlarms SignalDuration P

Miss = # MissedObs

#TrueObs

1 Hour of Video

RateFA = 1 1Hr =1FA / Hr

1

Step ¡3: ¡Error ¡Metric ¡Computa8on ¡

Compute ¡Normalized ¡Detec8on ¡Cost ¡Rate ¡(1/2) ¡

P

Miss = 2

4 =.50

2 4

9 ¡

slide-10
SLIDE 10

Beta ¡

Step ¡3: ¡Error ¡Metric ¡Computa8on ¡

Compute ¡Normalized ¡Detec8on ¡Cost ¡Rate ¡(2/2) ¡

Time

Reference ¡Observa8ons System ¡Observa8ons 1 Hour of Video

NDCR = P

Miss +

CostFA CostMiss * RTARGET * RFA

CostMiss =10 CostFA =1 RTARGET = 20

NDCR = 0.5+ 1 10*20 *1=.505

Primary ¡Metric ¡ Range ¡of ¡NDCR() ¡is ¡[0:∞) ¡ ¡ ¡NDCR ¡= ¡0.0 ¡is ¡a ¡perfect ¡system ¡ ¡ ¡NDCR ¡= ¡1.0 ¡is ¡equivalent ¡to ¡a ¡system ¡that ¡outputs ¡nothing ¡

10 ¡

slide-11
SLIDE 11

Step ¡4: ¡Error ¡Visualiza8on ¡

Decision ¡Error ¡Tradeoff ¡Curves ¡(ProbMiss ¡vs. ¡RateFA) ¡

Compute ¡RateFA ¡and ¡PMiss ¡for ¡all ¡Θ ¡ ¡

Θ ¡

Count ¡of ¡Observa5ons ¡ ¡ System ¡Decision ¡Score ¡

Incorrect ¡System ¡Observa8ons ¡ True ¡Observa8ons ¡

)) ( ), ( ( θ θ

Miss FA

P Rate

  • Sys. Obs. With YES Decision
  • Sys. Obs. With NO Decision

ActualNDCR(Act.Dec.) = P

Miss(Act.Dec.)+

CostFA CostMiss * RTARGET * RFA(Act.Dec.) MinimumNDCR(!) = argmin

!

P

Miss(!)+

CostFA CostMiss * RTARGET * RFA(!) ! " # $ % &

For ¡more ¡informa8on ¡about ¡DETCurves: ¡hMp://www.nist.gov/speech/publica8ons/storage_paper/det.pdf ¡

11 ¡

slide-12
SLIDE 12

2010 ¡SED ¡Par8cipants ¡

11 ¡Sites ¡ ¡

Single ¡ Person ¡ Single ¡ Person ¡+ ¡ Object ¡ Mul5ple ¡ People ¡

PersonRuns ¡ ¡ Poin8ng ¡ ¡ CellToEar ¡ ¡ ObjectPut ¡ ¡ Embrace ¡ ¡ PeopleMeet ¡ ¡ PeopleSplitUp ¡ ¡ 3 ¡years ¡in ¡ ¡ a ¡row ¡ Carnegie ¡Mellon ¡University ¡[CMU] ¡ 11 ¡ 11 ¡ 11 ¡ 11 ¡ 11 ¡ 11 ¡ 11 ¡ NHK ¡Science ¡and ¡Technical ¡Research ¡Laboratories ¡[NHKSTRL] ¡ 1 ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ 2 ¡years ¡in ¡ ¡ a ¡row ¡ Beijing ¡University ¡of ¡Posts ¡and ¡Telecommunica8ons, ¡MCPRL ¡[BUPT-­‑MCPRL] ¡ ¡ ¡ 2 ¡ 2 ¡ ¡ ¡ 2 ¡ 2 ¡ ¡ ¡ ¡ ¡ Peking ¡University, ¡IDM ¡[PKU-­‑IDM] ¡ 4 ¡ 4 ¡ 4 ¡ 4 ¡ Simon ¡Fraser ¡University ¡[SFU] ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Tokyo ¡Ins8tute ¡of ¡Technology ¡and ¡Georgia ¡Ins8tute ¡of ¡Technology ¡ [TTandGT] ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ new ¡ Centre ¡de ¡Recherche ¡Informa8que ¡de ¡Montréal ¡[CRIM] ¡ 1 ¡ 1 ¡ 1 ¡ Ins8tut ¡Na8onal ¡de ¡Recherche ¡en ¡Informa8que ¡et ¡en ¡Automa8que, ¡ WILLOW ¡[INRIA-­‑WILLOW] ¡ 6 ¡ 6 ¡ 6 ¡ 6 ¡ 6 ¡ 6 ¡ 6 ¡ Intelligent ¡Percep8on ¡Group ¡of ¡Beijing ¡JiaoTong ¡University ¡[IPG-­‑BJTU] ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ Queen ¡Mary ¡University ¡of ¡London ¡[QMUL-­‑ACTIVA] ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Tianjin ¡University ¡[TJU] ¡ 8 ¡ 8 ¡ 8 ¡ 8 ¡ 8 ¡ 8 ¡ 8 ¡

Total ¡Par8cipants ¡per ¡Event ¡ ¡ 9 ¡ 7 ¡ 5 ¡ 7 ¡ 6 ¡ 5 ¡ 5 ¡

12 ¡

slide-13
SLIDE 13

0.991 ¡ 0.9477 ¡ 1.2853 ¡ 1.0003 ¡ 0.9872 ¡ 0.6818 ¡ 0.9818 ¡ 0.9523 ¡ 1.0023 ¡ 0 ¡ 0.5 ¡ 1 ¡ 1.5 ¡ 2 ¡ 2.5 ¡ 3 ¡ BUPT-­‑MCPRL_2010092204 ¡ CMU_2 ¡ CRIM_1 ¡ INRIA-­‑WILLOW_3 ¡ PKU-­‑IDM_5 ¡ QMUL-­‑ACTIVA_3 ¡ sfu_16 ¡ TJU_2 ¡ TTandGT_1 ¡ PersonRuns ¡

NDCR ¡

Actual ¡NDCR ¡ Minimum ¡NDCR ¡

2010 NDCRs for “PersonRuns” Event

Best Run Per Site, Across All Cameras

13 ¡

slide-14
SLIDE 14

PersonRuns (Best Run Per Site)

14 ¡

slide-15
SLIDE 15

0.991 ¡ 0.9477 ¡ 1.2853 ¡ 1.0003 ¡ 0.9872 ¡ 0.6818 ¡ 0.9818 ¡ 0.9523 ¡ 1.0023 ¡ 0.9989 ¡ 1.0003 ¡ 2.1273 ¡ 0.9991 ¡ 0.996 ¡ 1.003 ¡ 1.0003 ¡ 1.0003 ¡ 1.0003 ¡ 1 ¡ 1.0003 ¡ 1.0003 ¡ 1.5634 ¡ 1.0003 ¡ 0.9971 ¡ 1.0001 ¡ 1 ¡ 1.0023 ¡ 1.0003 ¡ 1.001 ¡ 0.9838 ¡ 1.0003 ¡ 0.9663 ¡ 0.9839 ¡ 0.9836 ¡ 0.9793 ¡ 1.0003 ¡ 1.0001 ¡ 0.9787 ¡ 1.0026 ¡ 0.9889 ¡ 1.0003 ¡ 1.0003 ¡ 0.9914 ¡ 1.0084 ¡ 0 ¡ 0.5 ¡ 1 ¡ 1.5 ¡ 2 ¡ 2.5 ¡ 3 ¡

BUPT-­‑MCPRL_2010092204 ¡ CMU_2 ¡ CRIM_1 ¡ INRIA-­‑WILLOW_3 ¡ PKU-­‑IDM_5 ¡ QMUL-­‑ACTIVA_3 ¡ sfu_16 ¡ TJU_2 ¡ TTandGT_1 ¡ BUPT-­‑MCPRL_2010092204 ¡ CMU_2 ¡ CRIM_1 ¡ INRIA-­‑WILLOW_3 ¡ IPG-­‑BJTU_5 ¡ NHKSTRL_1 ¡ TJU_2 ¡ CMU_2 ¡ INRIA-­‑WILLOW_3 ¡ IPG-­‑BJTU_5 ¡ NHKSTRL_1 ¡ TJU_2 ¡ BUPT-­‑MCPRL_2010092204 ¡ CMU_2 ¡ CRIM_1 ¡ INRIA-­‑WILLOW_3 ¡ IPG-­‑BJTU_5 ¡ NHKSTRL_1 ¡ TJU_2 ¡ BUPT-­‑MCPRL_2010092204 ¡ CMU_2 ¡ INRIA-­‑WILLOW_3 ¡ IPG-­‑BJTU_5 ¡ PKU-­‑IDM_5 ¡ TJU_2 ¡ CMU_2 ¡ INRIA-­‑WILLOW_3 ¡ PKU-­‑IDM_5 ¡ TJU_2 ¡ TTandGT_1 ¡ CMU_2 ¡ INRIA-­‑WILLOW_3 ¡ PKU-­‑IDM_5 ¡ TJU_2 ¡ TTandGT_1 ¡ PersonRuns ¡ Poin8ng ¡ CellToEar ¡ ObjectPut ¡ Embrace ¡ PeopleMeet ¡ PeopleSplitUp ¡

NDCR ¡

Actual ¡NDCR ¡ Minimum ¡NDCR ¡

2010 NDCRs by Event

Best Run Per Site, Across All Cameras

15 ¡

slide-16
SLIDE 16

SED 2010 Best Systems (per Event) selected using the iso-cost line

16 ¡

slide-17
SLIDE 17

SED 2010 Best Systems (per Event) selected using the minimum Actual NDCR

17 ¡

slide-18
SLIDE 18

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 1.2 ¡

FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ BUPT-­‑ MCPRL_20100922 04 ¡ CMU_2 ¡ CRIM_1 ¡ INRIA-­‑WILLOW_3 ¡ PKU-­‑IDM_5 ¡ QMUL-­‑ACTIVA ¡ sfu_16 ¡ TJU_2 ¡ TTandGT_1 ¡

Min ¡NDCR ¡

“PersonRuns” NDCRs

All sites, Best Run Per Event, Per cameras

  • In most cases, the “Full

Submission” score in close the the average of each individual camera scores

  • Use of “Per Event, Per

Camera normalization”

18 ¡

slide-19
SLIDE 19

QMUL-ACTIVA PersonRuns: Camera comps

19 ¡

slide-20
SLIDE 20

CMU ¡PersonRuns: ¡

SED09 ¡vs ¡SED10 ¡Cameras ¡Comps ¡

¡

20 ¡

1.0003 ¡ 1.0016 ¡ 0.9652 ¡ 1.0016 ¡ 0.9722 ¡ 0.9343 ¡ 0.8257 ¡ 0.7794 ¡ 0.8898 ¡ 0.8288 ¡ 0.215 ¡ 0.001639643 ¡ 0.147975377 ¡ 0.178972365 ¡ 0.354630637 ¡ 0.2991 ¡ 0.001639643 ¡ 0.305870113 ¡ 0.280780998 ¡ 0.352990994 ¡ 0.6449 ¡ 0.001639643 ¡ 0.850303478 ¡ 0.625608584 ¡ 0.515153156 ¡ 0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 1.2 ¡ AllCameras ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡

Min(Min ¡NDCR) ¡across ¡All ¡Runs ¡

SED09 ¡ SED10 ¡ Human ¡Group ¡1 ¡ Human ¡Group ¡2 ¡ Human ¡Group ¡3 ¡

slide-21
SLIDE 21

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 1.2 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam4 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam4 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ FullSub ¡ Cam1 ¡ Cam2 ¡ Cam3 ¡ Cam5 ¡ PersonRuns ¡ Poin8ng ¡ CellToEar ¡ ObjectPut ¡ Embrace ¡ PeopleMeet ¡ PeopleSplitUp ¡ SED10 ¡Min(Min ¡NDCR) ¡

21 ¡

SED09 vs SED10: Improvements to Min. NDCRs

slide-22
SLIDE 22

Conclusions ¡and ¡Lessons ¡Learned ¡

  • Improvement ¡can ¡be ¡seen ¡in ¡most ¡of ¡the ¡events ¡

– Not ¡only ¡by ¡repeat ¡par8cipants, ¡but ¡results ¡from ¡new ¡ par8cipants ¡show ¡improvement ¡over ¡2009’s ¡scores ¡

  • Scoring ¡improvement ¡

– Decision ¡score ¡normaliza8on ¡is ¡important ¡ – Non-­‑op8mal ¡normaliza8on ¡obscures ¡performance ¡gains ¡

  • S8ll ¡areas ¡for ¡improvement ¡

– Insure ¡the ¡normaliza8on ¡of ¡detec8on ¡scores ¡among ¡cameras ¡ for ¡a ¡given ¡event ¡ – Systems ¡are ¡s8ll ¡not ¡at ¡“Human ¡Group” ¡level ¡ ¡ ¡

22 ¡