2011 TRECVID Workshop: Surveillance Event Detec>on (SED) - - PowerPoint PPT Presentation

▶
2011 trecvid workshop surveillance event detec on sed
SMART_READER_LITE
LIVE PREVIEW

2011 TRECVID Workshop: Surveillance Event Detec>on (SED) - - PowerPoint PPT Presentation

Oct 24, 2023 708 likes •919 views

2011 TRECVID Workshop: Surveillance Event Detec>on (SED) Task Overview Mar>al Michel (Systems Plus, Inc.) Jonathan Fiscus (NIST) Paul Over (NIST)

slide-1
SLIDE 1

2011 ¡TRECVID ¡Workshop: ¡ Surveillance ¡Event ¡Detec>on ¡(SED) ¡ Task ¡Overview ¡

Mar>al ¡Michel ¡(Systems ¡Plus, ¡Inc.) ¡ ¡ Jonathan ¡Fiscus ¡ ¡(NIST) ¡ Paul ¡Over ¡(NIST) ¡

¡

December ¡5 ¡to ¡7, ¡2011 ¡ NIST, ¡Gaithersburg, ¡MD, ¡USA ¡

¡

slide-2
SLIDE 2

2011 TRECVID Workshop

Mo>va>on ¡

  • SED ¡addresses ¡the ¡need ¡for ¡automa>c ¡detec>on ¡of ¡

events ¡in ¡large ¡amounts ¡of ¡surveillance ¡video ¡

  • Challenges ¡
  • Requires ¡applica>on ¡of ¡several ¡Computer ¡Vision ¡

techniques ¡

  • Involves ¡subtle>es ¡that ¡are ¡readily ¡understood ¡by ¡humans, ¡

difficult ¡to ¡encode ¡for ¡machine ¡learning ¡approaches ¡

  • Can ¡be ¡complicated ¡due ¡to ¡cluWer ¡in ¡the ¡environment, ¡

ligh>ng, ¡camera ¡placement, ¡traffic, ¡etc. ¡

2 ¡

slide-3
SLIDE 3

2011 TRECVID Workshop

Surveillance ¡Event ¡Detec>on ¡Task ¡

3 ¡

  • Given ¡a ¡textual ¡descrip>on ¡of ¡an ¡observable ¡

event ¡of ¡interest, ¡automa>cally ¡detect ¡all ¡

  • ccurrences ¡of ¡the ¡event ¡in ¡a ¡non-­‑segmented ¡

corpus ¡of ¡video ¡

  • Iden>fy ¡each ¡event ¡observa>on ¡by: ¡
  • The ¡temporal ¡extent ¡(beginning ¡and ¡end ¡frames)
  • A ¡decision ¡score: ¡a ¡numeric ¡score ¡indica>ng ¡how ¡likely ¡

the ¡event ¡observa>on ¡exists ¡with ¡more ¡posi>ve ¡values ¡ indica>ng ¡more ¡likely ¡observa>ons ¡(normalized) ¡

  • An ¡actual ¡decision: ¡a ¡boolean ¡value ¡indica>ng ¡whether ¡
  • r ¡not ¡the ¡event ¡observa>on ¡should ¡be ¡counted ¡for ¡

the ¡primary ¡metric ¡computa>on ¡

slide-4
SLIDE 4

2011 TRECVID Workshop

  • Reused ¡same ¡data ¡as ¡SED ¡09 ¡and ¡10 ¡

evalua>ons ¡

  • UK ¡Home ¡Office ¡collected ¡CCTV ¡video ¡

from ¡5 ¡camera ¡views ¡at ¡a ¡busy ¡airport ¡

  • Development ¡Set ¡
  • 100 ¡hours ¡of ¡video ¡ ¡
  • 10 ¡events ¡annotated ¡on ¡100% ¡of ¡the ¡data ¡
  • Evalua>on ¡Set ¡
  • “iLIDS ¡Mul>ple ¡Camera ¡Tracking ¡Scenario ¡

Training ¡set” ¡

  • 45 ¡hours ¡of ¡video ¡
  • 10 ¡events ¡annotated ¡on ¡1/3 ¡of ¡the ¡data ¡
  • 7 ¡events ¡evaluated ¡

Evalua>on ¡Source ¡Data ¡

1

4 ¡

Controlled Access Door Waiting Area Debarkation Area Elevator Close-Up Transit Area

1 2 2 3 3 4 4 5 5

slide-5
SLIDE 5

2011 TRECVID Workshop

Events ¡and ¡Instances ¡per ¡Hour ¡(IpH) ¡

Single ¡Person ¡events ¡ PersonRuns ¡ 7.02 ¡IpH ¡ Someone ¡runs ¡ ¡ ¡ ¡ ¡ ¡ß ß ¡Lowest ¡frequency ¡ Poin>ng ¡ 69.74 ¡IpH ¡ Someone ¡points ¡ ¡ ¡ß ß ¡Highest ¡frequency ¡ Single ¡Person ¡+ ¡Object ¡events ¡ CellToEar ¡ 12.73 ¡IpH ¡ Someone ¡puts ¡a ¡cell ¡phone ¡to ¡his/her ¡head ¡or ¡ear ¡ ObjectPut ¡ 40.74 ¡IpH ¡ Someone ¡drops ¡or ¡puts ¡down ¡an ¡object ¡ Mul5ple ¡People ¡events ¡ Embrace ¡ 11.48 ¡IpH ¡ Someone ¡puts ¡one ¡or ¡both ¡arms ¡at ¡least ¡part ¡way ¡ around ¡another ¡person ¡ PeopleMeet ¡ 29.46 ¡IpH ¡ One ¡or ¡more ¡people ¡walk ¡up ¡to ¡one ¡or ¡more ¡other ¡ people, ¡stop, ¡and ¡some ¡communica>on ¡occurs ¡ PeopleSplitUp ¡ 12.27 ¡IpH ¡ From ¡two ¡or ¡more ¡people, ¡standing, ¡sihng, ¡or ¡moving ¡ together, ¡communica>ng, ¡one ¡or ¡more ¡people ¡separate ¡ themselves ¡and ¡leave ¡the ¡frame ¡

5 ¡

ElevatorNoEntry, ¡OpposingFlow, ¡and ¡TakePicture ¡events ¡were ¡not ¡evaluated ¡in ¡2010 ¡or ¡2011 ¡

slide-6
SLIDE 6

2011 TRECVID Workshop

Evalua>on ¡Protocol ¡ & ¡Scoring ¡Process ¡

  • Evalua>on ¡Plan ¡

http://www.nist.gov/itl/iad/mig/trecvid.cfm

  • Framework ¡for ¡Detec>on ¡Evalua>on ¡(F4DE) ¡Toolkit ¡

http://www.nist.gov/itl/iad/mig/tools.cfm

¡

  • Four ¡step ¡evalua>on ¡process ¡(for ¡each ¡event) ¡
  • 1. Segment ¡mapping ¡
  • 2. Segment ¡scoring ¡
  • 3. Error ¡metric ¡calcula>on ¡
  • 4. Error ¡visualiza>on ¡

6 ¡

slide-7
SLIDE 7

2011 TRECVID Workshop

Step ¡1: ¡Segment ¡Mapping ¡

U>lizes ¡the ¡Hungarian ¡Solu>on ¡to ¡Bipar>te ¡Graph ¡Matching ¡

7 ¡

Time

Reference ¡Observa>ons System ¡Observa>ons 1 Hour of Video

slide-8
SLIDE 8

2011 TRECVID Workshop

Step ¡2: ¡Segment ¡Scoring ¡

8 ¡

Time

Reference ¡Observa>ons

Missed ¡ Detec5ons ¡

¡

When ¡a ¡reference ¡

  • bserva>on ¡is ¡

NOT ¡mapped ¡

Correct ¡ Detec5ons ¡

¡

When ¡reference ¡ and ¡system ¡

  • bserva>ons ¡are ¡

mapped ¡

False ¡Alarms ¡

¡ When ¡a ¡system ¡

  • bserva>on ¡is ¡

NOT ¡mapped ¡ System ¡Observa>ons 1 Hour of Video

slide-9
SLIDE 9

2011 TRECVID Workshop

Time

Reference ¡Observa>ons

RateFA = # FalseAlarms SignalDuration P

Miss = # MissedObs

#TrueObs RateFA = 1 1Hr =1FA / Hr

1

9 ¡

P

Miss = 2

4 =.50

2 4

System ¡Observa>ons 1 Hour of Video

Step ¡3: ¡Error ¡Metric ¡Computa>on ¡

Compute ¡Normalized ¡Detec>on ¡Cost ¡Rate ¡(NDCR) ¡(1/2) ¡

slide-10
SLIDE 10

2011 TRECVID Workshop

Beta ¡

NDCR = P

Miss +

CostFA CostMiss * RateTARGET * RateFA

10 ¡

Time

Reference ¡Observa>ons System ¡Observa>ons 1 Hour of Video

CostMiss =10 CostFA =1 RateTARGET = 20

NDCR = 0.5+ 1 10*20 *1=.505

Primary ¡Metric ¡ Range ¡of ¡NDCR() ¡is ¡[0:∞) ¡ ¡ ¡NDCR ¡= ¡0.0 ¡is ¡a ¡perfect ¡system ¡ ¡ ¡NDCR ¡= ¡1.0 ¡is ¡equivalent ¡to ¡a ¡system ¡that ¡never ¡detects ¡anything ¡

Step ¡3: ¡Error ¡Metric ¡Computa>on ¡

Compute ¡Normalized ¡Detec>on ¡Cost ¡Rate ¡(NDCR) ¡(2/2) ¡

slide-11
SLIDE 11

2011 TRECVID Workshop

Θ ¡

Count ¡of ¡Observa5ons ¡ ¡ System ¡Decision ¡Score ¡

Incorrect ¡System ¡Observa>ons ¡ True ¡Observa>ons ¡

  • Sys. Obs. With YES Decision
  • Sys. Obs. With NO Decision

Step ¡4: ¡Error ¡Visualiza>on ¡

Detec>on ¡Error ¡Tradeoff ¡(DET) ¡Curves ¡(ProbMiss ¡vs. ¡RateFA) ¡

11 ¡

Compute ¡RateFA ¡and ¡PMiss ¡for ¡all ¡Θ ¡ ¡

)) ( ), ( ( θ θ

Miss FA

P Rate

ActualNDCR(Act.Dec.) = P

Miss(Act.Dec.)+

CostFA CostMiss * RateTARGET * RateFA(Act.Dec.) MinimumNDCR(!) = argmin

!

P

Miss(!)+

CostFA CostMiss * RateTARGET * RateFA(!) ! " # $ % &

For ¡more ¡informa>on ¡about ¡DETCurves: ¡hWp://www.nist.gov/speech/publica>ons/storage_paper/det.pdf ¡

NDCR=1.00 Beta

slide-12
SLIDE 12

2011 TRECVID Workshop

2011 ¡SED ¡Par>cipants ¡

(with ¡number ¡of ¡systems ¡per ¡event) ¡ ¡ 9 ¡par>cipa>ng ¡sites ¡

Single ¡ Person ¡ Single ¡ Person ¡+ ¡ Object ¡ Mul5ple ¡ People ¡

PersonRuns ¡ ¡ Poin>ng ¡ ¡ CellToEar ¡ ¡ ObjectPut ¡ ¡ Embrace ¡ ¡ PeopleMeet ¡ ¡ PeopleSplitUp ¡ ¡ 4 ¡years ¡in ¡ ¡ a ¡row ¡ Carnegie ¡Mellon ¡University ¡[CMU] ¡ 9 ¡ 9 ¡ 9 ¡ 9 ¡ 9 ¡ 9 ¡ 9 ¡ NHK ¡Science ¡and ¡Technical ¡Research ¡Laboratories ¡[NHKSTRL] ¡ 1 ¡ 1 ¡ 1 ¡ ¡1 ¡ ¡ ¡ ¡ ¡ 3 ¡years ¡in ¡ ¡ a ¡row ¡ Beijing ¡University ¡of ¡Posts ¡and ¡Telecommunica>ons, ¡MCPRL ¡[BUPT-­‑MCPRL] ¡ ¡ ¡ 2 ¡ 2 ¡ ¡ ¡ 2 ¡ 2 ¡ 1 ¡ 1 ¡ Peking ¡University, ¡NEC ¡[PKU-­‑NEC] ¡ 3 ¡ 3 ¡ 3 ¡ 3 ¡ 3 ¡ Tokyo ¡Ins>tute ¡of ¡Technology, ¡Canon ¡[TokyoTech-­‑Canon] ¡ 3 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 3 ¡ 3 ¡ 2 ¡years ¡in ¡ ¡ a ¡row ¡ Centre ¡de ¡Recherche ¡Informa>que ¡de ¡Montréal ¡[CRIM] ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ Beijing ¡Jiaotong ¡University ¡[BJTU-­‑SED] ¡ 1 ¡ 1 ¡ Tianjin ¡University ¡[TJUT-­‑TJU] ¡ 13 ¡ 13 ¡ 13 ¡ 13 ¡ 13 ¡ 13 ¡ 13 ¡ New ¡ Chinese ¡Academy ¡of ¡Sciences ¡[IRDS-­‑CASIA] ¡ 5 ¡ 5 ¡ 5 ¡ 5 ¡ 5 ¡ 5 ¡ 5 ¡

Total ¡par>cipants ¡per ¡event ¡ ¡ 6 ¡ 8 ¡ 6 ¡ 7 ¡ 7 ¡ 6 ¡ 6 ¡

12 ¡

slide-13
SLIDE 13

2011 TRECVID Workshop

1.0365 ¡ 1.5212 ¡ 2.4251 ¡ 1.0377 ¡ 1.3685 ¡ 1.6619 ¡ 0.884 ¡ 1.2441 ¡ 3.2602 ¡ 1.0865 ¡ 0.9477 ¡ 1.8876 ¡ 1.9795 ¡ 1.0171 ¡ 1.82 ¡ 4.8429 ¡ 1.1649 ¡ 1.0006 ¡ 1.2261 ¡ 1.15 ¡ 1.01 ¡ 2.9581 ¡ 0.982 ¡ 1.7871 ¡ 1.0281 ¡ 0.996 ¡ 1.0217 ¡ 1.634 ¡ 1.0416 ¡ 1.0692 ¡ 0.9099 ¡ 1.2168 ¡ 0.8924 ¡ 1.8523 ¡ 2.4355 ¡ 2.052 ¡ 1.0672 ¡ 0.9783 ¡ 2.0521 ¡ 1.5186 ¡ 4.8818 ¡ 4.6737 ¡ 1.3671 ¡ 1.0206 ¡ 1.5557 ¡ 1.0003 ¡ 1.0003 ¡ 1.0003 ¡ 1.0039 ¡ 1.0003 ¡ 1.0008 ¡ 0.8658 ¡ 1.0003 ¡ 1.0003 ¡ 1.0003 ¡ 0.9453 ¡ 0.9934 ¡ 1.0063 ¡ 1.0003 ¡ 1 ¡ 0.9994 ¡ 1.0003 ¡ 0.9983 ¡ 1.0003 ¡ 1.0119 ¡ 0.9724 ¡ 0.9997 ¡ 0.9777 ¡ 0.9848 ¡ 1.0003 ¡ 0.8809 ¡ 1.0003 ¡ 0.9835 ¡ 1.0003 ¡ 0.9901 ¡ 0.9066 ¡ 1.009 ¡ 0.837 ¡ 0.9841 ¡ 0.9979 ¡ 0.9485 ¡ 1.0003 ¡ 0.973 ¡ 1.0003 ¡ 1.0001 ¡ 1.0003 ¡ 1.0003 ¡ 1.0003 ¡ 1.0032 ¡ 0.9994 ¡ 1.866 ¡ 1.526 ¡ 1.406 ¡ 1.265 ¡ 1.246 ¡ 1.257 ¡ 1.7 ¡ 1.8 ¡ 1.82 ¡ 1.824 ¡ 1.492 ¡ 1.327 ¡ 1.46 ¡ 1.755 ¡ 1.241 ¡ 1.533 ¡ 1.589 ¡ 1.215 ¡ 1.682 ¡ 1.643 ¡ 1.833 ¡ 1.761 ¡ 1.78 ¡ 0 ¡ 0.5 ¡ 1 ¡ 1.5 ¡ 2 ¡ 2.5 ¡ CMU ¡ CRIM ¡ IRDS-­‑CASIA ¡ NHKSTRL ¡ TJUT-­‑TJU ¡ BUPT-­‑MCPRL ¡ CMU ¡ CRIM ¡ IRDS-­‑CASIA ¡ NHKSTRL ¡ PKUNEC ¡ TJUT-­‑TJU ¡ BUPT-­‑MCPRL ¡ CMU ¡ CRIM ¡ IRDS-­‑CASIA ¡ NHKSTRL ¡ PKUNEC ¡ TJUT-­‑TJU ¡ BUPT-­‑MCPRL ¡ CMU ¡ IRDS-­‑CASIA ¡ PKUNEC ¡ TJUT-­‑TJU ¡ TokyoTech-­‑Canon ¡ BUPT-­‑MCPRL ¡ CMU ¡ IRDS-­‑CASIA ¡ PKUNEC ¡ TJUT-­‑TJU ¡ TokyoTech-­‑Canon ¡ BUPT-­‑MCPRL ¡ CMU ¡ CRIM ¡ IRDS-­‑CASIA ¡ TJUT-­‑TJU ¡ TokyoTech-­‑Canon ¡ BJTU-­‑SED ¡ BUPT-­‑MCPRL ¡ CMU ¡ CRIM ¡ IRDS-­‑CASIA ¡ NHKSTRL ¡ PKUNEC ¡ TJUT-­‑TJU ¡ CellToEar ¡ Embrace ¡ ObjectPut ¡ PeopleMeet ¡ PeopleSplitUp ¡ PersonRuns ¡ Poin5ng ¡ Act ¡NDCR ¡ Min ¡NDCR ¡ NDCR ¡@ ¡Beta ¡

13 ¡

2011 NDCRs

Per Event / Primary System Per Site

slide-14
SLIDE 14

2011 TRECVID Workshop 14 ¡

2011 Systems with Lowest Act NDCR

Per Event / Primary System Per Site

slide-15
SLIDE 15

2011 TRECVID Workshop 15 ¡

2011 Systems with Lowest NDCR @ Beta

Per Event / Primary System Per Site

slide-16
SLIDE 16

2011 TRECVID Workshop 16 ¡

Past SED Systems with Lowest Act NDCR

Per Event / Only keeping Lowest Act NDCR per comparable past SED

slide-17
SLIDE 17

2011 TRECVID Workshop 17 ¡

Past SED Systems with Lowest Act NDCR

PersonRuns Event / Only Lowest Act NDCR per comparable past SED

slide-18
SLIDE 18

2011 TRECVID Workshop 18 ¡

Past SED Systems with Lowest Act NDCR

Per Event / Only keeping Lowest Act NDCR per comparable past SED

slide-19
SLIDE 19

2011 TRECVID Workshop

Conclusions ¡and ¡Lessons ¡Learned ¡

  • Improvement ¡can ¡be ¡seen ¡in ¡most ¡of ¡the ¡

events ¡

  • Improvement ¡over ¡most ¡2009 ¡and ¡2010 ¡scores ¡
  • Systems ¡are ¡s>ll ¡not ¡at ¡“Human ¡Group” ¡level ¡ ¡ ¡

Ø Not ¡a ¡solved ¡problem ¡ Ø Real ¡world ¡data ¡is ¡challenging ¡

  • Ques>ons ¡to ¡think ¡about… ¡
  • Where ¡should ¡we ¡go ¡next ¡? ¡

19 ¡