The Risks of LSCITS: The Odds are Stacked Against Us - - PDF document

▶
the risks of lscits the odds are stacked against us
SMART_READER_LITE
LIVE PREVIEW

The Risks of LSCITS: The Odds are Stacked Against Us - - PDF document

Feb 28, 2024 194 likes •350 views

21/03/2012 The Risks of LSCITS: The Odds are Stacked Against Us Professor John McDermid OBE FREng University of York Outline ObjecNves

slide-1
SLIDE 1

21/03/2012 ¡ 1 ¡

The ¡Risks ¡of ¡LSCITS: ¡ ¡ The ¡Odds ¡are ¡Stacked ¡Against ¡Us ¡

Professor ¡John ¡McDermid ¡OBE ¡FREng ¡ University ¡of ¡York ¡

Outline ¡

  • ObjecNves ¡
  • Methodology ¡
  • Risk ¡Analysis ¡Orthodoxy ¡
  • Examples ¡of ¡“adverse ¡events” ¡

– Analysis ¡of ¡signatures ¡

  • Risk ¡Analysis ¡Theory ¡for ¡LSCITS ¡

– Risk ¡analysis ¡“in ¡the ¡stack” ¡

  • Conclusions ¡
slide-2
SLIDE 2

21/03/2012 ¡ 2 ¡

Background ¡and ¡ObjecNve ¡

  • Many ¡LSCITS ¡are ¡used ¡in ¡criNcal ¡applicaNons ¡

– Safety, ¡security, ¡finance ¡… ¡

  • TradiNonal ¡to ¡use ¡risk ¡assessment ¡in ¡managing ¡

such ¡applicaNons ¡

– ObservaNons ¡suggest ¡that ¡“adverse ¡events” ¡are ¡ not ¡predicted ¡by ¡the ¡“classical” ¡approaches ¡

  • ObjecNve ¡

– To ¡define ¡a ¡new ¡approach ¡to ¡risk ¡analysis, ¡more ¡ appropriate ¡for ¡LSCITS, ¡covering ¡all ¡forms ¡of ¡risk ¡

Methodology ¡

  • To ¡build ¡a ¡risk ¡ ¡

analysis ¡method ¡ for ¡LSCITS ¡

– First ¡problem ¡ ¡ formaNon ¡

  • Examples ¡

– Seek ¡to ¡build ¡a ¡ theory ¡

  • Iterate ¡
slide-3
SLIDE 3

21/03/2012 ¡ 3 ¡

Risk ¡Orthodoxy ¡(1) ¡

  • Risk ¡is ¡normally ¡computed ¡as: ¡

– Likelihood ¡x ¡severity ¡ – Variants, ¡including ¡exposure, ¡controllability, ¡etc. ¡

  • O[en ¡risk ¡is ¡quanNfied ¡(target ¡and ¡esNmate) ¡

– Loss ¡per ¡unit ¡Nme, ¡e.g. ¡1.55 ¡x ¡10-­‑8/hour ¡for ¡ATM ¡ – Market ¡risk ¡

  • In ¡some ¡cases, ¡qualitaNve ¡

– In ¡safety, ¡use ¡tables ¡to ¡rank ¡severity ¡vs ¡likelihood ¡ – In ¡security ¡assessment ¡against ¡criteria ¡ ¡

Risk ¡Orthodoxy ¡(2) ¡

  • Risk ¡control ¡– ¡safety ¡ ¡

– Design ¡to ¡avoid/reduce, ¡detect ¡& ¡miNgate ¡causes ¡ – ComputaNon ¡of ¡likelihoods ¡ – Processes/objecNves ¡for ¡systemaNc ¡causes ¡

  • Risk ¡control ¡– ¡finance ¡

– QuanNtaNve ¡assessment ¡of ¡market ¡risk ¡ – Mechanisms ¡to ¡reduce ¡risk ¡(can’t ¡avoid), ¡e.g. ¡ holidays, ¡access ¡controls ¡ – Monitoring ¡(detect), ¡liquidity ¡to ¡absorb ¡(miNgate) ¡

slide-4
SLIDE 4

21/03/2012 ¡ 4 ¡

Adverse ¡Events ¡

  • Syringe ¡pump ¡

– Two ¡deaths, ¡company ¡bankruptcy ¡

  • Cloud ¡“failure” ¡

– Loss ¡of ¡personal ¡data, ¡and ¡lots ¡of ¡retyping! ¡

  • Flash ¡Crash ¡

– Temporary ¡loss ¡of ¡$800Bn, ¡and ¡parNal ¡recovery ¡

  • Uberlingen ¡

– Loss ¡of ¡two ¡aircra[ ¡and ¡all ¡on ¡board ¡

  • SocGen ¡

– Loss ¡of ¡circa ¡€5Bn ¡

Technical ¡ ¡ ¡ ¡Socio-­‑Technical ¡ ¡ ¡ ¡OrganisaNonal ¡

Syringe ¡Pump ¡

  • Device ¡used ¡to ¡deliver ¡

– Drugs ¡on ¡wards ¡ – AnaestheNcs ¡in ¡operaNng ¡theatres ¡

  • Delivery ¡rates ¡can ¡be ¡very ¡low ¡
  • Problems ¡of ¡availability ¡

– Cross-­‑checks ¡“tripped” ¡device ¡on ¡start-­‑up ¡

  • Design ¡modificaNons ¡

– Delayed ¡start ¡of ¡cross-­‑check ¡ ¡

slide-5
SLIDE 5

21/03/2012 ¡ 5 ¡

Safety ¡Concept ¡

  • Main ¡controller ¡used ¡

quadrature ¡system ¡to ¡ measure ¡sha[ ¡rotaNon ¡

– Used ¡Schmii ¡trigger ¡to ¡ “clean ¡up” ¡sensor ¡signal ¡

  • Linear ¡graNng ¡to ¡detect ¡

movement ¡for ¡safety ¡

– Diverse ¡ – Changed ¡to ¡delay ¡start ¡ unNl ¡controller ¡signals ¡… ¡

Hardware ¡and ¡So[ware ¡

  • Schmii ¡trigger ¡output ¡ ¡

compared ¡to ¡reference ¡

– DirecNon ¡of ¡travel ¡

  • So[ware ¡design ¡

– Signal ¡inclusion ¡(boiom) ¡ impossible ¡& ¡ignored ¡ – Motor ¡“run-­‑away” ¡and ¡ protecNon ¡system ¡not ¡ enabled ¡so ¡…. ¡

slide-6
SLIDE 6

21/03/2012 ¡ 6 ¡

Signature ¡

  • Intrinsic ¡flaw ¡(technical; ¡so[ware ¡limitaNon) ¡

– Exposed ¡by ¡change ¡

  • ProtecNon ¡system ¡disabled ¡by ¡change ¡

– Now ¡single ¡point ¡failure ¡ – Schmii ¡trigger ¡at ¡limit ¡of ¡manufacturing ¡tolerance ¡

  • OpportuniNes ¡for ¡further ¡protecNon ¡missed ¡

– So[ware ¡didn’t ¡“flag” ¡impossible ¡inputs ¡

  • SystemaNc, ¡not ¡a ¡“quanNfied ¡risk” ¡

Uberlingen ¡

slide-7
SLIDE 7

21/03/2012 ¡ 7 ¡

Only ¡one ¡person ¡in ¡charge ¡ Monitors ¡two ¡staNons ¡on ¡ two ¡different ¡frequencies ¡ Telephone ¡system ¡out ¡for ¡ maintenance ¡

Zurich ¡ATC ¡

slide-8
SLIDE 8

21/03/2012 ¡ 8 ¡

Alt: ¡FL360 ¡ Alt: ¡FL360 ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ TU-­‑154 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ Alt: ¡FL360 ¡ Alt: ¡FL360 ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ to ¡descend ¡to ¡FL350 ¡ TU-­‑154 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡

slide-9
SLIDE 9

21/03/2012 ¡ 9 ¡

Alt: ¡FL360 ¡ Alt: ¡FL360 ¡ TU-­‑154 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ TU-­‑154 ¡Descending ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ to ¡descend ¡to ¡FL350 ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ Alt: ¡FL360 ¡ Descending ¡ Alt: ¡FL360 ¡ TU-­‑154 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ TU-­‑154 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ CLIMB ¡ B757 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ DESCEND ¡ TU-­‑154 ¡Descending ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ to ¡descend ¡to ¡FL350 ¡ ATC ¡controller ¡re-­‑ a.empts ¡to ¡hand ¡over ¡ the ¡landing ¡aircraL ¡ ATC ¡controller ¡re-­‑ instructs ¡TU-­‑154 ¡to ¡ descend ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ B757 ¡Descending ¡

slide-10
SLIDE 10

21/03/2012 ¡ 10 ¡

Descending ¡ Descending ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ TU-­‑154 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ to ¡descend ¡to ¡FL350 ¡ TU-­‑154 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ CLIMB ¡ B757 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ DESCEND ¡ TU-­‑154 ¡Descending ¡ ATC ¡controller ¡re-­‑ a.empts ¡to ¡hand ¡over ¡ the ¡landing ¡aircraL ¡ ATC ¡controller ¡re-­‑ instructs ¡TU-­‑154 ¡to ¡ descend ¡ TU-­‑154 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ INCREASE ¡CLIMB ¡ B757 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ INCREASE ¡DESCEND ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ B757 ¡Descending ¡

slide-11
SLIDE 11

21/03/2012 ¡ 11 ¡

OrganisaNonal ¡Factors ¡

TCAS ¡SpecificaNon ¡

  • “TCAS ¡is ¡a ¡backup ¡to ¡ATC ¡…” ¡

TU-­‑154M ¡Flight ¡OperaNons ¡Manual ¡

  • “For ¡the ¡avoidance ¡of ¡in-­‑flight ¡collisions ¡… ¡

correct ¡execuNon ¡of ¡all ¡instrucNons ¡issued ¡by ¡ ATC ¡to ¡be ¡regarded ¡as ¡the ¡most ¡important ¡… ¡ TCAS ¡is ¡an ¡addiNonal ¡instrument ¡…” ¡ But ¡most ¡airlines ¡train ¡pilots ¡to ¡obey ¡TCAS ¡… ¡ ¡

Signature ¡

  • Intrinsic ¡flaw ¡(organisaNonal; ¡procedures) ¡

– One ¡airline ¡took ¡ATC ¡as ¡primary, ¡the ¡other ¡TCAS ¡

  • ProtecNon ¡systems ¡(TCAS, ¡ATC) ¡

– Rendered ¡ineffecNve ¡by ¡the ¡flaw ¡

  • Other ¡protecNon ¡systems ¡

– STCA, ¡communicaNons ¡rendered ¡ineffecNve ¡by ¡ ¡ reduced ¡staffing, ¡equipment ¡outages ¡ ¡

  • SystemaNc, ¡not ¡a ¡quanNfied ¡risk ¡

– Not ¡covered ¡in ¡the ¡calculaNons ¡of ¡1.55 ¡x ¡10-­‑8/hour ¡ ¡

slide-12
SLIDE 12

21/03/2012 ¡ 12 ¡

Other ¡Events ¡

  • Cloud ¡

– Risk ¡not ¡considered ¡– ¡data ¡corrupNon ¡(intrinsic ¡flaw) ¡ rendered ¡“protecNon” ¡ineffecNve ¡

  • The ¡“Flash ¡Crash” ¡

– Intrinsic ¡flaw ¡to ¡cause ¡volaNlity ¡ – Setng ¡of ¡price ¡limits ¡exacerbated ¡problem ¡and ¡ defeated ¡some ¡protecNons ¡

  • SocGen ¡

– Malfeasance ¡(human ¡failing) ¡ – Staffing, ¡poor ¡governance ¡etc. ¡rendered ¡protecNon ¡ (audit ¡checks, ¡etc.) ¡ineffecNve ¡

Risks ¡in ¡LSCITS ¡(1) ¡

  • Events ¡not ¡explained ¡by ¡quanNtaNve ¡methods ¡

– Not ¡by ¡safety ¡analysis ¡or ¡market ¡risk ¡

  • In ¡all ¡cases ¡models ¡for ¡analysis ¡were ¡

– Wrong ¡or ¡inappropriate ¡

  • Explanatory ¡theory ¡

– Risks ¡and ¡loss ¡events ¡in ¡LSCITS ¡are ¡beier ¡ explained ¡via ¡analysis ¡of ¡epistemic ¡uncertainty ¡ than ¡aleatory ¡uncertainty ¡– ¡regardless ¡of ¡risk ¡type ¡

slide-13
SLIDE 13

21/03/2012 ¡ 13 ¡

Risks ¡in ¡LSCITS ¡(2) ¡

  • Barrier ¡(models) ¡seem ¡to ¡be ¡more ¡informaNve ¡

– Technical ¡ – Socio-­‑technical ¡ – OrganisaNonal ¡ Also, ¡true ¡elsewhere, ¡e.g. ¡LOPA ¡in ¡energy ¡systems ¡

  • GeneraNve ¡theory ¡

– Risks ¡and ¡loss ¡events ¡in ¡LSCITS ¡are ¡best ¡controlled ¡ (and ¡risks ¡esNmated) ¡via ¡the ¡design ¡of ¡barriers ¡– ¡ for ¡all ¡risk ¡types, ¡and ¡across ¡the ¡LSCITS ¡stack ¡

Risks ¡in ¡LSCITS ¡(3) ¡

LSCITS ¡Stack ¡ ¡ CiO ¡ ¡ STSE ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HISE ¡ ¡ ¡ ¡PSS ¡ Risk ¡reducNon ¡“opNons” ¡ ¡ Reduce, ¡detect, ¡miNgate ¡ ¡ Reduce, ¡detect, ¡miNgate ¡ ¡ ¡ Reduce, ¡detect, ¡miNgate ¡ ¡ ¡ ¡Avoid, ¡reduce ¡ ¡

slide-14
SLIDE 14

21/03/2012 ¡ 14 ¡

Towards ¡a ¡Method ¡

  • Need ¡to ¡establish ¡a ¡new ¡risk ¡analysis ¡method ¡

– IdenNfies ¡potenNal ¡barriers ¡across ¡LSCITS ¡stack ¡ – Analyses/prompts ¡for ¡weaknesses ¡

  • Model ¡assumpNons/limitaNons ¡
  • PotenNals ¡for ¡common ¡cause ¡problems ¡
  • PotenNal ¡for ¡fault ¡propagaNon ¡(HAZOP, ¡FPTC) ¡
  • Consider ¡as ¡SoS ¡ ¡
  • Consider ¡mulNple ¡configuraNons ¡

– Perhaps ¡“measure” ¡risks ¡in ¡terms ¡of ¡resilience ¡

  • What ¡has ¡to ¡happen ¡to ¡“break” ¡defences ¡(NB ¡security) ¡

Conclusions ¡

  • LSCITS ¡increasingly ¡used ¡in ¡criNcal ¡applicaNons ¡

– Classical ¡risk ¡analysis ¡doesn’t ¡seem ¡to ¡explain ¡ “adverse ¡events” ¡

  • Necessary ¡but ¡not ¡sufficient ¡in ¡risk ¡control ¡
  • Suggest ¡focusing ¡risk ¡analysis ¡on ¡barriers ¡

– New ¡and/or ¡adapted ¡analyses ¡

  • Next ¡steps ¡include ¡

– More ¡examples, ¡confirm ¡(?) ¡explanatory ¡theory ¡ – Refine ¡generaNve ¡theory, ¡define ¡method ¡and ¡test ¡