Health care management, health care and health: better with - - PowerPoint PPT Presentation

1

Health care management, health care and health: better with behavioural O.R?

OR Society Special Interest Group

• n Behavioural Operational Research

Geoff Royston

Immediate Past President The OR Society

December 17th 2014

The ¡importance ¡of ¡percep/on ¡ and ¡behaviour ¡in ¡health ¡care ¡ analysis ¡and ¡modelling ¡– ¡ ¡ three ¡personal ¡stories ¡

Story ¡1 ¡-­‑ ¡fetal ¡heart ¡monitoring ¡

A ¡very ¡simple ¡model ¡of ¡fetal ¡heart ¡monitoring ¡

• ­‑ ¡

Remedial Intervention by health worker Problem

ALARM !!

• ­‑ ¡

+ ¡ + ¡

Problem detected

+ ¡

There ¡is ¡generally ¡a ¡trade-­‑off ¡between ¡key ¡

• pera/ng ¡characteris/cs ¡of ¡a ¡diagnos/c ¡test ¡

GENUINE ALARMS

FALSE ALARMS

Monitor sensitivity Monitor specificity

+ ¡

• ­‑ ¡
• ­‑

False ¡alarms ¡lead ¡to ¡a ¡behavioural ¡response, ¡ degrading ¡the ¡performance ¡of ¡the ¡monitoring ¡system ¡ ¡

Remedial Intervention Problem

ALARM

• ­‑ ¡

+ ¡ + ¡

Problem detected

+ ¡

FALSE ALARMS

Monitor sensitivity -­‑ ¡ Monitor specificity

+ ¡

• ­‑ ¡

+ ¡

Chance of health worker not responding

• ­‑ ¡

A ¡Bayesian ¡Analysis ¡

Suppose:

• Sensitivity (pa) = 95% (i.e. the machine will correctly

detect 95% of problems)

• Specificity (pb ) = 70% (i.e. the machine will incorrectly

classify 30% of non-problems as problems)

• Problem prevalence (pc)= 5%

Then, using Bayes’ formula:

the probability that an alarm will be genuine = (pc x pa)/ [(pc x pa) + (1 –pc) x ( 1- pb )] 14% of alarms will be genuine

and 86% will be false alarms

A ¡Bayesian ¡Behavioural ¡Analysis ¡

• The chance that a health care worker will respond to an

alarm is a cognitive and behavioural factor.

• It will depend on their knowledge or perception of the false

alarm rate

• Suppose, say, their probability of responding to any given

alarm is simply equal to the overall proportion of alarms that are not false (14% in our example)

The detection rate falls from 95% to just 13% (95% x 14%) once the behavioural effect is taken into account.

Press ¡perspec/ves ¡

Story ¡2-­‑ ¡the ¡third ¡genera/on ¡pill ¡scare ¡

¡ ¡ ¡ ¡ ¡

Health ¡risks ¡are ¡oFen ¡liGle ¡understood ¡…. ¡

¡ ¡ ¡ ¡ ¡

……and ¡poorly ¡communicated….oFen ¡with ¡ serious ¡adverse ¡results ¡…... ¡ ¡

¡ ¡ ¡ ¡ ¡

Confusion ¡between ¡absolute ¡and ¡ ¡ rela/ve ¡risk ¡is ¡a ¡major ¡problem ¡

• An ¡absolute ¡risk ¡is ¡about ¡the ¡chances ¡of ¡something ¡
• happening. ¡A ¡rela-ve ¡risk ¡is ¡about ¡how ¡one ¡risk ¡

compares ¡to ¡another ¡

• These ¡are ¡o7en ¡confused ¡– ¡either ¡accidentally ¡or ¡deliberately ¡-­‑ ¡

especially ¡by ¡the ¡media ¡and ¡adver>sers ¡e.g. ¡“30% ¡of ¡people ¡ suffer ¡from ¡occurrences ¡of ¡this ¡problem ¡and ¡this ¡drug ¡gives ¡a ¡ 20% ¡reduc;on ¡in ¡them”. ¡ ¡

• It ¡is ¡unclear ¡whether ¡this ¡means ¡that, ¡for ¡people ¡taking ¡the ¡

drug ¡: ¡

– ¡10% ¡will ¡now ¡suffer ¡from ¡occurrences ¡(absolute ¡risk ¡reduc>on) ¡ ¡ ¡ – ¡24% ¡will ¡now ¡suffer ¡from ¡occurrences ¡( ¡rela>ve ¡risk ¡reduc>on) ¡ ¡

13 ¡

The ¡ ¡third ¡genera/on ¡pill ¡ scare ¡was ¡a ¡result ¡of ¡ confusion ¡between ¡rela/ve ¡ and ¡absolute ¡risk ¡ ¡

The scare has been estimated to have led to an extra 13,000 abortions in the UK alone The papers screamed “new pill doubles risk of fatal thrombosis” This mortality risk (possibly) had doubled - from about 2 per million women per year to about 4 per million

Communica/ng ¡risk ¡-­‑ ¡rela/ve ¡or ¡absolute? ¡(1) ¡

15 ¡

“People with high cholesterol can rapidly reduce their … risk of death by 22%, by taking a widely prescribed drug called pravastatin sodium.” The study figures – not given in the press release - show that the 22% is the reduction in the relative risk of death.

See J-A Skolbekken, Communicating the risk reduction achieved by cholesterol reducing drugs, BMJ 1998 316;1956

The West of Scotland Coronary Prevention Study Press release:

Communica/ng ¡risk ¡-­‑ ¡rela/ve ¡or ¡absolute? ¡(2) ¡ ¡

16 ¡

“People with high cholesterol can reduce their risk of death in a five year period from about 4% to about 3% (an absolute reduction of about 1%), by taking a widely prescribed drug called pravastatin sodium ”

See J-A Skolbekken, Communicating the risk reduction achieved by cholesterol reducing drugs, BMJ 1998 316;1956

What difference in prescribing behaviour do you think such a presentation of the results might have made? Consider the following much less dramatic way of presenting the same results in terms of reduction in absolute risk :

A ¡sea ¡change ¡on ¡communica/on ¡about ¡ screening ¡risks? ¡ ¡

17 ¡

Readers ¡on ¡understanding ¡and ¡ communica/ng ¡risk ¡

¡ ¡Risk ¡Communica;on ¡and ¡Public ¡Health ¡eds ¡P ¡BenneP, ¡K ¡Calman, ¡ ¡S ¡Cur>s ¡and ¡D ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Fischbacher-­‑Smith, ¡2nd ¡edn, ¡2010 ¡ ¡

18 ¡

Risk ¡Savvy: ¡How ¡to ¡Make ¡Good ¡Decisions, ¡ ¡ G ¡Gigerenzer, ¡2014 ¡ The ¡Norm ¡Chronicles; ¡Stories ¡and ¡ Numbers ¡about ¡Danger ¡ ¡M ¡ Blastland ¡& ¡D ¡Spiegelhalter, ¡2013 ¡ A ¡Mathema;cian ¡Reads ¡ the ¡Newspaper, ¡J ¡A ¡ Paulos, ¡1996 ¡

WARNING! ¡

Poor ¡ ¡ mental ¡models ¡ ¡ can ¡be ¡damaging ¡to ¡health. ¡

¡ ¡

Story ¡3-­‑ ¡the ¡flaw ¡of ¡averages ¡

21 ¡

A ¡dangerous ¡misconcep/on ¡ ¡ about ¡hospital ¡bed ¡occupancy ¡ ¡

The Treasury view: “spare capacity is wasted capacity”

Percentage wasted capacity Average Bed Occupancy

22 ¡

This ¡view ¡of ¡capacity ¡suffers ¡from ¡the ¡“flaw ¡of ¡ averages” ¡ ¡-­‑ ¡it ¡ignores ¡varia/on ¡in ¡demand ¡ ¡ ¡ ¡

Demand for beds has some unpredictable highs and lows – some slack is required to cope with the peaks

23 ¡

Mental ¡models ¡were ¡shiFed ¡by ¡introducing ¡ the ¡concept ¡of ¡the ¡“price ¡of ¡responsiveness” ¡ ¡ ¡

0% 0% 1% 1% 2% 2% 3% 3% 4% 4% 5% 5% 75% 75% 80% 80% 85% 85% 90% 90% 95% 95% 100% 100% 450 450 bed beds

The O.R. model results The Treasury mental model?

0% 0% 1% 1% 2% 2% 3% 3% 4% 4% 5% 5% 75% 75% 80% 80% 85% 85% 90% 90% 95% 95% 100% 100% 450 450 bed beds

Average Bed Occupancy Chance of refusing admissions Chance of refusing admissions Average Bed Occupancy

¡The ¡importance ¡of ¡percep/on ¡ and ¡behaviour ¡in ¡health ¡care ¡ analysis ¡and ¡modelling ¡– ¡ ¡ What ¡do ¡these ¡stories ¡tell ¡us? ¡

¡ ¡

These ¡stories ¡hopefully ¡illustrate ¡why ¡it ¡is ¡ important ¡to: ¡

¡ ¡

(a) incorporate key behavioural factors into our analyses and models of human activity systems (“content” Behavioural O.R.) (b) take into account how people actually make decisions, especially under uncertainty (“process” Behavioural O.R.) (c) consider how we and our clients think about situations (and models), and how we engage and communicate with them on that thinking (“effects” Behavioural O.R.)

A ¡management ¡guru’s ¡cri/que ¡of ¡OR/MS ¡

Drucker ¡cri>cised ¡management ¡science ¡ ¡on ¡the ¡ grounds ¡of ¡it ¡not ¡adequately ¡reflec>ng ¡the ¡fact ¡ that ¡a ¡business ¡enterprise ¡is ¡made ¡up ¡of ¡human ¡ beings ¡and ¡so ¡its ¡opera>ons ¡could ¡not ¡be ¡ regarded ¡as ¡a ¡purely ¡mechanis>c ¡process; ¡ ¡ the ¡domain ¡of ¡study ¡of ¡management ¡science ¡ needed ¡to ¡include ¡people’s ¡– ¡especially ¡ managers’ ¡-­‑ ¡assump>ons, ¡opinions ¡and ¡errors. ¡

27

Health care management, health care and health: better with behavioural O.R?

Back to the talk’s title!

¡ ¡ ¡ ¡Pill ¡scare ¡– ¡health ¡ ¡ ¡ ¡ ¡ ¡ ¡Fetal ¡monitoring ¡– ¡health ¡care ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Flaw ¡of ¡averages ¡– ¡health ¡care ¡management ¡ ¡

The three stories can be mapped onto these areas

29

“Working with NIHR and the Department of Health we will expand NHS operational research, RCT capability and other methods to promote more rigorous ways of answering high impact questions in health services redesign………. Further work will also be undertaken on behavioural ʻnudgeʼ type policies in health care.”

Operational research - and behaviour

• figure in the latest NHS Plan

30

The NHS Plan highlights three gaps to avoid

• The health and wellbeing gap
• The care and quality gap
• The funding and efficiency gap

¡ ¡ ¡ ¡Pill ¡scare ¡– ¡the ¡health ¡and ¡wellbeing ¡gap ¡ ¡ ¡ ¡ ¡ ¡Fetal ¡monitoring ¡– ¡the ¡care ¡and ¡quality ¡gap ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Flaw ¡of ¡averages ¡– ¡the ¡funding ¡and ¡efficiency ¡gap ¡

The three stories can be mapped

• nto the NHS Plan gap risks too!

The ¡NHS ¡Plan ¡“gap ¡risk” ¡areas ¡– ¡ further ¡illustra/ons ¡of ¡behavioural ¡ analysis ¡and ¡modelling ¡

¡ Health ¡and ¡well ¡being ¡: ¡ ¡obesity ¡

31

Lifestyle factors like obesity are having increasing adverse impacts on health

+54% +28% +18% +12% +5% Stroke Angina Heart Attack Hypertension Type 2 Diabetes

Estimated impact of the increasing trend in obesity by 2023 (% change for UK)

Navarro-Barrientos, J.-Emeterio , Rivera, Daniel E. and Collins, Linda M. (2011) 'A dynamical model for describing behavioural interventions for weight loss and body composition change', Mathematical and Computer Modelling of Dynamical Systems, 17: 2, 183 — 203,

Behavioural modelling can be integrated into traditional modelling e.g. weight loss

¡The ¡Foresight ¡Study ¡on ¡Obesity ¡was ¡an ¡influen>al ¡UK ¡ report ¡by ¡the ¡UK ¡Government ¡Office ¡for ¡Science ¡ ¡-­‑ ¡it ¡ had ¡systems ¡and ¡behavioural ¡modelling ¡at ¡its ¡core ¡ ¡

The ¡Foresight ¡Study ¡obesity ¡system ¡is ¡complex ¡ and ¡the ¡map ¡is ¡complicated! ¡

But ¡at ¡its ¡heart ¡is ¡simple ¡feedback ¡ loop ¡about ¡individuals’ ¡behaviour ¡ ¡

But ¡it ¡also ¡recognises ¡the ¡influence ¡of ¡ social ¡psychology ¡

Obesity ¡seems ¡to ¡be ¡contagious ¡

As certain unhealthy behaviours and attitudes become the norm in an area then they spread to neighbouring populations, through family, friends and colleagues etc.

• For instance in 1988-9 childhood obesity in the UK

was concentrated in deprived areas of the Wirral, by 2002-3 obesity had spread to other areas.

• This “contagion” theory is supported by a US 32 year

longitudinal study of the spread of obesity through social networks

There ¡are ¡links ¡between ¡modelling ¡behaviour ¡ and ¡modelling ¡complex ¡networks ¡

¡ Care ¡and ¡quality: ¡ ¡ ¡clinical ¡decision ¡making ¡

Real decision making 
 blends analysis and intuition

43

Less can be More

44

Three possible approaches to clinical decision support

45

• 3. Fast and frugal decision tree (blend of analytical

and intuitive decisions) - easy to use and often more accurate than the other approaches!

• 1. Standard decision theory (probabilities and

utilities) – time consuming and difficult to

• perationalise
• 2. Statistical aids (predictive instruments) –

better but not transparent and still not popular with clinicians

Statistical aids to clinical decision making can be useful – up to a point

46

But fast and frugal decision making aids 
 are more user friendly….

47

…do not quickly become computationally and cognitively intractable…..

48

….and can work better than more complex approaches!

49

Ideal

Checklists are another example of a “fast and frugal” approach

50

Reith Lecturer 2014

What ¡model ¡of ¡failure ¡do ¡checklists ¡assume? ¡ ¡

Technical Decision making Monitoring Communication Adverse event

The ¡Swiss ¡Cheese ¡model ¡ ¡

• f ¡system ¡failure

Opportunity for some O.R. on the use of checklists in health care?

¡ Funding ¡and ¡efficiency ¡: ¡ ¡ NHS ¡deficits ¡

NHS ¡budget ¡problems ¡are ¡not ¡evenly ¡ distributed ¡across ¡Trusts ¡

In ¡theory, ¡managers ¡can ¡control ¡budgets ¡ by ¡monitoring ¡income, ¡expenditure ¡and ¡ balance ¡figures ¡ ¡

In ¡reality, ¡managers’ ¡financial ¡control ¡depends ¡

• n ¡their ¡percep-ons ¡of ¡these ¡figures ¡

A ¡corresponding ¡system ¡dynamics ¡model ¡ was ¡constructed, ¡incorpora/ng ¡cogni/ve ¡ and ¡behavioural ¡effects ¡ ¡ ¡

The ¡model ¡results ¡were ¡quite ¡realis/c ¡ ¡

Global ¡health ¡: ¡ ¡behavioural ¡ modelling ¡and ¡polio ¡eradica/on ¡

Two competing strategies for managing polio are:

• Intensive immunisation until the disease is eradicated
• Less intensive immunisation, enough to keep the disease

under control There has been a lot of modelling effort in this area, but a breakthrough came when more attention was paid to modelling policy makers’ behaviour

Eradication or control?

Commitment to immunisation policy falls as immunisation proceeds, as cases became rarer, as that (a) reduces overall short term costs of the disease and (b) increases unit costs of immunisation.

Policy “wavering” behaviour in polio immunisation

But cases then start to rise and policy makers’ enthusiasm for immunisation is regained. The cycle then repeats.

Policy “wavering” leads to a sub-

• ptimal strategy for polio vaccination

This work won the prestigious Edelman award for 2014

¡ ¡Behavioural ¡O.R. ¡ ¡ – ¡a ¡condensed ¡retrospec/ve ¡

O.R. in the past has not entirely ignored cognition and behaviour!

There have been some important relevant texts

Simon H A (1969) . The Sciences of the Artificial. MIT Press. (2nd edition 1981) . Rosenhead J (ed) (1989). Rational Analysis for a Problematic World. Wiley. Schon D A (1983). The Reflective

• Practitioner. Basic

Books

Behavioural ¡simula/on ¡has ¡a ¡long ¡track ¡record ¡ ¡

• ­‑ ¡in ¡role ¡playing ¡exercises ¡

There ¡have ¡been ¡two ¡interna/onal ¡ conferences ¡on ¡O.R. ¡and ¡the ¡social ¡sciences ¡ ¡ ¡

Cambridge, 14-16 Sept 1964 Cambridge, 10-13 April, 1989 These were 25 years apart, so today’s event, a further 25 years on, is timely!

Arguably, expectations of future progress have not been met

¡From ¡most ¡tradi/onal ¡O.R. ¡to ¡much ¡of ¡the ¡

social ¡sciences ¡is ¡a ¡big ¡leap ¡– ¡could ¡ developing ¡behavioural ¡O.R. ¡be ¡a ¡more ¡ prac/cable ¡step ¡ ¡-­‑ ¡or ¡even ¡a ¡bridge? ¡

Economic and Social Sciences Engineering and Physical Sciences

Behavioural O.R. ?

¡ ¡A ¡conclusion ¡– ¡ ¡ Why ¡behavioural ¡O.R.? ¡ ¡

¡

• 1. It’s “real world”

• 2. It’s increasingly feasible

• 3. It’s a winner

¡ ¡ ¡ ¡BeGer ¡with ¡behavioural ¡O.R. ¡– ¡

¡ ¡ ¡ ¡ ¡helping ¡ensure ¡our ¡analyses ¡ ¡

¡ ¡ ¡ ¡and ¡models ¡are ¡realis-c, ¡relevant ¡ ¡ ¡ ¡ ¡ ¡and ¡compelling ¡ ¡

74

Thank You

• geoff.royston@gmail.com