Non-zero sum games and control February 3, 2015, - - PowerPoint PPT Presentation

Correct-­‑by-­‑construc-on ¡control ¡synthesis ¡ for ¡highly ¡dynamics ¡systems: ¡an ¡applica-on ¡ in ¡automo-ve ¡safety ¡systems ¡

Necmiye ¡Ozay ¡ EECS, ¡University ¡of ¡Michigan ¡ ¡ Joint ¡work ¡with: ¡ ¡ Pe?er ¡Nilsson, ¡Jessy ¡Grizzle, ¡Yuxiao ¡Chen, ¡Huei ¡Peng ¡(UM) ¡ Aaron ¡Ames ¡(TAMU), ¡Paulo ¡Tabuada ¡(UCLA), ¡Jun ¡Liu ¡(Sheffield) ¡ Oscar ¡Mickelin ¡(KTH), ¡Richard ¡Murray ¡(Caltech) ¡ ¡ Non-­‑zero ¡sum ¡games ¡and ¡control ¡ February ¡3, ¡2015, ¡Dagstuhl ¡

1 ¡

Research ¡partly ¡ ¡ funded ¡by ¡ ¡

✗ ¡

Mo-va-on ¡

¡Excerpt ¡From ¡“Dad’s ¡Sixth ¡Sense” ¡(Hyundai) ¡[2014 ¡Super ¡Bowl] ¡

Third ¡Highest ¡Scoring ¡Ad ¡of ¡all ¡Time ¡According ¡to ¡Ace ¡Metrix ¡

Mo-va-on ¡

• Crashes ¡in ¡which ¡at ¡least ¡one ¡driver ¡was ¡

distracted: ¡

• 3,267 ¡fatali[es ¡(2010) ¡
• 735,000 ¡nonfatal ¡injuries ¡ ¡
• 3.3 ¡million ¡damaged ¡vehicles ¡
• ¡Costs ¡$45.8 ¡billion ¡in ¡2010 ¡
• roughly ¡17 ¡percent ¡of ¡all ¡economic ¡costs ¡

from ¡motor ¡vehicle ¡crashes. ¡

¡

3 ¡

Mo-va-on ¡

• Crashes ¡in ¡which ¡at ¡least ¡one ¡driver ¡was ¡

distracted: ¡

• 3,267 ¡fatali[es ¡(2010) ¡
• 735,000 ¡nonfatal ¡injuries ¡ ¡
• 3.3 ¡million ¡damaged ¡vehicles ¡
• ¡Costs ¡$45.8 ¡billion ¡in ¡2010 ¡
• roughly ¡17 ¡percent ¡of ¡all ¡economic ¡costs ¡

from ¡motor ¡vehicle ¡crashes. ¡

¡

4 ¡

Automa-on ¡can ¡help ¡with: ¡

• ­‑ ¡safety, ¡aging ¡society, ¡energy/conges-on ¡

Trends ¡in ¡Automa-on ¡

NHTSA ¡“Preliminary ¡Statement ¡of ¡Policy ¡ Concerning ¡Automated ¡Vehicles” ¡defines ¡levels ¡

• f ¡automa[on: ¡
• Level ¡0 ¡-­‑ ¡no ¡automa[on ¡
• Level ¡1 ¡-­‑ ¡Func[on-­‑specific ¡automa[on ¡
• Level ¡2 ¡-­‑ ¡Combined ¡func[on ¡automa[on ¡
• Level ¡3 ¡-­‑ ¡Limited ¡self-­‑driving ¡automa[on ¡
• Level ¡4 ¡-­‑ ¡Full ¡self-­‑driving ¡automa[on ¡

¡

5 ¡

Trends ¡in ¡Automa-on ¡

NHTSA ¡“Preliminary ¡Statement ¡of ¡Policy ¡ Concerning ¡Automated ¡Vehicles” ¡defines ¡levels ¡

• f ¡automa[on: ¡
• Level ¡0 ¡-­‑ ¡no ¡automa[on ¡
• Level ¡1 ¡-­‑ ¡Func-on-­‑specific ¡automa-on ¡
• Level ¡2 ¡-­‑ ¡Combined ¡func-on ¡automa-on ¡
• Level ¡3 ¡-­‑ ¡Limited ¡self-­‑driving ¡automa[on ¡
• Level ¡4 ¡-­‑ ¡Full ¡self-­‑driving ¡automa[on ¡

6 ¡

Google ¡ All ¡new ¡vehicles ¡in ¡the ¡ ¡ US ¡at ¡“Level ¡1” ¡with ¡elec-­‑ ¡ tronic ¡stability ¡control ¡ ¡since ¡2012. ¡

Challenges ¡

• Many ¡vehicle ¡ac[ve ¡safety ¡systems ¡are ¡being ¡

conceived ¡and ¡deployed ¡

– extreme ¡increase ¡in ¡sobware ¡complexity ¡

• Combining ¡two ¡safety ¡systems ¡can ¡lead ¡to ¡

unexpected ¡interac[ons ¡

– hard ¡to ¡test ¡and ¡cer[fy ¡

• Many ¡complaints ¡(e.g., ¡unintended ¡

accelera[on) ¡and ¡recalls ¡

– cost ¡to ¡economy ¡ ¡

7 ¡

Can ¡we ¡guarantee ¡correctness ¡by ¡design ¡using ¡ formal ¡methods? ¡

Methodology ¡

• Formalizing ¡the ¡problem: ¡

– From ¡text ¡to ¡formal ¡specifica[ons ¡ – Dynamical ¡models ¡

• Synthesis ¡of ¡controllers ¡
• Implementa[on ¡

8 ¡

Formalizing ¡the ¡problem ¡

9 ¡

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

Π . = {πinit, π1, . . . , πnp} h : X → 2Π

Proposi-ons: ¡

u: control inputs δ: disturbance y: outputs available to control

E

Σ :

Formalizing ¡the ¡problem ¡

10 ¡

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

Π . = {πinit, π1, . . . , πnp} h : X → 2Π

Proposi-ons: ¡

u: control inputs δ: disturbance y: outputs available to control

Environment: ¡ ¡

e(t) ∈ {e1, e2, . . . , eN}; ∀t

e1 e2 e3

Con[nuous-­‑[me ¡ discrete-­‑valued ¡ signal ¡(with ¡finite ¡ variability) ¡

E

Σ :

Formalizing ¡the ¡problem ¡

11 ¡

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

Π . = {πinit, π1, . . . , πnp} h : X → 2Π

Proposi-ons: ¡

u: control inputs δ: disturbance y: outputs available to control

Environment: ¡ ¡

e(t) ∈ {e1, e2, . . . , eN}; ∀t

e1 e2 e3

Con[nuous-­‑[me ¡ discrete-­‑valued ¡ signal ¡(with ¡finite ¡ variability) ¡

E

Σ :

Problem ¡statement: ¡

Given ¡a ¡dynamical ¡system ¡ ¡ ¡ ¡ ¡ ¡, ¡a ¡set ¡of ¡ proposi[ons ¡over ¡its ¡state ¡space ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ an ¡environment ¡descrip[on ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡ some ¡LTL ¡(without ¡next) ¡specifica[on ¡ ¡ ¡ ¡, ¡ design ¡a ¡controller ¡ such ¡that ¡the ¡trajectories ¡of ¡the ¡system ¡ sa[sfies ¡the ¡spec ¡for ¡all ¡ini[al ¡condi[ons ¡ x(0) ¡in ¡a ¡given ¡set, ¡for ¡all ¡disturbances ¡d, ¡ and ¡for ¡all ¡environment ¡behaviors. ¡ ¡

¡

Σ (Π, h) E ϕ u(y(t), e(t))

Tools: ¡reac-ve ¡synthesis ¡and ¡control ¡

THREE ¡DIFFERENT ¡APPROACHES ¡

• 1. Abstrac-on-­‑based ¡
• 2. Fixed ¡point ¡opera-ons ¡on ¡

con-nuous ¡domain ¡

• 3. Incremental ¡synergis-c ¡

approach ¡

12 ¡

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

Tools: ¡reac-ve ¡synthesis ¡and ¡control ¡

• 1. Abstrac-on-­‑based ¡

– Proposi[on ¡preserving ¡par[[ons ¡of ¡ state-­‑space, ¡(approx.) ¡(alterna[ng) ¡ simula[on ¡rela[ons, ¡input ¡ abstrac[ons ¡ – Encode ¡a?ractors, ¡invariant ¡sets, ¡ equilibria ¡of ¡the ¡dynamics ¡as ¡jus-ce ¡or ¡ liveness ¡assump[ons: ¡ – Robust ¡control ¡at ¡cont. ¡level ¡to ¡ prevent ¡state ¡explosion ¡ – Solve ¡reac[ve ¡synthesis ¡on ¡disc. ¡level ¡

• 2. Fixed ¡point ¡opera-ons ¡on ¡

con-nuous ¡domain ¡

• 3. Incremental ¡synergis-c ¡

approach ¡

13 ¡

q0 q1 q2 u1 u1 u2 u2, u1 u1 u2

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

• 1. ¡

ϕprog → ϕ

Tools: ¡reac-ve ¡synthesis ¡and ¡control ¡

• 1. Abstrac-on-­‑based ¡
• 2. Fixed ¡point ¡opera-ons ¡on ¡

con-nuous ¡domain ¡

– Understand ¡the ¡structure ¡of ¡the ¡ fixed ¡point ¡operator ¡ – Discre[ze ¡[me, ¡implement ¡the ¡ fixed ¡point ¡on ¡cont. ¡level ¡ – Limited ¡to ¡piecewise ¡affine ¡systems ¡ and ¡subsets ¡of ¡LTL ¡ – Termina[on ¡only ¡under ¡certain ¡ condi[ons ¡

• 3. Incremental ¡synergis-c ¡

approach ¡

14 ¡

q0 q1 q2 u1 u1 u2 u2, u1 u1 u2

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

• 2. ¡

Tools: ¡reac-ve ¡synthesis ¡and ¡control ¡

• 1. Abstrac-on-­‑based ¡
• 2. Fixed ¡point ¡opera-ons ¡on ¡

con-nuous ¡domain ¡

• 3. Incremental ¡synergis-c ¡

approach ¡

– a. ¡Start ¡with ¡a ¡coarse ¡abstrac[on ¡ ¡ ¡ ¡ ¡b. ¡Solve ¡the ¡game ¡at ¡disc. ¡level ¡ ¡ ¡ ¡ ¡c. ¡Map ¡the ¡winning ¡and ¡for-­‑sure ¡ losing ¡sets ¡to ¡cont. ¡level ¡to ¡decide ¡ where ¡to ¡further ¡par[[on ¡ ¡ ¡ ¡ ¡d. ¡Redefine ¡“goals” ¡and ¡go ¡to ¡b. ¡ – ¡Subsets ¡of ¡LTL ¡(extensible) ¡

15 ¡

q0 q1 q2 u1 u1 u2 u2, u1 u1 u2

˙ x = f(x, u, δ) y = g(x, u, δ) x(0) ∈ X0

• 3. ¡

Methodology ¡

• Formalizing ¡the ¡problem: ¡

– From ¡text ¡to ¡formal ¡specifica[ons ¡ – Dynamical ¡models ¡

• Synthesis ¡of ¡controllers ¡
• Implementa[on ¡– ¡all ¡the ¡three ¡approaches ¡are ¡

inherently ¡correct ¡and ¡implementable ¡

• Examples: ¡Adap[ve ¡Cruise ¡Control, ¡Lane ¡

Keeping ¡

16 ¡

Adap-ve ¡Cruise ¡Control ¡(ACC) ¡ Example ¡

• Two ¡modes ¡of ¡opera[on ¡

– If ¡there ¡is ¡no ¡lead ¡car ¡in ¡front ¡(M1), ¡regulate ¡ velocity ¡(v) ¡ – Otherwise ¡(M2), ¡regulate ¡headway ¡(h), ¡distance ¡to ¡ the ¡lead ¡car ¡ ¡ + ¡in ¡each ¡mode ¡hard ¡safety ¡constraints: ¡accelera[on ¡ limits, ¡minimum ¡allowed ¡“[me ¡headway” ¡(h/v) ¡ ¡

• Mode ¡is ¡determined ¡by ¡a ¡sensor ¡(radar) ¡

reading: ¡is ¡there ¡a ¡car ¡within ¡the ¡radar ¡range? ¡

17 ¡

Nilsson ¡et ¡al ¡CDC ¡14 ¡

Model: Hybrid system with two modes:

m˙ v = Fw − f0 − f1v − f2v2 m˙ v = Fw − f0 − f1v − f2v2 ˙ h = vL − v ˙ vL = d Car cuts in Car leaves New lead car M1: M2:

I Input set:

S2 = {Fw | Fw ∈ [−0.3mg, 0.2mg]}.

Objectives: Goals for ‘no lead car mode’ M1:

I Goal set:

G1 = {v | v ∈ [vdes − ∆v, vdes + ∆v}.

Goals for ‘lead car mode’ M2:

I Safe set: S1 = {(v, h, vL) | h/v ≥ 1}. I Goal set:

G2 = {(v, h, vL) | h/v ≥ 1.3, v < vdes + ∆v}.

ACC: ¡Model ¡and ¡Specifica-ons ¡

18 ¡

Model: Hybrid system with two modes:

m˙ v = Fw − f0 − f1v − f2v2 m˙ v = Fw − f0 − f1v − f2v2 ˙ h = vL − v ˙ vL = d Car cuts in Car leaves New lead car M1: M2:

I Input set:

S2 = {Fw | Fw ∈ [−0.3mg, 0.2mg]}.

Objectives: Goals for ‘no lead car mode’ M1:

I Goal set:

G1 = {v | v ∈ [vdes − ∆v, vdes + ∆v}.

Goals for ‘lead car mode’ M2:

I Safe set: S1 = {(v, h, vL) | h/v ≥ 1}. I Goal set:

G2 = {(v, h, vL) | h/v ≥ 1.3, v < vdes + ∆v}.

ACC: ¡Model ¡and ¡Specifica-ons ¡

19 ¡

{ | ∈ − }

LTL Specification: ⇤ ((M1 ∨ S1) ∧ S2) ∧ ⇤

3 2 w

i=1

⇤Mi = ⇒ ⌃⇤Gi

4

.

{ | ∈ − }

LTL Specification: ⇤ ((M1 ∨ S1) ∧ S2) ∧ ⇤

3 2 w

i=1

⇤Mi = ⇒ ⌃⇤Gi

4

.

ACC: ¡LTL ¡Specifica-on ¡

• Solu[on ¡has ¡a ¡very ¡simple ¡fixed-­‑point ¡structure ¡
• In ¡each ¡mode, ¡we ¡need ¡to ¡sa[sfy ¡certain ¡hard ¡safety ¡

constraints ¡and ¡if ¡persistently ¡in ¡a ¡mode, ¡need ¡to ¡reach ¡a ¡ goal ¡set ¡and ¡remain ¡in ¡it ¡(reach-­‑stay-­‑while ¡avoiding) ¡ ¡ ¡ ¡

• Need ¡to ¡be ¡reac-ve ¡to ¡mode ¡changes: ¡Make ¡sure ¡

“winning ¡sets” ¡of ¡two ¡modes ¡are ¡well-­‑aligned ¡

– If ¡not ¡redefine ¡safety ¡constraints ¡and ¡resolve ¡(outer ¡fixed-­‑point) ¡

¡

20 ¡ G2 Rd \ S1 C0 G2 Rd \ S1

Control ¡Synthesis ¡

21 ¡

Model: Hybrid system with two modes:

m˙ v = Fw − f0 − f1v − f2v2 m˙ v = Fw − f0 − f1v − f2v2 ˙ h = vL − v ˙ vL = d Car cuts in Car leaves New lead car M1: M2:

I Input set:

S2 = {Fw | Fw ∈ [−0.3mg, 0.2mg]}.

• Fixed ¡points ¡can ¡be ¡

implemented ¡either ¡ directly ¡(approx.) ¡or ¡on ¡a ¡ discrete ¡abstrac[on ¡ ¡

• Winning ¡sets ¡give ¡a ¡precise ¡

defini[on ¡of ¡all ¡safe ¡ini[al ¡ condi[ons/resets ¡(safety ¡ domain) ¡

• This ¡safe ¡domain ¡can ¡be ¡

used ¡to ¡supervise ¡exis[ng ¡ controllers ¡

Some ¡comments ¡

• LTL ¡might ¡not ¡be ¡the ¡best ¡specifica[on ¡language ¡

– Want ¡fast ¡reac[on ¡to ¡mode ¡changes ¡(somehow ¡inherent ¡in ¡fixed ¡ point ¡opera[ons) ¡

• Wri[ng ¡down ¡the ¡“correct” ¡spec ¡in ¡LTL ¡is ¡a ¡challenge ¡
• Another ¡level ¡to ¡modify ¡the ¡specifica[on: ¡

¡

22 ¡

{ | ∈ − }

LTL Specification: ⇤ ((M1 ∨ S1) ∧ S2) ∧ ⇤

3 2 w

i=1

⇤Mi = ⇒ ⌃⇤Gi

4

.

S1 ¡ S1 ¡

ϕ∆ ϕ

Simula-ons ¡

23 ¡

20 40 60 80 100 120 140 100 200 300 t h 20 40 60 80 100 120 140 10 20 30 40 t v ACC Lead 20 40 60 80 100 120 140 −0.2 0.2 t Fw/mg 20 40 60 80 100 120 140 1 1.5 2 2.5 3 t max(3, h/v)

14 / 21

CarSim ¡Simula-ons ¡

24 ¡

Is ¡this ¡controller ¡robust ¡enough ¡with ¡full ¡(30dim ¡state ¡space) ¡non-­‑linear ¡ ¡ vehicle ¡dynamics? ¡

10 20 30 t v ACC Lead 10 20 30 t v

• Sources ¡of ¡imperfec[on ¡
• ­‑ Most ¡guarantees ¡are ¡on ¡discrete-­‑[me ¡behaviors ¡(how ¡about ¡

con[nuous-­‑[me) ¡

• ­‑ Sensor, ¡actua[on, ¡computa[on ¡delays ¡(ji?er) ¡
• ­‑ Delays, ¡uncertain[es ¡in ¡the ¡model ¡
• ­‑ Errors ¡in ¡measurements ¡
• Idea ¡is ¡to ¡introduce ¡robustness ¡margins: ¡two ¡addi[onal ¡

balls ¡are ¡“enough” ¡

Can ¡we ¡formalize ¡robustness? ¡

25 ¡

Liu, ¡Ozay ¡HSCC ¡14 ¡ Plant Controller x ˆ i ui u(t) Delay h1 e + Delay h2 ZOH ˆ ui xi x(t) Sensor i

• BAD

• ˆ

• β(γ1 ,τ)

Robustness-­‑performance ¡trade-­‑offs ¡

26 ¡

5 10 15 20 25 30 35

300 250 200 150 100 50 6 5 4 3 2 1 v [m/sec] h [m]

5 10 15 20 25 30 35

300 250 200 150 100 50 6 5 4 3 2 1 v [m/sec] h [m]

Safety ¡domain ¡as ¡delay/ji?er ¡increases ¡ from ¡0-­‑0.2 ¡seconds ¡ Safety ¡domain ¡as ¡measurement ¡error ¡ increases ¡from ¡0-­‑25cm ¡

20 40 60 80 100 120 140

4 2 2

time [sec] u 20 40 60 80 100 120 140 10 15 20 25 30 v [m/sec]

Robustness ¡to ¡par-al ¡observa-ons ¡

27 ¡ High-level controller Low-level controller Plant Observer δ u e ˆ x y Control protocol

Proposed ¡control ¡architecture ¡ Three ¡sobware ¡modules: ¡

• Observer ¡
• High-­‑level ¡controller ¡
• Low-­‑level ¡controller ¡

Mickelin ¡et ¡al ¡ACC ¡14 ¡ Op[on ¡1: ¡ Observer ¡at ¡the ¡discrete ¡level ¡

• Doable ¡but ¡requires ¡planning ¡on ¡a ¡belief ¡

space ¡à ¡power ¡set ¡construc[on ¡à ¡ state-­‑space ¡explosion ¡ ¡ Op[on ¡2: ¡ “Robust” ¡observer ¡+ ¡“robust” ¡controller ¡at ¡ the ¡con[nuous ¡level ¡

• Classical ¡Luenberger ¡observer ¡cannot ¡be ¡

used ¡(only ¡guarantees ¡at ¡the ¡limit) ¡

• L1 ¡observers ¡à ¡can ¡guarantee ¡bounded ¡

es[ma[on ¡error* ¡

• Reduc[on ¡to ¡a ¡full ¡observa[on ¡problem ¡

with ¡measurement ¡uncertainty ¡with ¡a ¡ modified ¡spec: ¡ ¡ *Dahleh, ¡Shamma, ¡Blanchini, ¡Sznaier, ¡etc. ¡

ϕ∆ ∧ ϕs

Robustness ¡to ¡par-al ¡observa-ons ¡

28 ¡ High-level controller Low-level controller Plant Observer δ u e ˆ x y Control protocol

Proposed ¡control ¡architecture ¡ Three ¡sobware ¡modules: ¡

• Observer ¡
• High-­‑level ¡controller ¡
• Low-­‑level ¡controller ¡

Mickelin ¡et ¡al ¡ACC ¡14 ¡ Contracts: ¡

• Observer: ¡

¡Assump-on: ¡Knows ¡a ¡linear ¡ approxima[on ¡of ¡the ¡underlying ¡ dynamics ¡with ¡some ¡uncertain ¡bound ¡ ¡Guarantee: ¡state ¡es[ma[on ¡with ¡ l∞ ¡bounded ¡error ¡

• Low-­‑level ¡controller: ¡

¡Assump-on: ¡Knows ¡the ¡current ¡ state ¡with ¡some ¡l∞ ¡uncertainty ¡bound ¡ ¡Guarantee: ¡provides ¡safe ¡robust ¡ reachability; ¡and ¡keeps ¡the ¡ ¡state ¡in ¡ regions ¡of ¡the ¡state-­‑space ¡where ¡ dynamic ¡uncertainty ¡is ¡low ¡

• High-­‑level ¡controller: ¡

¡Assump-on: ¡low-­‑level ¡controller ¡ can ¡implement ¡certain ¡reachability ¡ rela[ons ¡ ¡Guarantee: ¡high-­‑level ¡ correctness ¡in ¡LTL ¡(requirements) ¡

Summary ¡& ¡Current ¡Direc-ons ¡

More ¡info ¡@ ¡dynamiccps.org ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡@ ¡web.eecs.umich.edu/~necmiye/ ¡

29 ¡

• Goal: ¡go ¡from ¡sensor ¡to ¡

informa-on ¡to ¡ac-on ¡in ¡a ¡ rigorous ¡way ¡with ¡correctness ¡

• guarantees. ¡
• So ¡far: ¡sound ¡(but ¡not ¡complete) ¡

solu[ons ¡to ¡some ¡hard ¡problems ¡

• Direc-ons: ¡
• ­‑ ¡How ¡to ¡formally ¡combine ¡different ¡

func[onality? ¡(composi[onal ¡ synthesis) ¡

• ­‑ ¡Beyond ¡LTL, ¡scalability, ¡robustness ¡
• ­‑ ¡Other ¡applica[ons ¡

Lane ¡keeping ¡– ¡similar ¡reach ¡stay ¡ while ¡avoiding ¡problem ¡