GENIE: Valida,on and Tuning status report Julia Yarba, - - PowerPoint PPT Presentation

▶
genie valida on and tuning status report
SMART_READER_LITE
LIVE PREVIEW

GENIE: Valida,on and Tuning status report Julia Yarba, - - PowerPoint PPT Presentation

Feb 13, 2023 207 likes •371 views

GENIE: Valida,on and Tuning status report Julia Yarba, FNAL Simula,on for Neutrinos mee,ng Jan.30, 2016 GENE Valida,on and Tuning

slide-1
SLIDE 1

GENIE: ¡Valida,on ¡and ¡Tuning ¡ ¡ ¡status ¡report ¡

Julia ¡Yarba, ¡FNAL ¡ ¡ Simula,on ¡for ¡Neutrinos ¡mee,ng ¡ ¡ Jan.30, ¡2016 ¡ ¡ ¡ ¡

slide-2
SLIDE 2

GENE ¡Valida,on ¡and ¡Tuning ¡Overview ¡

¡

J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡

  • Goal: ¡

– Con,nuously ¡monitor ¡the ¡quality ¡of ¡GENIE ¡results ¡by ¡benchmarking ¡vs ¡ exp.data ¡ – Drive ¡further ¡development ¡of ¡GENIE ¡physics ¡models ¡

  • Recent ¡ac,vity: ¡

– Revisit ¡pre-­‑exis,ng ¡valida,on ¡applica,ons ¡and ¡exp.data ¡ – Expand ¡GENIE ¡valida,on ¡suite ¡by ¡adding ¡most ¡recent ¡data ¡from ¡modern ¡ experiment ¡ – Add ¡sta,s,cal ¡analysis ¡(in ¡addi,on ¡to ¡“bare ¡eye ¡inspec,on”) ¡ – Full ¡automa,on ¡of ¡the ¡valida,on ¡procedure ¡ – Making ¡valida,on ¡results ¡available ¡to ¡users ¡ ¡ – GENIE ¡model ¡parameters ¡tuning ¡vs ¡mul,ple ¡exp.datasets ¡(will ¡not ¡be ¡ covered ¡in ¡details ¡in ¡this ¡report, ¡but ¡this ¡is ¡an ¡important ¡ac,vity) ¡

1/30/17 ¡ 2 ¡

slide-3
SLIDE 3

Status ¡of ¡GENE ¡Valida,on ¡So\ware ¡

¡

J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡

  • Pre-­‑exis,ng ¡applica,ons ¡

– Comparisons ¡vs ¡bubble ¡chamber ¡data ¡from ¡earlier ¡days ¡

  • Largely ¡re-­‑factored ¡so\ware ¡

– Core ¡infrastructure: ¡

  • Easy ¡to ¡inherit ¡from ¡and ¡to ¡add ¡a ¡new ¡applica,on ¡ ¡
  • Basis ¡for ¡“transparent” ¡processing ¡of ¡one ¡or ¡mul,ple ¡data-­‑MC ¡comparisons ¡

– Collec,on ¡of ¡common-­‑use ¡tools ¡ – Recently ¡added ¡ ¡modern ¡data ¡and ¡applica,on: ¡

  • MINERvA ¡ ¡

– example ¡plots ¡in ¡the ¡following ¡slides ¡ – “book” ¡of ¡such ¡plots ¡can ¡be ¡produced ¡“in ¡one ¡go” ¡ – bear ¡in ¡mind ¡that ¡this ¡is ¡work ¡in ¡progress ¡!!! ¡ » we ¡recognize ¡their ¡may ¡be ¡an ¡issue ¡with ¡the ¡normaliza,on ¡ ¡ ¡ ¡ ¡ ¡ ¡in ¡some ¡of ¡the ¡comparisons ¡and ¡we ¡are ¡inves,ga,ng ¡that ¡

  • MiniBooNE ¡
  • T2K ¡
  • … ¡

1/30/17 ¡ 3 ¡

slide-4
SLIDE 4

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 4 ¡

]

2

[GeV

QE 2

Q

0.5 1 1.5 2

/neutron]

2

/GeV

2

[cm

QE 2

/dQ σ d

0.5 1 1.5

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCCQEQ2 / dof --> COMING SOON

2

χ :: / dof --> COMING SOON

2

χ ::

nu_mu ¡on ¡ Hydrocarbon ¡ ¡ Q2 ¡is ¡reconstructed ¡ under ¡the ¡hypothesis ¡ that ¡the ¡event ¡is ¡ quasielas,c ¡

slide-5
SLIDE 5

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 5 ¡

[GeV]

π

E

1 2 3 4

]

12

/GeV/C

2

[cm

π

/dE σ d

2 4

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCoherentPionEnergy / dof --> COMING SOON

2

χ :: / dof --> COMING SOON

2

χ ::

nu_mu ¡on ¡ Hydrocarbon ¡ ¡ Coherent ¡pion ¡ produc,on ¡

slide-6
SLIDE 6

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 6 ¡

[degree]

π

θ

20 40 60

]

12

/degree/C

2

[cm

π

θ /d σ d

0.05 0.1 0.15 0.2

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCoherentPionPolarAngle / dof --> COMING SOON

2

χ :: / dof --> COMING SOON

2

χ ::

nu_mu ¡on ¡ Hydrocarbon ¡ ¡ Coherent ¡pion ¡ produc,on ¡

slide-7
SLIDE 7

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 7 ¡

]

2

[GeV

QE,p 2

Q

0.5 1 1.5 2

/nucleon]

2

/GeV

2

[cm

QE,p 2

/dQ σ d

0.5 1 1.5

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCCMuProtonFSQ2P / dof --> COMING SOON

2

χ ::

nu_mu ¡on ¡ Hydrocarbon ¡ ¡ mu-­‑proton ¡ ¡ in ¡the ¡final ¡state ¡

slide-8
SLIDE 8

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 8 ¡

[MeV]

π

EKin

100 200 300

/MeV/nucleon]

2

cm

  • 42

[10

π

/dT σ d

0.5 1 1.5

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCC1pichgEnergy / dof --> COMING SOON

2

χ ::

nu_mu ¡on ¡ Hydrocarbon ¡ ¡ Charged ¡pion ¡ produc,on ¡

slide-9
SLIDE 9

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 9 ¡

[degree]

π

θ

50 100 150

/degree/nucleon]

2

cm

  • 42

[10

π

θ /d σ d

2 4 6

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCC1pichgPolarAngle / dof --> COMING SOON

2

χ ::

nu_mu ¡on ¡ Hydrocarbon ¡ nu_mu ¡on ¡ Hydrocarbon ¡ ¡ Charged ¡pion ¡ produc,on ¡

slide-10
SLIDE 10

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 10 ¡

]

2

[GeV

QE 2

Q

0.5 1 1.5 2

/proton]

2

/GeV

2

[cm

QE 2

/dQ σ d

0.5 1

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCCQEQ2 / dof --> COMING SOON

2

χ ::

nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Q2 ¡is ¡reconstructed ¡ under ¡the ¡hypothesis ¡ that ¡the ¡event ¡is ¡ quasielas,c ¡

slide-11
SLIDE 11

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 11 ¡

[GeV]

π

E

1 2 3 4

]

12

/GeV/C

2

[cm

π

/dE σ d

2 4

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCoherentPionEnergy / dof --> COMING SOON

2

χ :: / dof --> COMING SOON

2

χ ::

nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Coherent ¡pion ¡ produc,on ¡

slide-12
SLIDE 12

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 12 ¡

[degree]

π

θ

20 40 60

]

12

/degree/C

2

[cm

π

θ /d σ d

0.05 0.1 0.15

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCoherentPionPolarAngle / dof --> COMING SOON

2

χ :: / dof --> COMING SOON

2

χ ::

nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Coherent ¡pion ¡ produc,on ¡

slide-13
SLIDE 13

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 13 ¡

[GeV/c]

π

p

0.5 1 1.5

/nucleon/(GeV/c)]

2

cm

  • 40

[10

π

/dp σ d

10 20 30 40

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCC1pi0Momentum / dof --> COMING SOON

2

χ ::

nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Single ¡π0 ¡ ¡ produc,on ¡

slide-14
SLIDE 14

1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 14 ¡

[degree]

π

θ

50 100 150

/nucleon/degree]

2

cm

  • 42

[10

π

θ /d σ d

10 20

2003-2017, GENIE - http://www.genie-mc.org 

MINERvAExDataCC1pi0PolarAngle / dof --> COMING SOON

2

χ ::

nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Single ¡π0 ¡ ¡ produc,on ¡

slide-15
SLIDE 15

GENE ¡Valida,on ¡Procedure ¡

¡

J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡

  • Valida,on ¡chain: ¡

– GENIE ¡builds ¡periodically ¡triggered ¡(on ¡a ¡pre-­‑defined ¡schedule ¡and/or ¡by ¡ development ¡commits) ¡ – Unit ¡tests ¡(in ¡progress) ¡ – Physics ¡valida,on ¡(as ¡described ¡in ¡previous ¡slide) ¡

  • Genera,on ¡of ¡splines ¡(if ¡needed) ¡
  • Genera,on ¡of ¡MC ¡event ¡samples ¡
  • MC ¡event ¡analysis ¡and ¡benchmarking ¡vs ¡exp.data ¡

– Repor,ng ¡of ¡Results ¡

  • Proposed ¡collabora,on ¡with ¡the ¡Con,nuous ¡Integra,on ¡(CI) ¡

project ¡at ¡FNAL/SCD ¡

  • Plans ¡to ¡make ¡valida,on ¡results ¡from ¡major ¡GENIE ¡releases ¡

available ¡in ¡DoSSiER ¡(see ¡talk ¡by ¡Hans ¡W.) ¡ ¡ ¡ ¡

1/30/17 ¡ 15 ¡

slide-16
SLIDE 16

Summary ¡

¡

J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡

  • Valida,on ¡and ¡Tuning ¡is ¡an ¡important ¡effort ¡within ¡GENIE, ¡towards ¡

making ¡a ¡beper ¡generator ¡for ¡the ¡experiments ¡

  • The ¡so\ware ¡has ¡been ¡largely ¡upgraded, ¡in ¡order ¡to ¡transi,on ¡

from ¡“bare ¡eye ¡inspec,on” ¡to ¡sta,s,cal ¡analysis, ¡and ¡as ¡a ¡step ¡ towards ¡tuning ¡GENIE ¡model ¡parameters ¡

  • Collec,on ¡of ¡experimental ¡data ¡for ¡benchmarking ¡is ¡being ¡

expanded ¡to ¡include ¡recent ¡results ¡from ¡modern ¡experiments ¡

  • We ¡work ¡on ¡fully ¡automa,ng ¡GENIE ¡valida,on ¡chain, ¡poten,ally ¡in ¡

collabora,on ¡with ¡the ¡CI ¡project ¡at ¡FNAL/SCD ¡

  • We ¡plan ¡to ¡make ¡GENIE ¡valida,on ¡results ¡available ¡to ¡users ¡via ¡

DoSSiER ¡ ¡

1/30/17 ¡ 16 ¡