Uncertainty and its Representa/on @kordinglab Uncertainty - - PowerPoint PPT Presentation

Uncertainty ¡and ¡its ¡ Representa/on ¡

@kordinglab ¡

Uncertainty ¡ma7ers ¡

The ¡brain ¡is ¡good ¡with ¡uncertainty ¡

Measure ¡world ¡+ ¡uncertainty ¡ Derive ¡op/mal ¡behavior ¡ Compare ¡

With ¡Thier, ¡Catz, ¡Albert ¡

4 ¡Models ¡for ¡the ¡representa(on ¡of ¡ uncertainty ¡

• More ¡uncertainty ¡-­‑> ¡fewer ¡spikes ¡
• More ¡uncertainty ¡-­‑> ¡broader ¡tuning ¡
• More ¡uncertainty ¡-­‑> ¡earlier ¡spikes ¡
• More ¡uncertainty ¡-­‑> ¡more ¡variability ¡

With ¡Lee ¡Miller, ¡Dekleva, ¡etc ¡

Uncertainty ¡task ¡

Example: ¡More ¡not ¡less ¡spikes ¡

Implica/ons? ¡

Prewired ¡Bayesian ¡ “each ¡spike ¡ changes ¡the ¡ probability” ¡ NN/ ¡black ¡box ¡ ¡ learning ¡ “just ¡do ¡ gradient ¡ descent” ¡ Many ¡ Intermediate ¡ models ¡

What ¡is ¡missing ¡in ¡neural ¡network ¡ representa/ons ¡

• Good ¡representa/ons ¡of ¡kinds ¡of ¡uncertainty ¡
• Ways ¡of ¡represen/ng ¡nontrivial ¡structures ¡
• Ways ¡of ¡controlling ¡ac/ons ¡

Some ¡interes/ng ¡developments ¡

Deep ¡networks ¡for ¡op/mal ¡motor ¡control ¡

• w. ¡Max ¡Berniker ¡

We ¡also ¡need ¡more ¡data ¡

w ¡Boyden, ¡Church, ¡Tyo ¡

Record ¡countless ¡ ¡ neurons ¡ Quan/fy ¡the ¡world ¡

w ¡Wolpert, ¡Ingram ¡

Nontrivial ¡models ¡require ¡nontrivial ¡amounts ¡of ¡data ¡

Conclusions ¡

• Uncertainty ¡representa/on ¡not ¡simple ¡
• Shouldn’t ¡be ¡simple ¡if ¡not ¡pre-­‑wired ¡
• Need ¡models ¡in ¡between ¡
• And ¡a ¡lot ¡of ¡data ¡to ¡constrain ¡