3+ Snippets on Learning Features: Material for Brainstorming - - PowerPoint PPT Presentation

▶

May 06, 2023 21 likes •252 views

3+ Snippets on Learning Features: Material for Brainstorming Guillermo Sapiro Duke University guillermo.sapiro@duke.edu 1 Outline 1.0:

SLIDE 1

3+ ¡Snippets ¡on ¡Learning ¡Features: ¡ Material ¡for ¡Brainstorming ¡ ¡

¡

Guillermo ¡Sapiro ¡

¡

1 Duke ¡University ¡

guillermo.sapiro@duke.edu ¡ ¡ ¡ ¡ ¡

SLIDE 2

Outline ¡

1.0: ¡Dic?onary ¡Learning ¡

– 1.1: ¡Sparse ¡Modeling ¡and ¡Deep ¡Learning? ¡

Some ¡food ¡for ¡though/discussion ¡

– 1.2: ¡Mul?modal ¡Task ¡Oriented ¡Learning ¡ – 1.3: ¡The ¡Data ¡are ¡the ¡Features ¡

2.0: ¡Helping ¡the ¡Data ¡

– 2.1: ¡Another ¡(Inverted) ¡Deep ¡Structure? ¡

3.0: ¡Discussion, ¡Open ¡Floor ¡

SLIDE 3

1.0: ¡Dic?onary ¡Learning ¡

SLIDE 4

Min

D,A

Dα j − x j 2

2 j=1 P

∑

s.t. ∀j, α j 0

0 ≤ L

Measure of Quality for D

D

≈ ¡

X A

State ¡of ¡the ¡art ¡in ¡numerous ¡

image ¡and ¡audio ¡challenges ¡

SLIDE 5

1.1: ¡Sparse ¡Modeling ¡and ¡Deep ¡ Learning ¡

SLIDE 6

Task ¡Oriented ¡and ¡Mul?modal ¡ ¡

SLIDE 7

SLIDE 8

Deep ¡Learning ¡

– First ¡train ¡unsupervised ¡ – Then ¡train ¡supervised ¡

Sparse ¡Modeling ¡and ¡Dic=onary ¡Learning ¡

– First ¡train ¡for ¡generic ¡data ¡(“unsupervised”) ¡ – Then ¡adapt ¡to ¡the ¡data ¡at ¡hand ¡(“supervised”) ¡

Excellent ¡Suppor=ng ¡Theory ¡

SLIDE 9

1.2: ¡The ¡Data ¡are ¡the ¡Features ¡

Suppor=ng ¡Theory ¡

SLIDE 10

2.0: ¡Helping ¡the ¡Data, ¡ ¡ Learning ¡the ¡Features ¡

SLIDE 11

Mo?va?on ¡

SLIDE 12

Mo?va?on ¡

SLIDE 13

Nuclear ¡Norm ¡Formula?on ¡

Theorem: ¡Posi=ve ¡
Theorem: ¡Zero ¡for ¡orthogonal ¡subspaces ¡

– Not ¡true ¡for ¡other ¡popular ¡norms ¡

Works ¡on-‑line ¡
Works ¡with ¡compressing ¡transform ¡matrix ¡
Can ¡learn ¡class-‑specific ¡transforma=ons ¡
Building ¡block ¡of ¡subspace ¡clustering ¡and ¡classifica=on ¡

– And ¡beyond ¡

SLIDE 14

Example ¡

SLIDE 15

Example: ¡Faces ¡

YaleB: ¡38 ¡subjects ¡and ¡64 ¡ligh=ng ¡condi=ons ¡
CMU ¡PIE: ¡68 ¡subjects, ¡13 ¡posi=ons, ¡21 ¡ligh=ng ¡

condi=ons ¡

SLIDE 16

Faces ¡Clustering: ¡9 ¡faces ¡

SLIDE 17

SLIDE 18

Random ¡Forest ¡

SLIDE 19

Basic ¡Formula?on ¡

Node ¡decision ¡rule ¡

SLIDE 20

Collapse ¡and ¡Separate ¡

SLIDE 21

Results ¡

SLIDE 22

Conclusion ¡

Learned ¡Dic=onaries ¡
Data ¡as ¡Features ¡
Learning ¡Transforms ¡
Connec=ons ¡with ¡Deep ¡Learning ¡

– Theore=cal ¡Basis? ¡

SLIDE 23

3.0: ¡Thank ¡You ¡and ¡Discussion ¡

“If ¡it ¡works, ¡there ¡has ¡to ¡be ¡math ¡behind ¡it” ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡I.D. ¡ ¡ “If ¡it ¡works, ¡there ¡has ¡to ¡be ¡math ¡or ¡biology ¡behind ¡it” ¡ ¡ All ¡work ¡presented ¡here ¡has ¡been ¡done ¡in ¡collabora=on ¡with ¡my ¡students ¡and ¡ collaborators: ¡Sprechmann, ¡Bronstein ¡x2, ¡Elhamifar, ¡Qiang ¡Qiu, ¡Masci ¡ Papers ¡in ¡arxiv.org ¡