Week 1, video 2: Regressors Prediction Develop a model which can - - PowerPoint PPT Presentation

▶
week 1 video 2 regressors prediction
SMART_READER_LITE
LIVE PREVIEW

Week 1, video 2: Regressors Prediction Develop a model which can - - PowerPoint PPT Presentation

Feb 14, 2023 166 likes •530 views

Week 1, video 2: Regressors Prediction Develop a model which can infer a single aspect of the data (predicted variable) from some combination of other aspects of the data (predictor variables) Sometimes used to predict the future

slide-1
SLIDE 1

Week 1, video 2: Regressors

slide-2
SLIDE 2

Prediction

Develop a model which can infer a single aspect of

the data (predicted variable) from some combination of other aspects of the data (predictor variables)

Sometimes used to predict the future Sometimes used to make inferences about the

present

slide-3
SLIDE 3

Prediction: Examples

A student is watching a video in a MOOC right now.

Is he bored or frustrated?

A student has used educational software for the last

half hour.

How likely is it that she knows the skill in the next

problem?

A student has completed three years of high school.

What will be her score on the college entrance

exam?

slide-4
SLIDE 4

What can we use this for?

Improved educational design

If we know when students get bored, we can improve

that content

Automated decisions by software

If we know that a student is frustrated, let’s offer the

student some online help

Informing teachers, instructors, and other

stakeholders

If we know that a student is frustrated, let’s tell their

teacher

slide-5
SLIDE 5

Regression in Prediction

There is something you want to predict (“the label”) The thing you want to predict is numerical

Number of hints student requests How long student takes to answer How much of the video the student will watch What will the student’s test score be

slide-6
SLIDE 6

Regression in Prediction

A model that predicts a number is called a

regressor in data mining

The overall task is called regression

slide-7
SLIDE 7

Regression

To build a regression model, you obtain a data set

where you already know the answer – called the training label

For example, if you want to predict the number of

hints the student requests, each value of numhints is a training label

Skill ¡ ¡pknow ¡ ¡*me ¡ ¡totalac*ons ¡numhints ¡ ENTERINGGIVEN ¡0.704 ¡ ¡9 ¡ ¡1 ¡ ¡0 ¡ ENTERINGGIVEN ¡0.502 ¡ ¡10 ¡ ¡2 ¡ ¡0 ¡ ¡ USEDIFFNUM ¡0.049 ¡ ¡6 ¡ ¡1 ¡ ¡3 ¡ ¡ ENTERINGGIVEN ¡0.967 ¡ ¡7 ¡ ¡3 ¡ ¡0 ¡ ¡ REMOVECOEFF ¡0.792 ¡ ¡16 ¡ ¡1 ¡ ¡1 ¡ ¡

slide-8
SLIDE 8

Regression

Associated with each label are a set of “features”,

  • ther variables, which you will try to use to predict

the label

Skill ¡ ¡pknow ¡ ¡*me ¡ ¡totalac*ons ¡numhints ¡ ENTERINGGIVEN ¡0.704 ¡ ¡9 ¡ ¡1 ¡ ¡0 ¡ ENTERINGGIVEN ¡0.502 ¡ ¡10 ¡ ¡2 ¡ ¡0 ¡ ¡ USEDIFFNUM ¡0.049 ¡ ¡6 ¡ ¡1 ¡ ¡3 ¡ ¡ ENTERINGGIVEN ¡0.967 ¡ ¡7 ¡ ¡3 ¡ ¡0 ¡ ¡ REMOVECOEFF ¡0.792 ¡ ¡16 ¡ ¡1 ¡ ¡1 ¡ ¡ REMOVECOEFF ¡0.792 ¡ ¡13 ¡ ¡2 ¡

slide-9
SLIDE 9

Regression

The basic idea of regression is to determine which

features, in which combination, can predict the label’s value

Skill ¡ ¡pknow ¡ ¡*me ¡ ¡totalac*ons ¡numhints ¡ ENTERINGGIVEN ¡0.704 ¡ ¡9 ¡ ¡1 ¡ ¡0 ¡ ENTERINGGIVEN ¡0.502 ¡ ¡10 ¡ ¡2 ¡ ¡0 ¡ ¡ USEDIFFNUM ¡0.049 ¡ ¡6 ¡ ¡1 ¡ ¡3 ¡ ¡ ENTERINGGIVEN ¡0.967 ¡ ¡7 ¡ ¡3 ¡ ¡0 ¡ ¡ REMOVECOEFF ¡0.792 ¡ ¡16 ¡ ¡1 ¡ ¡1 ¡ ¡ REMOVECOEFF ¡0.792 ¡ ¡13 ¡ ¡2 ¡

slide-10
SLIDE 10

Linear Regression

The most classic form of regression is linear

regression

Numhints = 0.12*Pknow + 0.932*Time –

0.11*Totalactions

Skill ¡ ¡pknow ¡ ¡*me ¡ ¡totalac*ons ¡numhints ¡ COMPUTESLOPE ¡0.544 ¡ ¡9 ¡ ¡1 ¡ ¡? ¡

slide-11
SLIDE 11

Quiz

Numhints = 0.12*Pknow + 0.932*Time –

0.11*Totalactions

What is the value of numhints? A)

8.34

B)

13.58

C)

3.67

D)

9.21

E)

FNORD

Skill ¡ ¡pknow ¡ ¡*me ¡ ¡totalac*ons ¡numhints ¡ COMPUTESLOPE ¡0.322 ¡ ¡15 ¡ ¡4 ¡ ¡? ¡ ¡

slide-12
SLIDE 12

Quiz

Numhints = 0.12*Pknow + 0.932*Time –

0.11*Totalactions

Which of the variables has the largest impact

  • n numhints?

(Assume they are scaled the same)

A)

Pknow

B)

Time

C)

Totalactions

D)

Numhints

E)

They are equal

slide-13
SLIDE 13

However…

These variables are unlikely to be scaled the same! If Pknow is a probability

From 0 to 1 We’ll discuss this variable later in the class

And time is a number of seconds to respond

From 0 to infinity

Then you can’t interpret the weights in a

straightforward fashion

You need to transform them first

slide-14
SLIDE 14

Transform

When you make a new variable by applying some

mathematical function to the previous variable

Xt = X2

slide-15
SLIDE 15

Transform: Unitization

Increases interpretability of relative strength of

features

Reduces interpretability of individual features

Xt = X – M(X) SD(X)

slide-16
SLIDE 16

Linear Regression

Linear regression only fits linear functions… Except when you apply transforms to the input

variables

Which most statistics and data mining packages can

do for you

slide-17
SLIDE 17

Ln(X)

  • 5
  • 4
  • 3
  • 2
  • 1

1 2 3

  • 15
  • 10
  • 5

5 10 15

slide-18
SLIDE 18

Sqrt(X)

0.5 1 1.5 2 2.5 3 3.5

  • 15
  • 10
  • 5

5 10 15

slide-19
SLIDE 19

X2

20 40 60 80 100 120

  • 15
  • 10
  • 5

5 10 15 Xt

slide-20
SLIDE 20

X3

  • 1500
  • 1000
  • 500

500 1000 1500

  • 15
  • 10
  • 5

5 10 15 Xt

slide-21
SLIDE 21

1/X

  • 80
  • 60
  • 40
  • 20

20 40 60 80

  • 15
  • 10
  • 5

5 10 15

slide-22
SLIDE 22

Sin(X)

  • 1.5
  • 1
  • 0.5

0.5 1 1.5

  • 15
  • 10
  • 5

5 10 15

slide-23
SLIDE 23

Linear Regression

Surprisingly flexible… But even without that It is blazing fast It is often more accurate than more complex models,

particularly once you cross-validate

Caruana & Niculescu-Mizil (2006)

It is feasible to understand your model

(with the caveat that the second feature in your model is in the context of the first feature, and so on)

slide-24
SLIDE 24

Example of Caveat

Let’s graph the relationship between number of

graduate students and number of papers per year

slide-25
SLIDE 25

Data

2 4 6 8 10 12 14 16 2 4 6 8 10 12 14 16 Papers per year Number of graduate students

slide-26
SLIDE 26

Data

2 4 6 8 10 12 14 16 2 4 6 8 10 12 14 16 Papers per year Number of graduate students

Too much time spent filling out personnel action forms?

slide-27
SLIDE 27

Model

Number of papers =

4 + 2 * # of grad students

  • 0.1 * (# of grad students)2

But does that actually mean that

(# of grad students)2 is associated with less publication?

No!

slide-28
SLIDE 28

Example of Caveat

(# of grad students)2 is actually

positively correlated with publications!

r=0.46

2 4 6 8 10 12 14 16 2 4 6 8 10 12 14 16 Papers per year Number of graduate students

slide-29
SLIDE 29

Example of Caveat

The relationship is only in the negative

direction when the number of graduate students is already in the model…

2 4 6 8 10 12 14 16 2 4 6 8 10 12 14 16 Papers per year Number of graduate students

slide-30
SLIDE 30

Example of Caveat

So be careful when interpreting linear regression

models (or almost any other type of model)

slide-31
SLIDE 31

Regression Trees

slide-32
SLIDE 32

Regression Trees (non-linear; RepTree)

If X>3

Y = 2 else If X<-7

Y = 4 Else Y = 3

slide-33
SLIDE 33

Linear Regression Trees (linear; M5’)

If X>3

Y = 2A + 3B else If X< -7

Y = 2A – 3B Else Y = 2A + 0.5B + C

slide-34
SLIDE 34

Linear Regression Tree

2 4 6 8 10 12 14 16 2 4 6 8 10 12 14 16 Papers per year Number of graduate students

slide-35
SLIDE 35

Later Lectures

Other regressors Goodness metrics for comparing regressors Validating regressors

slide-36
SLIDE 36

Next Lecture

Classifiers – another type of prediction model