Aaron Clauset Winter Mason Department of Computer Science - - PowerPoint PPT Presentation

Aaron ¡Clauset ¡ Department ¡of ¡Computer ¡Science ¡ University ¡of ¡Colorado: ¡Boulder ¡ Aaron.Clauset@colorado.edu ¡ ¡ Winter ¡Mason ¡ Howe ¡School ¡of ¡Technology ¡Mgmt. ¡ Stevens ¡Institute ¡of ¡Technology ¡ m@winteram.com ¡ ¡ ¡

 Prior ¡work ¡& ¡motivation ¡  Halo ¡  Our ¡collected ¡data ¡  Survey ¡  Description ¡of ¡respondents ¡  Friends ¡on ¡Halo ¡

NOTE: ¡Preliminary ¡results! ¡

 Online ¡behavior ¡provides ¡useful ¡clues ¡about ¡

the ¡actors ¡

• Marketers ¡use ¡it ¡for ¡demographic ¡and ¡behavioral ¡

targeting ¡in ¡advertisements ¡

• Sites ¡use ¡it ¡to ¡improve ¡customer ¡experience ¡
• Researchers ¡use ¡it ¡to ¡understand ¡and ¡predict ¡

behavior ¡

 Using ¡mobile ¡phone ¡data, ¡Eagle ¡& ¡Pentland ¡

(2007) ¡successfully ¡inferred ¡demographic ¡data ¡ from ¡mobility ¡patterns ¡ ¡

 Many ¡studies ¡have ¡looked ¡at ¡parallels ¡between ¡

• nline ¡and ¡offline ¡behavior ¡
• Diffusion ¡of ¡gestures ¡in ¡Second ¡Life ¡(Bakshy ¡et ¡al) ¡
• Proxemics ¡in ¡Second ¡Life ¡(Friedman ¡et ¡al) ¡
• Development ¡of ¡social ¡norms ¡in ¡MUDs ¡& ¡MOOs ¡

(Becker ¡et ¡al) ¡

• Halo ¡3 ¡friendships ¡(Xu ¡et ¡al) ¡

 Massive ¡online ¡first-­‑person ¡shooter ¡(FPS) ¡

game ¡played ¡on ¡XBox ¡

 Campaign ¡games, ¡played ¡with ¡at ¡most ¡two ¡

people ¡

 Competitive ¡games: ¡

• 2 ¡≤ ¡N ¡≤ ¡16 ¡
• Team ¡games ¡(2 ¡v ¡2; ¡4 ¡v ¡4; ¡8 ¡v ¡8) ¡
• Objective ¡games ¡(e.g., ¡capture ¡the ¡flag) ¡
• Free-­‑for-­‑all ¡games ¡

 Players ¡can ¡join ¡game ¡as ¡a ¡group ¡(although ¡

assignment ¡to ¡same ¡team ¡not ¡guaranteed) ¡or ¡ as ¡individuals ¡

 Assignment ¡to ¡teams ¡by ¡TrueSkill™ ¡(Herbrich ¡

& ¡Graepel), ¡a ¡Bayesian ¡modeling ¡framework ¡

 Attempts ¡to ¡ensure ¡evenly ¡matched ¡games ¡  Games ¡start ¡when ¡sufficient ¡number ¡of ¡

players ¡are ¡matched ¡to ¡game ¡

 Kills ¡  Deaths ¡  Assists ¡

• Player ¡1 ¡greatly ¡injures ¡an ¡opponent, ¡“assisting” ¡

Player ¡2 ¡who ¡kills ¡injured ¡opponent ¡

 Betrayal ¡

• Killing ¡player ¡on ¡own ¡team ¡

 Suicide ¡

• Throwing ¡yourself ¡off ¡a ¡cliff ¡

 Bungie, ¡inc. ¡(the ¡makers ¡of ¡Halo) ¡opened ¡an ¡

API ¡to ¡access ¡information ¡about ¡players ¡& ¡ games ¡

 Currently ¡over ¡350M ¡games ¡played ¡  Over ¡10M ¡players ¡from ¡around ¡the ¡world ¡  Many ¡enthusiastic ¡fans ¡

 In ¡addition ¡to ¡polling ¡API ¡for ¡random ¡game ¡

info… ¡

 Created ¡survey ¡for ¡Halo ¡players ¡  Advertised ¡through ¡Facebook ¡& ¡Halo ¡forums ¡  Asked ¡respondents ¡to ¡recommend ¡survey ¡to ¡

friends ¡

 Demographics ¡

• gender, ¡age, ¡location ¡(country ¡& ¡postal ¡code), ¡

language, ¡education ¡ ¡

 Entativity ¡

• Psychometrics ¡on ¡how ¡much ¡they ¡feel ¡their ¡team ¡is ¡a ¡

group ¡

 Cohesion ¡

• Psychometrics ¡on ¡how ¡cohesive ¡they ¡feel ¡the ¡team ¡

members ¡are ¡

 Conflict ¡

• Psychometric ¡on ¡how ¡much ¡conflict ¡their ¡team ¡has ¡

 Leader ¡Style ¡

• Whether ¡they ¡are ¡/ ¡prefer ¡to ¡be ¡a ¡leader, ¡follower, ¡or ¡

lone ¡wolf ¡

 Team ¡roles ¡

• Whether ¡their ¡team ¡has ¡consistent ¡roles ¡

 Friendships ¡

• Whether ¡they ¡made ¡new ¡(online ¡/ ¡offline) ¡friends ¡

through ¡Halo ¡

 Game ¡Play ¡

• How ¡often ¡they ¡play, ¡what ¡they ¡tend ¡to ¡play, ¡etc. ¡

B#.(/.3!(BB$,)/!/$!+$E!A)&!P%!/;.K!:#.JA$,-+K!B$1:+./.3!/;.!(BB$,)/!B#.(/A$)!:#$B.--O!/;.)!B+ABQA)E!LR$EA)M!HA++! /(Q.!/;.1!3A#.B/+K!/$!"(E.!F4&!S/;.#HA-.O!B+ABQA)E!LR$EA)M!HA++!/(Q.!/;.1!/$!"(E.!5&!

 1182 ¡respondents ¡completed ¡survey ¡  99.58% ¡reported ¡gender; ¡ ¡

• f ¡these, ¡94.9% ¡were ¡male ¡

 Average ¡age: ¡22.4 ¡  Median ¡age: ¡20 ¡

Age Density

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 10 20 30 40 50

MAJORITY ¡OF ¡RESPONDENTS ¡ ARE ¡FROM ¡U.S. ¡ ¡

Count Country

Chile Bahrain Bermuda Denmark Finland GB Guam Jamaica Japan Jordan Kazakhstan Norway Reunion Spain Taiwan Trinidad−Tobago United Arab Emirates Austria India Ireland Malaysia Puerto Rico Singapore Switzerland Brazil Sweden Mexico Gemany Netherlands New Zealand France Australia Canada UK USA NA 200 400 600 800

LARGE ¡MAJORITY ¡OF ¡ RESPONDENTS ¡SPEAK ¡ENGLISH ¡ ¡

Count Language

Arabic Hindi−Urdu Korean Mandarin Portuguese Russian German Spanish French Other English NA 200 400 600 800 1000

 Collected ¡all ¡games ¡for ¡random ¡sample ¡of ¡

939,000 ¡players ¡

 Obtained ¡all ¡games ¡for ¡these ¡players ¡  Provides ¡baseline ¡to ¡estimate ¡bias ¡in ¡survey ¡

sample ¡

 Survey ¡players ¡are ¡

much ¡more ¡active, ¡in ¡ number ¡of ¡games ¡

 Survey ¡players ¡are ¡

much ¡more ¡active, ¡in ¡ number ¡of ¡games ¡as ¡ well ¡as ¡time ¡spent ¡

 Survey ¡players ¡are ¡

much ¡more ¡active, ¡in ¡ number ¡of ¡games ¡as ¡ well ¡as ¡time ¡spent ¡

 Survey ¡players ¡have ¡

more ¡kills ¡

 Survey ¡players ¡are ¡

much ¡more ¡active, ¡in ¡ number ¡of ¡games ¡as ¡ well ¡as ¡time ¡spent ¡

 Survey ¡players ¡have ¡

more ¡kills, ¡but ¡they ¡ also ¡die ¡more ¡

 Survey ¡players ¡are ¡

much ¡more ¡active, ¡in ¡ number ¡of ¡games ¡as ¡ well ¡as ¡time ¡spent ¡

 Survey ¡players ¡have ¡

more ¡kills, ¡but ¡they ¡ also ¡die ¡more ¡

 Survey ¡players ¡are ¡

much ¡better ¡at ¡the ¡ game ¡

 Most ¡players ¡prefer ¡to ¡

play ¡in ¡“support” ¡roles ¡

Leadership Style Count

100 200 300 400 500 lone wolf team support team leader NA

 Most ¡players ¡prefer ¡to ¡

play ¡in ¡“support” ¡roles ¡

 The ¡leaders ¡have ¡

significantly ¡more ¡ assists, ¡and ¡the ¡lone ¡ wolves ¡have ¡ significantly ¡fewer ¡

Leader Style Assists per Game

0.0 0.5 1.0 1.5 2.0

lone wolf team leader team support

 Most ¡players ¡prefer ¡to ¡

play ¡in ¡“support” ¡roles ¡

 The ¡leaders ¡have ¡

significantly ¡more ¡ assists, ¡and ¡the ¡lone ¡ wolves ¡have ¡ significantly ¡fewer ¡

 The ¡leaders ¡win ¡

significantly ¡more ¡

Leader Style Wins per Game

0.0 0.2 0.4 0.6 0.8

lone wolf team leader team support

 Split ¡age ¡into ¡thirds: ¡

10-­‑18, ¡19-­‑23, ¡24-­‑57 ¡

 19-­‑23 ¡year-­‑olds ¡assist ¡

more ¡than ¡other ¡ages ¡

Age Assists per Game

0.0 0.5 1.0 1.5 2.0

min−18 19−23 24−max

 Split ¡age ¡into ¡thirds: ¡

10-­‑18, ¡19-­‑23, ¡24-­‑57 ¡

 19-­‑23 ¡year-­‑olds ¡assist ¡

more ¡than ¡other ¡ages ¡

 10-­‑18 ¡year-­‑olds ¡betray ¡

their ¡teammates ¡more ¡

Age Betrayals per Game

0.00 0.05 0.10 0.15

min−18 19−23 24−max

 Split ¡age ¡into ¡thirds: ¡

10-­‑18, ¡19-­‑23, ¡24-­‑57 ¡

 19-­‑23 ¡year-­‑olds ¡assist ¡

more ¡than ¡other ¡ages ¡

 10-­‑18 ¡year-­‑olds ¡betray ¡

their ¡teammates ¡more ¡ and ¡commit ¡suicide ¡ more ¡often ¡

 24-­‑57 ¡year-­‑olds ¡win ¡

less ¡

Age Wins per Game

0.0 0.2 0.4 0.6 0.8

min−18 19−23 24−max

1.

How ¡tightly ¡knit ¡is ¡your ¡ group? ¡

2.

How ¡important ¡is ¡the ¡group ¡ to ¡your ¡interest ¡in ¡Halo? ¡

3.

How ¡important ¡is ¡winning? ¡

4.

How ¡important ¡is ¡the ¡group ¡ to ¡winning? ¡

5.

To ¡what ¡extent ¡does ¡your ¡ group ¡achieve ¡its ¡goals? ¡

6.

To ¡what ¡extent ¡does ¡your ¡ group ¡act ¡collectively? ¡

7.

Do ¡you ¡consistently ¡work ¡ together ¡or ¡do ¡your ¡own ¡ thing? ¡

8.

Do ¡you ¡rely ¡on ¡each ¡other ¡for ¡ help? ¡

9.

Does ¡your ¡group ¡all ¡feel ¡ included ¡in ¡activites? ¡

• 10. How ¡much ¡unity ¡do ¡you ¡feel? ¡

11.

Do ¡you ¡talk ¡about ¡non-­‑Halo ¡ topics? ¡

• 12. How ¡similar ¡are ¡group ¡

members ¡to ¡each ¡other? ¡

13.

How ¡much ¡do ¡you ¡know ¡ about ¡your ¡group ¡members? ¡

• 14. How ¡much ¡do ¡you ¡like ¡your ¡

group? ¡

Response count

200 400 600 800 200 400 600 800 200 400 600 800 200 400 600 800 ent.knit ent.achgls ent.incl ent.know 1 2 3 4 5NA ent.grpimpt ent.actcoll ent.unity ent.like 1 2 3 4 5NA ent.winimpt ent.wktgthr ent.pers 1 2 3 4 5NA ent.gwinimpt ent.rely ent.sim 1 2 3 4 5NA Correlation plot

ent.unity ent.incl ent.knit ent.actcoll ent.rely ent.like ent.wktgthr ent.achgls ent.grpimpt ent.know ent.sim ent.pers ent.gwinimpt ent.winimpt ent.winimpt ent.gwinimpt ent.pers ent.sim ent.know ent.grpimpt ent.achgls ent.wktgthr ent.like ent.rely ent.actcoll ent.knit ent.incl ent.unity −1 −0.8 −0.6 −0.4 −0.2 0.2 0.4 0.6 0.8 1

 Averaged ¡correlated ¡

entativity ¡questions ¡

 Median ¡split ¡on ¡

responses ¡(~ ¡4.1) ¡

 Players ¡who ¡feel ¡they ¡

are ¡part ¡of ¡highly ¡ entitative ¡groups ¡have ¡ more ¡assists ¡

ent Assists per Game

0.0 0.5 1.0 1.5 2.0

1

• 1. Many ¡players ¡in ¡my ¡

group ¡are ¡ideal ¡ teammates ¡

• 2. I ¡feel ¡included ¡in ¡the ¡

group’s ¡activites ¡

• 3. I ¡really ¡enjoy ¡playing ¡

Halo ¡with ¡this ¡group ¡

• 4. If ¡my ¡group ¡wanted ¡

to ¡stop ¡playing ¡ together, ¡I ¡would ¡try ¡ to ¡dissuade ¡them ¡

• 5. If ¡I ¡were ¡to ¡play ¡a ¡

game ¡like ¡Halo, ¡I ¡ would ¡want ¡to ¡play ¡ with ¡this ¡group ¡

• 6. I ¡can ¡play ¡Halo ¡the ¡

way ¡I ¡like ¡with ¡this ¡ group ¡

• 7. Compared ¡to ¡other ¡

teams, ¡my ¡team ¡is ¡ the ¡best ¡at ¡working ¡ together ¡

Response count

200 400 600 800 200 400 600 800 200 400 600 800 coh.ideal coh.dissuade coh.wrktgth 1 2 3 4 5 NA coh.incl coh.plyagain 1 2 3 4 5 NA coh.enjoy coh.way 1 2 3 4 5 NA Correlation plot

coh.enjoy coh.plyagain coh.incl coh.way coh.ideal coh.wrktgth coh.dissuade coh.dissuade coh.wrktgth coh.ideal coh.way coh.incl coh.plyagain coh.enjoy −1 −0.8 −0.6 −0.4 −0.2 0.2 0.4 0.6 0.8 1

1.

Everyone ¡on ¡my ¡team ¡ gets ¡along ¡well ¡

• 2. We ¡have ¡lots ¡of ¡

arguments ¡over ¡who ¡ should ¡do ¡what ¡job ¡

3.

The ¡members ¡of ¡my ¡ group ¡fight ¡amongst ¡ themselves ¡

• 4. Not ¡everyone ¡in ¡my ¡

group ¡gets ¡along ¡well ¡

• 5. The ¡members ¡of ¡my ¡

group ¡are ¡supportive ¡of ¡ each ¡others’ ¡plans ¡

• 6. There ¡are ¡clashes ¡

between ¡subgroups ¡of ¡ my ¡group ¡

7.

There ¡is ¡friendliness ¡ among ¡the ¡members ¡of ¡ my ¡group ¡

• 8. There ¡is ¡a ¡“we” ¡feeling ¡

among ¡members ¡of ¡my ¡ group ¡

Response count

100 200 300 400 500 600 100 200 300 400 500 600 100 200 300 400 500 600 cfl.getalng cfl.notalng cfl.frnd 1 2 3 4 5 NA cfl.argue cfl.supp cfl.we 1 2 3 4 5 NA cfl.fight cfl.subgr 1 2 3 4 5 NA Correlation plot

cfl.notalng cfl.fight cfl.argue cfl.subgr cfl.getalng cfl.we cfl.supp cfl.frnd cfl.frnd cfl.supp cfl.we cfl.getalng cfl.subgr cfl.argue cfl.fight cfl.notalng −1 −0.8 −0.6 −0.4 −0.2 0.2 0.4 0.6 0.8 1

 Averaged ¡correlated ¡

conflict ¡questions ¡

 Median ¡split ¡on ¡

responses ¡(~ ¡1.6) ¡

 Players ¡who ¡feel ¡they ¡

are ¡part ¡of ¡highly ¡ conflicted ¡groups ¡ commit ¡suicide ¡more ¡

• ften ¡

Conflict Suicides per Game

0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35

1

 Averaged ¡correlated ¡

conflict ¡questions ¡

 Median ¡split ¡on ¡

responses ¡(~ ¡1.6) ¡

 Players ¡who ¡feel ¡they ¡

are ¡part ¡of ¡highly ¡ conflicted ¡groups ¡ commit ¡suicide ¡more ¡

• ften ¡and ¡marginally ¡

more ¡betrayals ¡

Conflict Betrayals per Game

0.00 0.05 0.10 0.15

1

 Players ¡were ¡presented ¡with ¡list ¡of ¡players ¡

they ¡had ¡played ¡the ¡most ¡games ¡with ¡

 Could ¡declare ¡each ¡one ¡to ¡be ¡friends ¡online ¡

and/or ¡friends ¡offline ¡

 We ¡consider ¡game ¡streaks—the ¡number ¡of ¡

games ¡two ¡players ¡play ¡together ¡without ¡ more ¡than ¡½ ¡hour ¡break ¡

ONLINE ¡FRIENDS ¡

Number of Online Friends Density

0.00 0.05 0.10 0.15 50 100 150

OFFLINE ¡FRIENDS ¡

Number of Offline Friends Density

0.00 0.05 0.10 0.15 50 100 150 200

 Differentiates ¡online ¡

friends ¡from ¡non-­‑ friends ¡

 Does ¡not ¡as ¡

successfully ¡ differentiate ¡offline ¡ friends ¡from ¡non-­‑ friends ¡

Proportion of mutual games Density

0.0 0.2 0.4 0.6 0.8 1.0 1.2 10−3 10−2 10−1 100 friend.online 1 Offline 1

Frequencies of Series Lengths Density

0.0 0.1 0.2 0.3 0.4 0.5 100 100.5 101 101.5 102 102.5 1 100 100.5 101 101.5 102 102.5 length nseries.gt2 nseries.gt4 nseries.gt6 nseries.gt8 nseries.gt10 Online 1

Not ¡offline ¡friend ¡ Offline ¡friend ¡

 Tried ¡two ¡models: ¡

• Linear ¡model ¡
• Regression ¡tree ¡

 Features: ¡

• Number ¡of ¡games ¡of ¡each ¡type ¡played ¡
• Kills, ¡deaths, ¡assists, ¡betrayals, ¡suicides, ¡wins, ¡

losses ¡

 Linear ¡model ¡

• R2 ¡= ¡0.23 ¡
• Key ¡predictors ¡are ¡ ¡

▪ Firefight ¡ ▪ Headshots ¡ ▪ Betrayals ¡ ▪ Losses ¡ ▪ Playtime ¡

 Regression ¡Tree ¡

• R2 ¡= ¡0.19 ¡
• Firefight, ¡suicides, ¡

custom ¡

Regression tree for age

|

firefight< 133.5 suicides>=201.5 custom>=31.5 22.45 n=1186 21.66 n=989 18.94 n=173 22.23 n=816 26.45 n=197 23.13 n=109 30.57 n=88

 Logistic ¡regression ¡

• Firefight ¡
• Wins ¡
• Playtime ¡

 SVM ¡

• Marginal ¡performance ¡

(AUC ¡= ¡0.74) ¡

Female Male 500000 1500000 200 400 600 800 1000

• o
• o
• o
• o
• o
• o
• o
• o
• o
• o oo
• o
• o
• o
• o
• oo
• o
• o
• o
• o
• o
• o
• oo
• o
• o
• o
• o o
• o
• o oo
• o
• o
• o
• o
• o
• o
• o
• o o
• o
• o
• o
• o
• o
• o
• o
• o
• o
• o
• o
• o
• o
• xx

xx x x x x x x x x x x x x x x x x x x x x x x x x x x x xx x x x x x x x x x x x x x x x x x x x x xx x x x x x x x x x x x x x x x x x x x x x x x x x x xx x x xx x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x xx x x x x x x x x x x x x x xx x x xx x x x xx x xx x x x x x x x x x x x x x x x x x x

SVM classification plot

playtime firefight

False positive rate True positive rate 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0

 Logistic ¡Regression ¡

• Assists ¡
• Playtime ¡

 SVM ¡

• Marginal ¡classification ¡

accuracy ¡

▪ Diagonal ¡= ¡0.5 ¡ ▪ Kappa ¡= ¡0.13 ¡

Lone ¡ wolf ¡ Team ¡ leader ¡ Team ¡ support ¡ Lone ¡ wolf ¡

30 ¡ 30 ¡ 40 ¡

Team ¡ leader ¡

10 ¡ 32 ¡ 27 ¡

Team ¡ support ¡

75 ¡ 90 ¡ 209 ¡

 Fair ¡predictive ¡

accuracy ¡for ¡online ¡ friends ¡

 Fair ¡predictive ¡

accuracy ¡for ¡online ¡ friends ¡

 Poor ¡predictive ¡

accuracy ¡for ¡offline ¡ friends ¡

 Improve ¡current ¡models? ¡  Predicting ¡psychometric ¡properties ¡

• Group ¡cohesion ¡
• Group ¡conflict ¡

 Predicting ¡(offline) ¡friends ¡

• Additional ¡features ¡(e.g., ¡campaign ¡co-­‑op) ¡
• Better ¡model? ¡
• If ¡accuracy ¡can ¡be ¡improved, ¡what ¡are ¡the ¡social ¡

networks ¡like? ¡

 Predicting ¡wins ¡& ¡losses ¡

• Beat ¡TrueSkill™ ¡ ¡
• Leverage ¡inferred ¡friendships ¡

 Identify ¡“team” ¡effects ¡

• Do ¡players ¡perform ¡better ¡with ¡teammates ¡than ¡

strangers? ¡

 Identify ¡externalities ¡

• Do ¡some ¡players ¡help ¡(or ¡hurt) ¡others ¡who ¡are ¡on ¡their ¡

team ¡

 Do ¡teams ¡become ¡more ¡specialized? ¡

• Have ¡information ¡about ¡weapon ¡use. ¡ ¡As ¡players ¡play ¡

together ¡more, ¡do ¡they ¡become ¡weapons ¡specialists? ¡