Classifying conges.on in Ark measurements Steven Bauer - PowerPoint PPT Presentation

Classifying ¡conges.on ¡in ¡Ark ¡ measurements ¡ Steven ¡Bauer ¡ MIT ¡ March ¡31, ¡2015 ¡

How ¡Ark ¡(and ¡the ¡Ark ¡community) ¡ could ¡further ¡my ¡research ¡

We ¡should ¡do ¡a ¡beIer ¡job ¡sharing ¡best ¡ common ¡prac.ces ¡and ¡lessons ¡learned ¡ from ¡working ¡with ¡large ¡networking ¡ data ¡sets ¡ I ¡am ¡par.cularly ¡interested ¡in ¡the: ¡ ¡ – Ark ¡data ¡ – FCC ¡/ ¡Samknows ¡data ¡ – Measurement ¡Lab ¡data ¡

Accelerate ¡this ¡loop ¡ 1. ¡Ideas ¡/ ¡Ques.ons ¡ 3. ¡Evalua.on ¡ 2. ¡Implementa.on ¡

Lots ¡of ¡possible ¡solu-ons ¡(and ¡problems) ¡ Compute ¡ afd ¡ Infrastructure ¡ Storage ¡ afd ¡ (Just ¡some ¡examples) ¡

Some ¡observa.ons ¡on ¡how ¡other ¡communi.es ¡ facilitate ¡replica.ng ¡results ¡ • IPython ¡Notebooks: ¡all ¡the ¡rage ¡in ¡some ¡ communi.es ¡ – Facilitate ¡easy ¡explora.on ¡and ¡ini.al ¡ experimenta.on ¡of ¡code ¡and ¡data ¡ – En.re ¡books ¡with ¡text, ¡code, ¡data, ¡and ¡visual ¡ results ¡bound ¡together ¡ ¡ • Other ¡scien.fic ¡communi.es ¡have ¡extensive ¡ experience ¡and ¡lessons ¡learned ¡from ¡data ¡ sharing ¡ ¡

Lots ¡of ¡work ¡has ¡been ¡funded ¡to ¡make ¡ sharing ¡large ¡amounts ¡of ¡complicated ¡ scien.fic ¡data ¡easier ¡ CBOR ¡ RFC ¡7049 ¡ (Just ¡some ¡examples) ¡

Slide ¡from ¡hIp://www.opendap.org/sites/default/ files/TabularData.pptx ¡

Slide ¡from ¡hIp://www.opendap.org/sites/default/ files/TabularData.pptx ¡

Classifying ¡conges.on ¡in ¡Ark ¡ measurements ¡ (See ¡earlier ¡talks ¡by ¡ Among ¡and ¡MaIhew ¡ for ¡background) ¡

Classifica.on ¡system ¡ ¡ Ark ¡TSP ¡ data ¡ ¡ ¡ Train ¡ Classifier ¡ ¡ Ark ¡TSP ¡ data ¡ ~130K ¡ ¡

Classifica.on ¡system ¡ Human ¡in ¡the ¡loop ¡ ¡ Ark ¡TSP ¡ data ¡ ¡ ¡ Train ¡ Classifier ¡ ¡ Ark ¡TSP ¡ data ¡

Objec.ves ¡of ¡human ¡reviewers ¡ 1. Review ¡links ¡with ¡“new” ¡or ¡“interes.ng” ¡ conges.on ¡changes ¡ – Conges.on ¡on ¡formerly ¡uncongested ¡link ¡ – No ¡conges.on ¡on ¡formerly ¡congested ¡link ¡ – Change ¡in ¡the ¡nature ¡of ¡conges.on ¡on ¡a ¡link ¡ 2. Generate ¡annota.on ¡data ¡that ¡will ¡be ¡useful ¡ in ¡improving ¡conges.on ¡classifier ¡ 3. Development ¡of ¡good ¡features ¡

Simple ¡system ¡architecture ¡

Detailed ¡system ¡architecture ¡

Wavelet ¡features ¡

Research ¡agenda ¡ • Improve ¡features ¡being ¡extracted ¡ • Classifica.on ¡algorithms ¡ – Random ¡forest ¡ – K-­‑NN ¡ • Trigger ¡addi.onal ¡tests: ¡ – Model ¡Based ¡Metrics ¡tests ¡on ¡Ark ¡nodes ¡

Model ¡Based ¡Metrics ¡(MBM) ¡

Model ¡Based ¡Metrics ¡ Suppress ¡equilibrium ¡behavior ¡by ¡open ¡looping ¡ TCP ¡ -­‑ ¡IP ¡test ¡traffic ¡mimics ¡TCP ¡independent ¡of ¡the ¡ network ¡details ¡ -­‑ ¡IP ¡success ¡criteria ¡is ¡based ¡on ¡TCP ¡models ¡ -­‑ ¡Eliminate ¡circular ¡interac.ons ¡between ¡RTT, ¡packet ¡ loss ¡and ¡data ¡rate ¡ Slide ¡details ¡from: ¡ ¡ hIp://www.ief.org/proceedings/92/slides/slides-­‑92-­‑ippm-­‑7.pdf ¡ ¡