MoBvaBon Symme mmetric Queries as as a Bui a Build lding - - PDF document

6/2/15 ¡ 1 ¡

Symme mmetric ¡ ¡Queries ¡ ¡ as as ¡a ¡Bui ¡a ¡Build lding ¡Blo ng ¡Block ¡ ck ¡ for ¡ for ¡Ef8icient f8icient ¡ ¡Pa Para rallel el ¡ ¡Query ¡ ery ¡Eva valuation ion ¡

Yuqing ¡Melanie ¡Wu ¡

Pomona ¡College ¡ ¡ ¡ ¡Indiana ¡University ¡ Claremont, ¡CA ¡ ¡ ¡ ¡ ¡ ¡ ¡Bloomington, ¡IN ¡

MoBvaBon ¡

• What’s ¡unique ¡in ¡data ¡access ¡paGerns ¡

in ¡data-­‑intensive ¡applicaBons? ¡

• While ¡such ¡unique ¡data ¡access ¡

paGerns ¡demands ¡special ¡buffer ¡ management ¡in ¡tradiBonal ¡DB ¡ engines, ¡how ¡about ¡in ¡parallel ¡ environment? ¡ ¡ ¡

MoBvaBon ¡

• Same ¡query, ¡different ¡complexity ¡

– B: ¡Boolean ¡ – A: ¡Aggregated ¡value ¡ – I ¡: ¡Object ¡incidence ¡

• Example ¡applicaBons: ¡ ¡

¡

• Q1. ¡parts ¡that ¡are ¡supplied ¡by ¡at ¡least ¡three ¡suppliers ¡

¡ ¡ ¡ ¡ ¡ ¡Q1

B: ¡Does ¡there ¡exist ¡a ¡part ¡that ¡is ¡supplied ¡by ¡at ¡least ¡three ¡suppliers? ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡Q1

A: ¡How ¡many ¡parts ¡are ¡supplied ¡by ¡at ¡least ¡three ¡suppliers? ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡Q1

I ¡: ¡Find ¡all ¡parts ¡that ¡are ¡supplied ¡by ¡at ¡least ¡three ¡suppliers. ¡

• Q2. ¡parts ¡that ¡are ¡supplied ¡by ¡all ¡suppliers ¡
• Q3. ¡a ¡set ¡of ¡more ¡than ¡one ¡part ¡that ¡is ¡supplied ¡by ¡the ¡same ¡set ¡of ¡suppliers ¡
• Q4. ¡pairs ¡of ¡parts ¡such ¡that ¡if ¡a ¡supplier ¡supplies ¡the ¡first ¡one, ¡it ¡must ¡supply ¡the ¡second ¡one ¡
• Q5. ¡pairs ¡of ¡parts ¡such ¡that ¡there ¡is ¡at ¡least ¡one ¡supplier ¡that ¡supplies ¡both ¡
• Q6. ¡pairs ¡of ¡parts ¡such ¡that ¡there ¡is ¡no ¡supplier ¡that ¡supplies ¡both ¡
• Q7. ¡pairs ¡of ¡parts ¡such ¡that ¡there ¡are ¡exactly ¡two-­‑hundred ¡suppliers ¡that ¡supply ¡both ¡

Open ¡QuesBons ¡

• Is ¡there ¡any ¡summery ¡info ¡or ¡techniques ¡that ¡

can ¡help ¡speed ¡up ¡queries ¡that ¡usually ¡ demands ¡large ¡number ¡of ¡(self) ¡joins? ¡

• For ¡queries ¡whose ¡complexity ¡is ¡between ¡

the ¡groups, ¡to ¡what ¡degree ¡are ¡their ¡ evaluaBon ¡parallelizable? ¡ ¡

• If ¡some ¡of ¡these ¡queries ¡are ¡not ¡naturally ¡

parallelizable, ¡can ¡we ¡find ¡sub-­‑queries ¡that ¡ are? ¡ ¡

Broader ¡QuesBons ¡

• What ¡are ¡the ¡language ¡whose ¡queries ¡are ¡

naturally ¡parallelizable? ¡ ¡

• How ¡can ¡we ¡idenBfy ¡parallelizable ¡

components ¡in ¡a ¡generic ¡query? ¡ ¡

• How ¡can ¡we ¡evaluate ¡a ¡generic ¡query ¡

efficiently ¡in ¡a ¡parallel ¡environment? ¡ ¡

Symmetric ¡Queries ¡

• Why ¡symmetric? ¡
• Symmetric ¡queries ¡we ¡idenBfied ¡? ¡

– QuineCALC ¡

¡ ¡

– SyCALC ¡

6/2/15 ¡ 2 ¡

ProperBes ¡

• QuineCALC ¡

– A ¡restricted ¡first-­‑order ¡logic ¡ – A ¡generalizaBon ¡of ¡symmetric ¡n-­‑ary ¡Boolean ¡ funcBon ¡

• SyCALC ¡

– Extension ¡of ¡QuineCALC, ¡accommodaBng ¡ projecBon ¡and ¡Cartesian ¡product. ¡

Findings ¡ ¡

• All ¡QuineCALC ¡queries ¡are ¡counBng ¡only. ¡ ¡
• For ¡every ¡SyCALC ¡query ¡q, ¡for ¡every ¡natural ¡

number ¡n, ¡there ¡exist ¡a ¡symmetric ¡funcBon ¡that ¡ is ¡n-­‑equivalent ¡to ¡q. ¡ ¡

• For ¡all ¡natural ¡number ¡m,n ¡and ¡for ¡every ¡

symmetric ¡relaBonal ¡funcBon ¡on ¡sequence ¡

• f ¡n ¡sets ¡that ¡return ¡m-­‑ary ¡relaBons, ¡there ¡

exist ¡an ¡equivalent ¡SyCALC ¡query. ¡ ¡

Language ¡Classes ¡ ¡ Findings ¡(cont.) ¡

• A ¡SyCALC ¡query ¡is ¡counBng-­‑only ¡only ¡if ¡it ¡

is ¡equvalent ¡to ¡a ¡quanBfied ¡Boolean ¡ combinaBon ¡of ¡QuineCALC ¡query. ¡

• It ¡is ¡undecidable ¡whether ¡a ¡SyCALC ¡query ¡

is ¡counBng-­‑only. ¡ ¡

• It ¡is ¡decidable ¡whether ¡a ¡SyCALC ¡query ¡is ¡

counBng-­‑only. ¡

Next ¡Steps ¡

• ApplicaBons ¡– ¡What’s ¡new/unique ¡about ¡the ¡

queries ¡in ¡ ¡

– Graph ¡DB ¡ – Complex ¡systems ¡ – Sensor ¡network ¡ – Bio-­‑info ¡ – …… ¡

• ImplemenBng ¡QuineCALC ¡and ¡SyCALC ¡
• Query ¡decomposiBon ¡

EducaBon ¡ ¡

This ¡is ¡not ¡a ¡second ¡thought ¡

• The ¡whole ¡industry ¡expect ¡CS ¡majors ¡to ¡

be ¡familiar ¡with ¡the ¡parallel ¡compuBng ¡

• environment. ¡ ¡ ¡
• Another ¡push ¡like ¡OO ¡or ¡more? ¡ ¡

¡

6/2/15 ¡ 3 ¡

IU ¡undergrad ¡curriculum ¡

Core: ¡ ¡intro ¡to ¡CS ¡ ¡ ¡intro ¡to ¡ ¡sogware ¡systems ¡ ¡ ¡discrete ¡structures ¡for ¡CS ¡ ¡ ¡data ¡structure ¡ ¡ elecBve: ¡ ¡fundamentals ¡of ¡compuBng ¡theory ¡ ¡DB ¡concepts ¡ ¡ ¡algorithm ¡design ¡and ¡analysis ¡ ¡ ¡ ¡roboBc ¡ ¡ ¡programming ¡languages ¡ ¡ ¡ ¡ ¡intro ¡to ¡verificaBon ¡ ¡ ¡compiler ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡digital ¡design ¡ ¡ ¡computer ¡structures ¡ ¡ ¡ ¡ ¡distributed ¡systems ¡ ¡ ¡intro ¡to ¡OS ¡ ¡ ¡ ¡ ¡ ¡ ¡quantum ¡compuBng ¡ ¡ ¡intro ¡to ¡AI ¡ ¡ ¡ ¡ ¡ ¡ ¡cryptography ¡ ¡ ¡intro ¡to ¡network ¡ ¡ ¡ ¡ ¡ ¡ ¡……. ¡ SpecializaBon: ¡ ¡foundaBon ¡ ¡ ¡ ¡ ¡intelligent ¡systems ¡ ¡ ¡ ¡ ¡Programming ¡languages ¡ ¡ ¡ ¡ ¡Systems ¡

Pomona ¡undergrad ¡curriculum ¡

Intro ¡courses: ¡ ¡intro ¡to ¡CS ¡ ¡ ¡ ¡fundamentals ¡of ¡CS ¡ ¡ ¡ ¡discrete ¡math ¡ ¡ ¡ ¡data ¡structure ¡ ¡ ¡ ¡ ¡computability ¡and ¡logic ¡ elecBve: ¡ ¡sogware ¡engineering ¡ ¡ ¡database ¡ ¡ ¡user ¡interface ¡design ¡ ¡ ¡roboBc ¡ ¡ ¡compiler ¡design ¡ ¡ ¡ ¡computer ¡architecture ¡ ¡ ¡natural ¡language ¡processing ¡ ¡operaBng ¡systems ¡ ¡ ¡ ¡ ¡ ¡ ¡computer ¡vision ¡ ¡ ¡ ¡computer ¡graphics ¡ ¡ ¡arBficial ¡intelligence ¡ ¡ ¡parallel ¡and ¡real-­‑Bme ¡compuBng ¡ ¡ ¡computer ¡network ¡ ¡ ¡ ¡ ¡ ¡ ¡……. ¡ core: ¡programming ¡language ¡ ¡ ¡algorithms ¡ ¡ ¡systems ¡

EducaBon ¡ ¡

• What ¡has ¡been ¡pushed ¡into ¡

undergraduate ¡educaBon? ¡ ¡

• Are ¡they ¡in ¡the ¡correct ¡courses? ¡ ¡
• What ¡are ¡the ¡core ¡concepts ¡of ¡

parallelism? ¡ ¡ ¡ Thank ¡you ¡ ¡ Please ¡contact ¡me ¡at ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Melanie.Wu@pomona.edu ¡