Data Observa+on Network for Earth Hands On IDCC February, - - PowerPoint PPT Presentation

Data ¡Observa+on ¡Network ¡for ¡Earth ¡ Hands ¡On ¡

IDCC ¡ February, ¡2014 ¡

1 ¡

2 ¡

DataONE ¡Infrastructure ¡

From Reichman, Jones, and Schildhauer; doi:10.1126/science.1197962

3 ¡

Inves4gator ¡Toolkit ¡

Plan ¡ Collect ¡ Assure ¡ Describe ¡ Preserve ¡ Discover ¡ Integrate ¡ Analyze ¡

Suppor4ng ¡the ¡Full ¡Data ¡Life ¡Cycle ¡

4 ¡

Plan ¡ Collect ¡ Assure ¡ Describe ¡ Preserve ¡ Discover ¡ Integrate ¡ Analyze ¡

Suppor4ng ¡the ¡Full ¡Data ¡Life ¡Cycle ¡

5 ¡

Enable Data Discovery

ORNL ¡DAAC ¡ KNB ¡ PISCO ¡ SANParks ¡ ESA ¡ USGS ¡CSAS ¡

Internal ¡ Metadata ¡ Index ¡

ONEShare ¡ UC ¡MerriP ¡

Extract ¡and ¡Align ¡Metadata ¡

LTER ¡ CLO/AKN ¡

FGDC, ¡ISO, ¡ DIF, ¡FGDC ¡ FGDC, ¡ISO, ¡ FGDC ¡ EML, ¡FGDC ¡ EML, ¡ISO ¡ EML ¡ EML ¡ EML ¡ EML ¡ EML ¡ EML ¡

Augment ¡Metadata ¡ Search ¡ API ¡

• Data discovery

portal

• Search and

retrieval of content indexed by DataONE

• Collates metadata

across all Member Nodes

• Operates on each

Coordinating Node

7 ¡

Discover

ONEMercury ¡-­‑ ¡Demo ¡

8 ¡

Plan ¡ Collect ¡ Assure ¡ Describe ¡ Preserve ¡ Discover ¡ Integrate ¡ Analyze ¡

Suppor4ng ¡the ¡Full ¡Data ¡Life ¡Cycle ¡

9 ¡

• Online ¡cita4on ¡manager ¡support ¡
• e.g. ¡Zotero, ¡Mendeley ¡

10 ¡

Cite ¡

Plan ¡ Collect ¡ Assure ¡ Describe ¡ Preserve ¡ Discover ¡ Integrate ¡ Analyze ¡

Tools ¡Across ¡the ¡Data ¡Life ¡Cycle ¡

11 ¡

hPps://cn.dataone.org/cn/v1/query/solr/q=abstract:water ¡

12 ¡

Programma4c ¡Search ¡

CN ¡REST ¡endpoint ¡ Method ¡ Query ¡Engine ¡ Query ¡

• Result ¡is ¡a ¡list ¡of ¡iden4fiers ¡(and ¡more) ¡
• Use ¡resolve() ¡to ¡determine ¡loca4ons ¡
• Use ¡get() ¡to ¡retrieve ¡bytes ¡

GET4ng ¡data: ¡the ¡main ¡target ¡

13 ¡

Where ¡can ¡I ¡get ¡doi:10.5063/AA/mbauer.75.1? ¡ ¡

hPps://cn.dataone.org/cn/v1/resolve/doi%3A10.5063%2FAA%2Fmbauer.75.1 ¡

<?xml ¡version="1.0" ¡encoding="UTF-­‑8"?> ¡ <d1:objectLoca4onList ¡xmlns:d1="hPp://ns.dataone.org/service/types/v1"> ¡ ¡ ¡<iden4fier>doi:10.5063/AA/mbauer.75.1</iden4fier> ¡ ¡ ¡ ¡ ¡<objectLoca4on> ¡ ¡ ¡ ¡ ¡<nodeIden4fier>urn:node:KNB</nodeIden4fier> ¡ ¡ ¡ ¡ ¡<baseURL>hPps://knb.ecoinforma4cs.org/knb/d1/mn</baseURL> ¡ ¡ ¡ ¡ ¡<version>v1</version> ¡ ¡ ¡ ¡ ¡<url> ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡</url> ¡ ¡ ¡</objectLoca4on> ¡ </d1:objectLoca4onList> ¡ hPps://knb.ecoinforma4cs.org/knb/d1/mn/v1/object/doi:10.5063%2FAA%2Fmbauer.75.1 ¡

resolve ¡

CN ¡Resolve ¡ method ¡call ¡ MN ¡Get ¡call ¡to ¡ retrieve ¡data ¡ hPps://knb.ecoinforma4cs.org/knb/d1/mn/v1/object/doi:10.5063%2FAA%2Fmbauer.75.1 ¡

A ¡DataONE ¡GET ¡(digital ¡object) ¡call ¡

MN ¡REST ¡Endpoint ¡ Method ¡ Object ¡Iden4fier ¡

Data ¡– ¡Resolve? ¡

Abc ¡ Bbc ¡ A ¡ P ¡ I ¡ A ¡ P ¡ I ¡ Resolver ¡ API ¡ Repository ¡1 ¡ Repository ¡2 ¡ Resolve(Abc) ¡ Synchronize ¡ Synchronize ¡ Abc? ¡

$ ¡_ ¡

Client ¡

Where ¡can ¡I ¡get ¡doi:10.5063/AA/mbauer.75.1? ¡ ¡

15 ¡

Resolving ¡Iden4fiers ¡

Inves+gator ¡Toolkit ¡

Data ¡Discovery ¡ Analysis, ¡Visualiza4on ¡ Data ¡Management ¡ Java ¡Library ¡ Python ¡Library ¡ CLI ¡Tools ¡ REST ¡URLs ¡

hPps://cn.dataone.org/cn/v1/resolve/doi%3A10.5063%2FAA%2Fmbauer.75.1 ¡

<?xml ¡version="1.0" ¡encoding="UTF-­‑8"?> ¡ <d1:objectLoca4onList ¡xmlns:d1="hPp://ns.dataone.org/service/types/v1"> ¡ ¡ ¡<iden4fier>doi:10.5063/AA/mbauer.75.1</iden4fier> ¡ ¡ ¡ ¡ ¡<objectLoca4on> ¡ ¡ ¡ ¡ ¡<nodeIden4fier>urn:node:KNB</nodeIden4fier> ¡ ¡ ¡ ¡ ¡<baseURL>hPps://knb.ecoinforma4cs.org/knb/d1/mn</baseURL> ¡ ¡ ¡ ¡ ¡<version>v1</version> ¡ ¡ ¡ ¡ ¡<url> ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡</url> ¡ ¡ ¡</objectLoca4on> ¡ </d1:objectLoca4onList> ¡ hPps://knb.ecoinforma4cs.org/knb/d1/mn/v1/object/doi:10.5063%2FAA%2Fmbauer.75.1 ¡

resolve ¡

CN ¡Resolve ¡ method ¡call ¡ MN ¡Get ¡call ¡to ¡ retrieve ¡data ¡

Plan ¡ Collect ¡ Assure ¡ Describe ¡ Preserve ¡ Discover ¡ Integrate ¡ Analyze ¡

Tools ¡Across ¡the ¡Data ¡Life ¡Cycle ¡

16 ¡

• Goals ¡
• Reproducible ¡science ¡
• Citable ¡analysis ¡
• Published ¡results ¡
• Data ¡access ¡integrated ¡directly ¡in ¡R ¡
• Access ¡via ¡global ¡iden4fiers ¡
• Enables ¡R ¡Script ¡portability ¡and ¡preserva4on ¡
• Data ¡submission ¡with ¡system ¡metadata ¡genera4on ¡
• Versioning ¡of ¡objects ¡as ¡submiPed ¡

17 ¡

DataONE ¡R ¡Client ¡

• R ¡is ¡command ¡driven ¡
• It’s ¡not ¡for ¡everybody ¡
• But ¡it ¡is ¡heavily ¡used ¡by ¡our ¡target ¡user ¡groups ¡
• Many ¡people ¡work ¡from ¡scripts ¡with ¡R ¡

18 ¡

R ¡Expecta4ons ¡

19 ¡

Using ¡the ¡DataONE ¡R ¡Client ¡

Ini4alize ¡client ¡object ¡ d1 <- D1Client(env, mn_nodeid) ¡ Resolve, ¡download, ¡and ¡convert ¡data ¡ d1Object <- getD1Object(d1, "erd.362.1”) ¡ databytes <- getData(d1Object) dataPackage <- getPackage(d1, packageId) data <- asDataFrame(dataPackage,1) Store ¡data ¡on ¡Member ¡Node ¡ d1Object <- new(Class="D1Object", dataId, csvdata, format, mn_nodeid) ¡ setPublicAccess(d1Object) createD1Object(d1, d1Object)

20 ¡