eResearch Conference October 2013 Introduc)on Summary Summary 1. - - PowerPoint PPT Presentation

eResearch Conference October 2013

Introduc)on ¡

Summary Summary

1.

• 1. NSP Overview – Nick Golovachenko (10 minutes)

NSP Overview – Nick Golovachenko (10 minutes)

2.

• 2. Technical Overview – Damien

echnical Overview – Damien Mannix Mannix (15 minutes) (15 minutes)

3.

• 3. Use Cases

Use Cases

a. a.

IMOS – Peter Blain IMOS – Peter Blain

b. b.

Quadrant – Hamish Quadrant – Hamish Holewa Holewa

c. c.

TERN - TERN - Siddeswara Siddeswara Guru Guru

4.

• 4. Question and Answers

Question and Answers

Introduc)on ¡

NSP Overview NSP Overview

1.

• 1. What is the NSP

What is the NSP

2.

• 2. How was it built

How was it built

3.

• 3. Self Service featur

Self Service features es

4.

• 4. What is the dif

What is the differ ference between the NSP and the ence between the NSP and the Resear Research Cloud ch Cloud

5.

• 5. Who is using it and benefitting fr

Who is using it and benefitting from it

• m it

6.

• 6. How to apply for the Service

How to apply for the Service

• 1. ¡What ¡is ¡the ¡NSP? ¡

§ The National Servers Program is a cloud based Infrastructure as a

Service (IaaS) service which hosts critical e-Research services for the Australian research community. Uniquely Australian, the NSP provides a robust national network of virtual servers and platforms to support many eResearch services such as the

• perations for the Research Cloud, virtual laboratories, tools and

data.

§ The NSP is currently free for Australian researchers and is

available to be used now. It provides a safe and secure environment for Australian researchers to host their important research application which means they don’t have to worry about anything except managing their research.

• 2. ¡How ¡was ¡it ¡Built? ¡

— The NSP was built and consisted of two phases: — The Basic Access Phase offered a limited service

with manual provisioning (50 to 100 VMs)

— Full Service Phase was built to provide an enhanced

and expanded service with a range of self-service features to assist with researchers in building their applications to incorporate multi-site availability. (250 – 500 VMs)

• 2. ¡How ¡was ¡it ¡Built? ¡

§ The Service has been built and housed at the University of

Melbourne in two geographically separate data centres (Parkville and Noble Park in Melbourne)

§ NSP is a 24/7 service which built using Citrix Cloudplatform

which is a Vendor supported solution based upon Apache Cloudstack, an open source Infrastructure-as-a-Service (IaaS)

• ffering.

§ The NSP Service will be monitored by the AARNet NOC service

(contracts pending) which will provide external and internal monitoring of the NSP as well uptime reporting.

§ The service has been running at 99.9% uptime.

• 2. ¡How ¡was ¡it ¡Built? ¡

¡ ¡

• 3. ¡Self ¡Service ¡Features ¡

— The NSP provides an unmanaged service for maximum

flexibility.

— Advanced Self service features allow Researchers to

control all stages of their VM lifecycle.

— Researchers can build their applications to leverage

features such as failover and load balancing between the two zones (Data Centres). Researchers can utilise a Portal for Self Service account management within their allocated Research Group, they can also manage snapshots, templates and advance networking, e.g., Firewall, NAT, DNS, DHCP , VPN and load balancing.

• 4. ¡What ¡is ¡the ¡difference ¡between ¡

the ¡NSP ¡and ¡the ¡Research ¡Cloud? ¡

• The difference between the NSP and Research cloud is that the NSP is

designed to provide a higher tier of service (99.9% uptime) compared to that

• f the Research cloud (98%).
• Research Cloud seeks to provide researchers with quick and simple access

to a single working environment in which to execute their projects. VMs are notionally allocated for three months, although projects often run longer. It is targeted primarily at individual researchers or small research groups.

• NSP provides a supported development (staging) environment and test

environment, and a production environment. The NSP provides a supported platform, and is built with the primary aim to provide reliability and high availability over a long period of time. It is targeted primarily at operators of services to the research community.

• 7. ¡Who ¡is ¡Using ¡the ¡NSP ¡

Australia Access Australia Access Federation (AAF) Federation (AAF) Australian National Data Australian National Data Service (ANDS) Service (ANDS) CCFR- Colon Cancer CCFR- Colon Cancer Family Registry Family Registry Mothers After Mothers After Gestational Diabetes in Gestational Diabetes in Australia (MAGDA) Australia (MAGDA) REDCap REDCap Health and Health and Biomedical Infor Biomedical Informatics matics Centr Centre portal e portal GRHANITE GRHANITE Quadrant Quadrant NeCT NeCTAR AR Resear Research Cloud ch Cloud IMOS IMOS Ar Archive for Digital chive for Digital Sour Sources in Endanger ces in Endangered ed Cultur Cultures (P es (PARADISEC) ARADISEC) TERN – T TERN – Terr errestrial estrial Ecosystem Resear Ecosystem Research ch Network Network The ARK - Open Sour The ARK - Open Source ce Softwar Software for Medical e for Medical Resear Research ch

• 5. ¡How ¡to ¡apply ¡for ¡the ¡Service ¡
• In order to use the NSP you need to submit an application.
• Applications to host services on the National Servers Program

(NSP) are reviewed by the NSP Allocation Committee which meets on the first Tuesday of every month. This committee consists of representatives from around Australia, and they review applications according to the following four merit criteria:

• 5. ¡How ¡to ¡apply ¡for ¡the ¡Service ¡

1.

The service underpins the integrated management or access to collaboration, data, compute or analysis resources and capabilities,

2.

The service is considered a core to other eResearch services and activities,

3.

The service will support activities by researchers from multiple institutions, and

4.

The service has suitable maintenance and user support resources in place.

Damien ¡Mannix ¡– ¡Cloud ¡Systems ¡Administrator ¡

The ¡Chosen ¡Pla,orm ¡for ¡the ¡NSP

— Citrix ¡CloudPlatform ¡& ¡CloudPortal ¡manage ¡the ¡

• verall ¡infrastructure ¡of ¡the ¡NSP. ¡

— Why ¡Citrix? ¡It ¡is ¡a ¡supported ¡Platform ¡with ¡which ¡the ¡

NSP ¡has ¡a ¡24 ¡/ ¡7 ¡support ¡contract. ¡CloudPlatform ¡ derives ¡from ¡the ¡Apache ¡CloudStack ¡Project ¡which ¡is ¡ community ¡driven ¡and ¡mature ¡in ¡it’s ¡functionality. ¡

— Currently ¡we ¡are ¡also ¡using ¡XenServer ¡as ¡the ¡

underlying ¡hypervisor ¡of ¡choice ¡for ¡the ¡NSP ¡user ¡VM’s ¡ as ¡this ¡is ¡also ¡apart ¡of ¡the ¡ongoing ¡support ¡agreement. ¡ CloudPlatform ¡is ¡however ¡hypervisor ¡agnostic ¡and ¡ supports ¡KVM, ¡VMware. ¡

NSP ¡Design ¡-­‑ ¡VM ¡ Infrastructure ¡

In ¡CloudPlatform ¡terms ¡a ¡zone ¡is ¡a ¡ data ¡centre. ¡In ¡a ¡zone ¡you ¡can ¡have ¡ multiple ¡clusters ¡as ¡long ¡as ¡each ¡ cluster ¡has ¡2 ¡or ¡more ¡matching ¡ hypervisor ¡physical ¡architecture. ¡ ¡ Currently ¡at ¡Q2 ¡we ¡have ¡2 ¡Clusters ¡– ¡ Staging ¡and ¡Production. ¡Staging ¡ Noble ¡Park ¡comprises ¡of ¡1 ¡Cluster ¡ ¡ Primary ¡Storage ¡(at ¡both ¡sites) ¡ 18 ¡TB ¡Fibre ¡Channel ¡Gold ¡Storage ¡ 9 ¡TB ¡Fibre ¡Channel ¡Silver ¡Storage ¡ ¡ Secondary ¡Storage ¡(both ¡sites) ¡ 10 ¡TB ¡NFS ¡Silver ¡Storage ¡ ¡ Network ¡connectivity ¡is ¡10GB ¡at ¡both ¡

• sites. ¡

¡

Zone ¡One ¡ Queensberry ¡Street ¡ (QS2) ¡ ¡ Data ¡Centre ¡ Zone ¡Two ¡ Noble ¡Park ¡(NP) ¡ Data ¡Centre ¡

100 ¡ KM ¡

Hypervisor ¡Clusters ¡

Staging ¡ Production ¡VMs ¡ Production ¡VMs ¡

Primary ¡Storage ¡

Primary ¡Storage ¡has ¡Fibre ¡Channel ¡connectivity ¡ ¡ We ¡currently ¡offer ¡2 ¡Tiers ¡of ¡Storage ¡Gold ¡and ¡Silver ¡

Secondary ¡Storage ¡

NFS ¡storage ¡with ¡cross ¡site ¡replication ¡

The ¡Management ¡Layer ¡

— CloudPlatform ¡(Citrix ¡supported ¡version ¡of ¡Apache ¡CloudStack) ¡ ¡ — OpenLDAP ¡-­‑ ¡for ¡user ¡Authentication ¡ — MySQL ¡– ¡underlying ¡database ¡for ¡both ¡Portal ¡and ¡

Platform ¡

— Software ¡Load ¡Balancers ¡– ¡Soon ¡to ¡be ¡migrated ¡to ¡F5 ¡

Hardware ¡Load ¡Balancers ¡

— XenServer ¡Hypervisors ¡currently ¡being ¡used ¡for ¡the ¡

Management ¡Stack ¡Virtual ¡Machines ¡ ¡

¡

Management ¡Layer ¡

¡ ¡

CloudPortal1 ¡ CloudPortal2 ¡ CloudPlatform1 ¡ CloudPlatform2 ¡ Master ¡ Slave ¡ Software ¡Load ¡Balancers ¡ LB1 ¡ LB2 ¡

Incoming ¡requests ¡

To ¡be ¡replaced ¡by ¡F5 ¡Load ¡Balancers ¡ With ¡a ¡dependency ¡of ¡the ¡Unimelb ¡ Network ¡Improvement ¡Program ¡ being ¡ ¡ completed ¡

Naviga)ng ¡the ¡Portal ¡

Home ¡page ¡after ¡login ¡

¡

My ¡Resources ¡

• VM ¡Instances ¡
• Volumes ¡
• Snapshots ¡
• IP ¡Addresses ¡
• Templates ¡
• ISOs ¡
• Networks ¡

Users ¡

• Add ¡/ ¡Remove ¡users ¡to ¡your ¡

domain ¡

Catalog ¡

• Add ¡VM’s ¡& ¡Offerings ¡that ¡

are ¡available ¡

Support ¡

• Notifications ¡for ¡

maintenance ¡periods ¡

Overall ¡View ¡

• Current ¡Resource ¡usage ¡
• Service ¡Health ¡
• Notifications ¡

My ¡Resources ¡-­‑ ¡overview ¡

• 1. ¡Instances ¡
• Your ¡current ¡VM’s ¡running ¡
• 2. ¡Volumes ¡
• Virtual ¡Disks ¡in ¡use, ¡

including ¡the ¡standard ¡ 10GB ¡Root ¡Partition* ¡

• Option ¡to ¡add ¡Volumes ¡-­‑ ¡if ¡

allocation ¡allows ¡

• Mount, ¡manage ¡

. ¡

• 3. ¡Snapshots ¡
• View ¡/ ¡Manage ¡snapshots ¡
• Create ¡Volumes, ¡snapshots ¡

and ¡delete ¡volumes ¡

• 4. ¡IP ¡Addresses ¡
• Acquire ¡Public ¡

Addresses ¡

• Enable ¡Static ¡Nat ¡
• Firewalls ¡and ¡general ¡

network ¡management ¡

• 5. ¡Templates ¡
• Add ¡and ¡managing ¡your ¡
• templates. ¡
• ** ¡Your ¡own ¡templates? ¡

The ¡recommended ¡is ¡to ¡ use ¡the ¡provided ¡base ¡ template ¡as ¡this ¡offers ¡HA ¡ – ¡high ¡availability ¡and ¡we ¡ cannot ¡offer ¡stability ¡if ¡ BYO ¡

• 6. ¡ISOs ¡
• Same ¡rules ¡applies ¡as ¡

point ¡5 ¡

• 7. ¡Networks ¡
• This ¡will ¡offer ¡view ¡of ¡

your ¡Private ¡VLANs ¡– ¡ Virtual ¡Routers. ¡ ¡

• View ¡instances ¡
• Manage ¡Egress ¡Rules ¡

CloudPlaRorm ¡Advanced ¡ Networking ¡

• Isolated ¡Private ¡VLAN ¡per ¡Domain ¡/ ¡Account ¡at ¡

each ¡Zone. ¡

• Virtual ¡Router ¡which ¡provides ¡networking ¡

features ¡within ¡your ¡VLAN ¡

• DHCP ¡
• DNS ¡
• Firewall ¡
• Network ¡Address ¡Translation ¡(NAT) ¡
• VPN ¡
• Load ¡Balancing ¡

Here ¡we ¡have ¡a ¡view ¡from ¡ the ¡IP ¡Addresses ¡tab. ¡ Please ¡note ¡the ¡ highlighted ¡IP ¡address ¡– ¡ under ¡NAT ¡is ¡source. ¡ This ¡is ¡the ¡public ¡address ¡ for ¡the ¡Virtual ¡Router. ¡ If ¡you ¡have ¡multiple ¡VM’s ¡ running ¡within ¡your ¡VLAN ¡ it ¡we ¡strongly ¡recommend ¡ that ¡you ¡configure ¡the ¡ firewall ¡on ¡the ¡acquired ¡IP ¡ address ¡that ¡is ¡NATted ¡to ¡ your ¡VM ¡

Snapshots, ¡Templates ¡& ¡Volumes ¡

Volumes ¡can ¡be ¡either ¡the ¡standard ¡root ¡OS ¡volume ¡or ¡an ¡additional ¡data ¡

• volume. ¡

We ¡can ¡offer ¡additional ¡volumes: ¡

• Small ¡– ¡10GB ¡
• Medium ¡– ¡20GB ¡
• Large ¡– ¡40GB ¡

Supported ¡Operating ¡Systems ¡& ¡template ¡offerings ¡

• Centos ¡6.x ¡
• Ubuntu ¡10.x ¡& ¡12.04 ¡
• Debian ¡6.x ¡& ¡7.x ¡
• RHEL ¡(Subject ¡to ¡BYO ¡licensing) ¡
• Windows ¡2008R2 ¡Server ¡(Subject ¡to ¡BYO ¡licensing) ¡

¡ Snapshots ¡ As ¡this ¡is ¡a ¡self ¡service ¡portal ¡the ¡users ¡are ¡expected ¡to ¡manage ¡their ¡own ¡

• snapshotting. ¡Daily, ¡weekly ¡or ¡monthly ¡with ¡a ¡retention ¡limit ¡of ¡5 ¡days ¡

Please ¡refer ¡to ¡the ¡wiki ¡for ¡managing ¡snapshots ¡

Working ¡with ¡APIs ¡

— Our ¡wiki ¡will ¡provide ¡a ¡basic ¡reference ¡for ¡API ¡usage, ¡

• therwise ¡we ¡can ¡direct ¡you ¡to ¡the ¡documentation ¡

provided ¡by ¡Apache ¡CloudStack. ¡

— Some ¡available ¡API’s ¡Amazon ¡S3, ¡Networking ¡options, ¡

snapshots, ¡Projects. ¡

— Default ¡API ¡port ¡8096 ¡ — http://download.cloud.com/releases/3.0.6/api_3.0.6/

TOC_Domain_Admin.html ¡ ¡

Dr Peter Blain Information Systems Architect Integrated Marine Observing System

Australia's Integrated Marine Observing System (IMOS) was established in 2007 under the National Collaborative Research Infrastructure Strategy (NCRIS), and was extended and enhanced through the Education Investment Fund (EIF) in 2009, and extended under the Collaborative Research Infrastructure Scheme (CRIS) and NCRIS in 2013. IMOS is designed to be a fully-integrated national array of observing equipment to monitor the open oceans and coastal marine environment around Australia, covering physical, chemical and biological variables.

Integrated ¡Marine ¡Observing ¡ System ¡

Portals x 5 Postgres x 3 Geonetwork x 5 Geoserver x 2 Tomcat x many Spatial Search THREDDS RAMADDA Acoustic Data Viewer ncWMS WMS Scanner WFS Scanner Talend AUV Viewer AATAMS Depth Service OpenID Provider Rails Ocean Current AO-DAAC FTP Server Rsync server AWStats Publications Inventories Drupal Jenkins Nagios Matlab Squid Chef Tilecache Git & SVN

FTP, ¡Talend ¡harvesters, ¡rsync, ¡Matlab, ¡Data ¡processing, ¡Nagios, ¡Chef ¡Server, ¡etc ¡

1.5TB ¡ ¡ Fastest ¡ NSP-­‑ ¡Back ¡End ¡Tier ¡ 3TB ¡ ¡ Fast ¡ 30TB ¡ ¡ Slow ¡

Postgres/PostGIS ¡ AO-­‑DAAC, ¡Thredds, ¡ ncWMS, ¡Geoserver, ¡ GeoNetwork, ¡etc ¡ Point ¡of ¡truth ¡for ¡services ¡ such ¡as ¡the ¡Acoustic ¡data ¡ viewer ¡and ¡the ¡AUV ¡

• viewer. ¡

NSP ¡-­‑ ¡Input ¡Tier ¡ NSP ¡-­‑ ¡Front ¡End ¡Tier ¡

IMOS ¡Portal, ¡Spatial ¡Index, ¡AUV ¡Viewer, ¡ADViewer, ¡AATAMS, ¡Ocean ¡Current, ¡etc ¡ ¡

FTP, ¡Talend ¡harvesters, ¡rsync, ¡Matlab, ¡Data ¡processing, ¡Nagios, ¡Chef ¡Server, ¡etc ¡

1.5TB ¡ ¡ Fastest ¡ NSP-­‑ ¡Back ¡End ¡Tier ¡ 3TB ¡ ¡ Fast ¡ 30TB ¡ ¡ Slow ¡

Postgres/PostGIS ¡ AO-­‑DAAC, ¡Thredds, ¡ ncWMS, ¡Geoserver, ¡ GeoNetwork, ¡etc ¡ Point ¡of ¡truth ¡for ¡services ¡ such ¡as ¡the ¡Acoustic ¡data ¡ viewer ¡and ¡the ¡AUV ¡

• viewer. ¡

NSP ¡-­‑ ¡Input ¡Tier ¡ NSP ¡-­‑ ¡Front ¡End ¡Tier ¡

IMOS ¡Portal, ¡Spatial ¡Index, ¡AUV ¡Viewer, ¡ADViewer, ¡AATAMS, ¡Ocean ¡Current, ¡etc ¡ ¡

Hamish Holewa

Quadrant

Quadrant is a cloud-based project management and data collection software tool that allows participant- based researchers to work collaboratively and efficiently from a self-managed centralised site.

§ Release BETA on 19 April 2013 § ~300 users § Manages ~ 2000 participants § ~170 registered project § ~43 institutions

Quadrant ¡needs ¡

“increasing complexity involved in managing our

• bligations regarding academic integrity, ethical

conduct, data management and project management... in finding new ways to establish better practice in the research conducted in our faculty.” (Research Functionality Advisory Committee Member)

Quadrant ¡Requirements ¡

— Consistent, stable and available computing

infrastructure

— Appropriate EULA’s – consistent with Human

Research Ethics Councils and Code of Conduct for Research

— Data sovereignty. Assurances regarding location of

primary storage and backups

— Clear access and responsibility guidelines

www.quadrant.edu.au Further information Mr Hamish Holewa, CQUniversity . hholewa@quadrant.edu.au +61 7 3295 1183 Quadrant is a project supported by the National eResearch Tools and Resources Project (NeCTAR), an initiative of the Commonwealth being conducted as part of the Super Science Initiative and financed from the Education Investment Fund, Department of Industry, Innovation, Science, Research and Tertiary Education. The University of Melbourne is the lead agent for the delivery of the NeCTAR project and the Queensland Cyber Infrastructure Foundation (QCIF) is the sub-contractor.

Siddeswara ¡Guru ¡ TERN ¡Data ¡Integration ¡and ¡Synthesis ¡Coordinator ¡

What ¡is ¡TERN ¡

— Coordinate and build national

n e t w o r k f o r t e r r e s t r i a l ecosystem research and management

— Facilitate open access to

ecosystem science data

— Build a strong ecosystem

science community to solve problems facing Australia’s ecosystem

— Enable to identify the gaps in

data to understand Australia’s ecosystem

National infrastructure for collecting, storing and sharing Australia’s terrestrial ecosystem datasets and knowledge

Why ¡servers ¡from ¡NSP ¡

— National Infrastructure for research community — System management is independent to institutional

affiliation.

— Quick response during the application process — Infrastructure monitoring and admin support — It is free…

TERN ¡Services ¡from ¡NSP ¡

— TERN Data Discovery Portal:

— Gateway to find all data published by TERN

— Australian Supersite Network:

— Publish all data and contents related to TERN

Australian Supersite Networks

— Long Term Ecological Network

— Publish all data and contents from TERN long term

ecological plot network

Future ¡Direc)on ¡

— All critical TERN services will be moved to NSP

.

— Enable flexibility in managing the infrastructure — Fast turn around time for new resource provisioning — Strong integration to the NeCTAR and RDSI cloud

infrastructure