The Game of Continuous Delivery Presented by: Tanya - - PDF document

▶
the game of continuous delivery
SMART_READER_LITE
LIVE PREVIEW

The Game of Continuous Delivery Presented by: Tanya - - PDF document

Dec 21, 2023 231 likes •418 views

T5 Continuous Delivery Thursday, October 3rd, 2019 9:45 AM The Game of Continuous Delivery Presented by: Tanya Kravtsov

slide-1
SLIDE 1

¡ ¡ T5 ¡

Continuous ¡Delivery ¡ Thursday, ¡October ¡3rd, ¡2019 ¡9:45 ¡AM ¡ ¡ ¡ ¡ ¡

The ¡Game ¡of ¡Continuous ¡Delivery ¡ ¡

Presented ¡by: ¡ ¡ ¡

¡ Tanya ¡ ¡Kravtsov ¡

¡ Audible ¡ ¡

Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡

¡

¡

¡ ¡

888-­‑-­‑-­‑268-­‑-­‑-­‑8770 ¡·√·√ ¡904-­‑-­‑-­‑278-­‑-­‑-­‑0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡http://www.starwest.techwell.com/ ¡ ¡ ¡

¡

¡ ¡ ¡

¡

slide-2
SLIDE 2

Tanya ¡ ¡Kravtsov ¡

¡ Tanya ¡Kravtsov ¡is ¡a ¡Senior ¡Director ¡of ¡QA ¡at ¡Audible, ¡helping ¡to ¡build ¡a ¡new ¡QA ¡org ¡ to ¡support ¡innovative ¡product ¡development ¡at ¡scale. ¡Previously, ¡as ¡the ¡head ¡of ¡ automation ¡and ¡continuous ¡delivery ¡at ¡ROKITT, ¡senior ¡QA ¡manager ¡at ¡Syncsort, ¡and ¡ VP ¡at ¡Morgan ¡Stanley, ¡Tanya ¡focused ¡on ¡quality, ¡automation, ¡and ¡DevOps ¡practices ¡ and ¡worked ¡with ¡internal ¡and ¡external ¡customers ¡to ¡transform ¡development ¡and ¡ testing ¡processes. ¡Tanya ¡is ¡passionate ¡about ¡process ¡automation, ¡which ¡ encompasses ¡test, ¡data, ¡and ¡environment ¡automation, ¡as ¡well ¡as ¡continuous ¡ integration ¡and ¡continuous ¡delivery. ¡She ¡has ¡extensive ¡experience ¡building ¡and ¡ training ¡new ¡teams ¡and ¡helping ¡organizations ¡adapt ¡agile ¡practices. ¡Tanya ¡is ¡a ¡ founder ¡of ¡the ¡DevOpsQA ¡NJ ¡Meetup ¡group ¡and ¡a ¡speaker ¡at ¡events ¡including ¡ Øredev, ¡TestBash, ¡STAREAST, ¡QUEST, ¡and ¡the ¡Jenkins ¡User ¡conference, ¡as ¡well ¡as ¡a ¡ keynote ¡at ¡Agile ¡+ ¡DevOps ¡West. ¡Follow ¡her ¡on ¡Twitter ¡@DevOpsQA. ¡ ¡

slide-3
SLIDE 3

9/5/2019 1

Tanya Kravtsov

Game of Continuous Delivery

“The bottleneck is never code or creativity; it’s lack of clarity” Scott Berkun

  • Developer turned Tester
  • Founder of DevOpsQA

Meetup group

  • Senior Director of QA at

Tanya Kravtsov

@DevOpsQA kravtst@audible.com

slide-4
SLIDE 4

9/5/2019 2

Word on the street… Continuous What?

Code Build Integrate Test Release Deploy

slide-5
SLIDE 5

9/5/2019 3

ULTURE UTOMATION EAN ONITORING HARING

Components of Transformation

“Any improvements made anywhere besides the bottleneck are an illusion”

What is a Bottleneck?

slide-6
SLIDE 6

9/5/2019 4

slide-7
SLIDE 7

9/5/2019 5

Understand your Delivery Pipeline

Identify all players in the system Identify all handovers between

the players

Brainstorm

Speed Boat Game Mind Maps Six Thinking Hats Interviews Retrospectives

slide-8
SLIDE 8

9/5/2019 6

Use the Five Whys Technique

  • 1. Gather the team
  • 2. Define the problem
  • 3. Document the Timeline
  • 4. Ask Why 5 or more times
  • 5. Assign Action Items

Problem

  • Customer found a high severity bug in production

Why?

  • The bug was missed during the regression run

Why?

  • Regression run was only limited to subset of test cases

Why?

  • There was not enough time to test everything

Why?

  • Code was not completed until last day of the sprint

Why?

  • There was a requirement change half way thru the sprint

Action Items • Lock the requirements until end of sprint

slide-9
SLIDE 9

9/5/2019 7

 Automate the build  Setup CI Server  Automate Code Deployment  Automate Unit Testing  Automate Code Documentation

Build and Deployment

slide-10
SLIDE 10

9/5/2019 8

 Infrastructure as Code  Automated Configuration  Virtualization

Environment

Dev

  • Unit Testing
  • Automated

Functional Tests Integration

  • Environment

Smoke Test

  • Product

Smoke Test

  • Automated

Integration Tests QA

  • Environment

Smoke Test

  • Product

Smoke Test

  • Automated

Regression

  • Manual

Exploratory Testing Staging

  • Environment

Smoke Test

  • Product

Smoke Test

  • UAT

Prod

  • Environment

Smoke Test

  • Product

Smoke Test

Testing

 Automated Test Data Management  Service Virtualization  Parallel Execution  Cross-Browser/Cross-Device  Selective/Smart Testing

slide-11
SLIDE 11

9/5/2019 9

Performance

 Performance

Capacity Test Soak Test Load Test Stress Test

 User Experience Test

slide-12
SLIDE 12

9/5/2019 10

Static Analysis and Code Review

Security vulnerabilities Accessibility evaluation Coding Standards Memory Leaks Code Coverage SEO analysis Code Reviews

Test Analysis and Reporting

Consolidated Results Defect Logging Email Notifications Reporting Dashboard Root Cause Analysis

slide-13
SLIDE 13

9/5/2019 11

Data Driven Decision Making

Testing Scope Test Case Prioritization Time Estimates Defect Prioritization Go/ No Go Decisions

slide-14
SLIDE 14

9/5/2019 12

Continuous Monitoring

 Infrastructure Monitoring  Automated Environment Readiness test  Automated Product Readiness test  Application Performance Monitoring

Feedback Loop and Continuous Improvement

Do Post-Mortem for Production Issues Log Application and Process Data Monitor Automation Health Monitor KPIs and Technical Debt

24

slide-15
SLIDE 15

9/5/2019 13

Continuous Delivery KPIs

Speed to deployment vs. Bugs missed Change Volume and Complexity Opened vs. Resolved & Defect Aging Customer issues volume Mean time to recovery (MTTR)

25

slide-16
SLIDE 16

9/5/2019 14

Celebrate Wins and Learn from Misses

Show and Tell Roadshows Wallboards Newsletters Daily Standups

If your audience isn’t listening, it’s not their fault, it’s yours

slide-17
SLIDE 17

9/5/2019 15

Final Thoughts