Matthias ZiegerBusiness Development Test & QA SolutionsMicrosoft Deutschland GmbH

Last- und Performance-Tests für alle

Lasttest wozu ?

Klarheit

AgendaTestszenarien

Anwendung innerhalb MicrosoftDie Leistungsmerkmale von Visual Studio für LasttestsErweiterbarkeit von Visual Studio in Bezug auf Lasttests

DogfoodVisual Studio ist das de facto Last-Testtool innerhalb von Microsoft

Skaliert extrem gutKann auch komplexe Szenarien abdecken

Team Testobjekt Beschreibung

Office Server Office SharePointWindows SharePointExcel Server

Perf and stress testing of Office Server System

SQL SQL Reporting ServicesSQL BI

Perf and Stress, benchmarking, sizing

Dynamics AX Dynamics 4.0 Perf and Stress, benchmarking, sizing

MSN/Live Ad CenterHot MailVirtual EarthAutosMarch MadnessMusicMore…

High volume perf and stress testing

Groove Open Office Perf and Stress Testing

DevDiv Team Foundation Server

Perf and Stress Test TFS

MSIT SAP Load Test SAP via Web Services

MSTV IPTV servers Huge tests to load test IPTV national rollout

MS CRM MS CRM Perf and Stress, benchmarking, sizing

Microsoft.com Microsoft.com Perf and Stress Testing

Dr Watson Log collection servers Perf and Stress Testing

Windows Update Patch download servers

Perf and Stress Testing

Beispiele

Recent 12-hour production test:Total requests generated     3.63 BillionAverage requests/sec           84,248

Using Load Tests to validate IPTV podsEach services 100,000 customersMany major telecoms are customers:AT&T, Tel Italia, Bell Canada, more…

AgendaTestszenarienDie Leistungsmerkmale von Visual Studio für Last- und Performance Tests

Web Test ArchitectureLoad Test Architecture

Erweiterbarkeit von Visual Studio in Bezug auf Lasttests

Lasttests für alleZiel: Lasttests so früh wie möglich einsetzen

Deswegen: Enge Integration mit Visual StudioUnlimited Virtual Users (aka VU Packs)

Data CollectionPerformance Counter Sets zum ermitteln der KennzahlenTest-Ergebnisse sind in einer Datenbank gespeichert

Performance Analysis Korrelationen der Server Aktivitäten mit Lasttest-Messergebnissen Analysemöglichkeiten im Fehlerfall (Drill Down)

Funktionale Web-Tests“HTTP” Tests (auf Protokollebene, nicht GUI Level)

Sendet Daten via HTTP HTTP headersQuery StringForm Post parameters

Validiert Server ResponsesParameter können „Datadriven“ variiert werdenAJAX Support

Neue MöglichkeitenVerzweigungen und Schleifen in einem Web Performance TestExcel basiertes ReportingCoded-UI Tests können als Lasttest wiederverwendet werdenIntegration mit Datenkollektoren

ASP.net ProfilerIntellitrace™

Demo: Web Tests

Lasttest Architektur

Web Server (AUT)

Load Test database server

Optional: Microsoft Test Manager 2010

Test Controler

Load AgentsVisual Studio

BesonderheitenFlexible Last-Modellierung

“Szenarios” zur Modellierung des tatsächlichen Nutzerverhalten

Zielbasiert, Sprunghafte, Konstante oder eigene ModelleSimuliert verschiedene Browser und NetzwerkeZeit- oder Iterationsbasierende Testläufe

Last-Generierung ist sehr effizient (da Script Compiliert wird)Unit-Tests können für Last-Tests benutzt werdenCoded UI Tests können genutzt werden

NeuigkeitenVirtual User activity chart64-bit TestausführungNetzwerk Emulation auf Treiber-EbeneScripting ist einfacher gewordemNeue “Extensibility Points”… und einiges mehr!

Performance-MessungenVordefinierte Performance Counter

Load Agents fürSkalierbarkeitVerteilbarkeit

Demo: Lasttests

Erweiterte Analyse

Performance Tools: Profiler

Wie identifiziere ich meine Performance Probleme?SamplingInstrumentationMemory allocation

Beispiel-Report

Teuerste Funktion

Teuerster Pfad der Anwendung

Lastspitzen entdecken

Tier Interaction ProfilingAnalyze the performance of a multi-tier

application against its Data tier and SQL ServerAnalyze page request patterns and database interactions for web applications

JScript Profiling (Client Side) Application

Performance

Ajax Performance

Editor IntegrationIdentify lines with

considerable performance impact

while coding

Visual Studio Load TestingTestszenarien

Die Leistungsmerkmale von Visual Studio für LasttestsErweiterbarkeit von Visual Studio in Bezug auf Lasttests

Erweiterbarkeit− Load Test Plugins− Möglichkeiten

− web test plugins− web test request plugins− web test recorder plugins

− Diagnostic Data Adapters (DDA) (a.k.a “Datenkollektoren”)

Besser Lasttesten

• Lasttest sehr früh möglich• Komfortabler Load Test

Wizard• Load Pattern• Test Mix• Browser Mix• Network Mix

• Günstiger Preis• Erweiterbar

Vorteile für Ihr ProjektRisikominimierung durch bessere Kommunikation zwischen Entwicklern, Projektleitern und QSBessere Einhaltung von SLAs durch Simulation von echten Last-SzenarienWeniger Kosten in der Entwicklung durch Wiederverwendung von funktionalen- und Unit-Tests in LoadszenarienWeniger Kosten im RZ durch besser skalierende Web-Anwendungen (Hardware + Lizenz Kosten)

Community LinksForums

http://social.msdn.microsoft.com/Forums/en-US/vstswebtest/threads

BlogsBlogs.msdn.com/edglasBlogs.msdn.com/billbarBlogs.msdn.com/slumleyhttp://blogs.msdn.com/edglas/pages/content-index-for-web-tests-and-load-tests.aspx

CodePlexQuick Reference GuideWCF Load Test RecorderSQL Load Test RecorderLoad Test ReportsWeb and Load Test PluginsSharePoint Scripts

Q&A

Danke für Ihre Zeit !

Kontakt:mzieger@microsoft.com

https://www.xing.com/profile/Matthias_Ziegerhttp://www.linkedin.com/pub/matthias-zieger/2/898/1b4

© 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after

the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.