45
Automatische Testtools für Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegenüberstellung, Analyse, Empfehlung Verfasser: Anna Danisch, acceptIT GmbH, Juni 2012 acceptIT Whitepaper

Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

Automatische Testtools für Web-Anwendungen im VergleichIBM Rational Functional Tester vs. Selenium IDE

Gegenüberstellung, Analyse, Empfehlung

Verfasser: Anna Danisch, acceptIT GmbH, Juni 2012

acceptIT Whitepaper

Page 2: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

Inhaltsverzeichnis

Abbildungsverzeichnis ................................................................................... II

Tabellenverzeichnis ....................................................................................... II

Abkürzungsverzeichnis .................................................................................. II

1 Grundlagen ............................................................................................ 1

1.1 Allgemeine Arbeitsweise von Testtools für Webanwendungen .............. 1

1.2 Begründung der Toolauswahl ........................................................... 2

1.3 Testumgebung .............................................................................. 3

2 Kriteriums Katalog ................................................................................... 3

2.1 Produkt ........................................................................................ 3

2.2 Installation ................................................................................... 4

2.3 Testvorgang .................................................................................. 6

2.4 Verschiedene Testverfahren ............................................................ 8

2.5 Quellcode ..................................................................................... 9

2.6 Protokoll ..................................................................................... 10

2.7 Darstellung der Oberfläche ............................................................ 10

2.8 Extras ........................................................................................ 12

2.9 Gewichtung ................................................................................. 13

3 Analyse der Kriterien ............................................................................. 15

3.1 Punktevergabe ............................................................................ 15

3.2 Produkt ...................................................................................... 15

3.3 Installation ................................................................................. 17

3.4 Testvorgang ................................................................................ 20

3.5 Verschiedene Testverfahren .......................................................... 26

3.6 Quellcode ................................................................................... 28

3.7 Protokoll ..................................................................................... 29

3.8 Darstellung der Oberfläche ............................................................ 31

3.9 Extras ........................................................................................ 33

4 Empfehlung .......................................................................................... 36

Anhang ...................................................................................................... 38

Quellenverzeichnis ....................................................................................... 40

Page 3: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

Abbildungsverzeichnis

Abbildung 1: Vergleich normaler Test und datengesteuerter Test ......................... 1

Abbildung 2: Typisches Ordnersymbol .............................................................. 6

Abbildung 3: Aufzeichnungsfenster des RFTs ................................................... 20

Abbildung 4: Wiedergabefenster des RFTs ....................................................... 21

Abbildung 5: Dialogfenster des RFTs bei einem Fehler während der Wiedergabe ... 22

Abbildung 6: Testobjektübersicht des RFTs ..................................................... 24

Abbildung 7: Beispiel für eine Auswahl zur Objektfindung im Selenium IDE ......... 25

Abbildung 8: Protokoll des RFTs vom Typ XML ................................................. 29

Abbildung 9: Fehleranzeige im Selenium IDE ................................................... 30

Abbildung 10: Symbolleiste im RFT ................................................................ 31

Abbildung 11: Symbolleiste des Selenium IDEs ................................................ 31

Tabellenverzeichnis

Tabelle 1: Gewichtungen und ihre Bedeutung .................................................. 13

Tabelle 2: Kriterien mit Gewichtung und Begründung ....................................... 14

Tabelle 3: Punkte und ihre Bedeutung ............................................................ 15

Tabelle 4: Voraussetzungen für den RFT ......................................................... 17

Tabelle 5: Voraussetzungen für den Selenium IDE ........................................... 18

Tabelle 6: Kriterien für Testtools mit Gewichtung und Punkten ........................... 37

Abkürzungsverzeichnis

CSS Cascading Style Sheets

GUI Graphical User Interface

IDE Integrated Development Environment

IE Internet Explorer

IT Informationstechnik

RAM Random Access Memory (Arbeitsspeicher)

RC Remote Control

RFT Rational Functional Tester

XPath XML Path Language

Page 4: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

11

1 Grundlagen

1.1 Allgemeine Arbeitsweise von Testtools für Webanwendungen

Testtools werden vom Benutzer zu den unterschiedlichsten Arten von Tests genutzt.

Die vier häufigsten Testvorgänge werden an dieser Stelle kurz definiert.

� Funktionstests: Bei einem Funktionstest werden die Weboberfläche und

die Hintergrundprogrammierung auf ihre Funktionalität geprüft.

� Regressionstests: Unter einem Regressionstest wird eine Wiederholung

von bereits durchgeführten Tests dargelegt. Dies geschieht um einen Fehler

komplett auszuschließen und sicher zu gehen, dass eine Änderung z.B. im

Programmcode kein neues Fehlverhalten der Anwendung verursacht.1

� Graphical User Interface (GUI)- Tests: In diesem Testfall wird die GUI

auf seine Einzelheiten überprüft. Dies entspricht in erste Linie der äußeren

Erscheinung aller Elemente. Zum Teil wird auch wie im Funktionstest auf die

Arbeitsweise der Oberfläche geachtet.

� datengesteuerte Tests: Die datengesteuerten Tests basieren vor allem

darauf, dass die Testdaten und der Testcode explizit voneinander getrennt

werden. Dadurch können viele Daten mit demselben Code ausgeführt wer-

den. So entsteht eine realistische Testumgebung.2

Abbildung 1:

Vergleich normaler Test und datengesteuerter Test

Quelle: Vgl. IBM GmbH (2011a)

1Vgl. Franz, Klaus (2007) Seite 208 und Schindler, Dominik (2005) Seite 3. 2 Vgl. Neulinger, Robert und Rajovic, Dean (2003) Seite 26.

Page 5: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

22

Diese Tests sollen Abläufe in einem Unternehmen optimieren, indem der Aufwand

Anwendungen zu testen und Fehler aufzudecken von einem Tool übernommen wird.

Des Weiteren dient ein solches Testtool zur Qualitätssicherung der erstellten Soft-

ware. Die Tools, die für das Testen von Webanwendungen ausgelegt sind, haben

meistens eine Aufzeichnungsfunktion. Diese Funktion hält alle Interaktionen, die

der Benutzer auf der Weboberfläche ausübt, fest. Die entstandene Aufzeichnung

wird in Form eines einfachen Protokolls mit Befehlen wie „Click on Button“ fixiert.

Diese Kommandos sind in einer „natürlichen Sprache“3 geschrieben, sodass sie für

jede Person verständlich sind. Aus dem Protokoll wird voll automatisch ein komplet-

ter Quellcode in einer ausgewählten Programmiersprache generiert. Bei den meis-

ten Testtools sind beide Darstellungsformen direkt neben einander abrufbar.

Darüber hinaus arbeiten die Testtools mit einer Wiedergabefunktion. Dabei werden

die Interaktionen erneut im Browser abgehandelt. Anschließend entsteht ein End-

protokoll mit den Testergebnissen.

Durch diese Funktionen der Tools können die ersten drei Tests ohne große Proble-

me abgehandelt werden. Wobei zu beachten wäre, dass es sich um Blackbox-Tests

handelt. Das heißt es wird nur auf die Eingabe- und Ausgabewerte geprüft und

nicht auf den Quellcode. Um den datengesteuerten Test ausführen zu können, be-

steht häufig die Möglichkeit ganze Testdatenpools anzulegen. Damit wären alle vier

Testverfahren bereits mit der allgemeinen Arbeitsweise eines solchen Tools absol-

viert. Die meisten Testtools besitzen

noch einige Extras, die das Testen erleichtern und auf die im späteren Verlauf ein-

gegangen wird.

1.2 Begründung der Toolauswahl

Das Tool RFT4 entspringt der Reihe „Rational Software“, die wiederum Bestandteil

der IBM ist. Die Firma IBM ist ein großer Hersteller in dem kompletten Bereich IT

und befand sich im Jahr 2011 in der Softwareentwicklung auf einem der ersten

Plätze.5 Die Produkte von diesem Hersteller haben sich über Jahre bewährt und

weisen ein hohes Qualitätsstandrad auf. Aus diesen Gründen und weil die IBM ein

großer Partner der acceptIT GmbH ist, wurde der RFT ausgewählt.6

Das zweite Tool Selenium stammt aus dem Open-Source-Bereich. Es wurde von der

Firma ThoughtWorks entwickelt. Aus dem Paket Selenium wird in dieser Praxisar-

beit nur der Selenium IDE7 untersucht, da dies die Komponente zum Testen von

3 Zur genaueren Begriffserklärung siehe Anhang 2. 4 Ein Screenshot der Programmoberfläche des RFTs befindet sich im Anhang 3. 5 Vgl. Matthews, Kevin (2011) und Young Aspirations (2011). 6 Vgl. acceptIT GmbH (2012c). 7 Eine Abbildung des Selenium IDEs liegt im Anhang 4 vor.

Page 6: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

33

Webapplikationen ist. Dabei handelt es sich um ein reines Add-on für einen

Webbrowser. Das Programm kam in die Vorauswahl, da dieses Produkt bei den Tes-

tern für Webanwendungen äußerst beliebt ist. Zusätzlich ist es im Ranking der der-

zeitigen Open-Source-Testtools im oberen Bereich der Auswertungen zu finden.8

1.3 Testumgebung

Die vorliegenden Testtools wurden in einer Testumgebung mit folgenden Daten auf

die Probe gestellt.

Betriebssystem: Windows 7 Professional

Systemtyp: 64 Bit-System

Prozessor: Intel(R) Core (TM)2 Duo CPU T9550 2,67 GHz

Arbeitsspeicher: 4 GB

Browser: Firefox, Internet Explorer (IE)

2 Kriteriums Katalog

2.1 Produkt

Release

Das Wort „Release“ bedeutet übersetzt „Version“.9 Da der englische Begriff in der

IT-Welt etabliert ist, wird er hier verwendet. In der heutigen Zeit ist der Punkt Re-

lease wichtig, denn jede Firma muss auf dem neusten Stand sein. Deshalb ist es

entscheidend festzustellen wie oft ein Produkt weiterentwickelt wird. Falls ein Pro-

dukt in den letzten Jahren keine weiteren Releases aufweist, sollte geprüft werden

ob die Software entweder ausgereift ist oder ob sie nicht weit verbreitet ist und

deswegen die Weiterentwicklung abgebrochen wurde.

Erweiterbarkeit

Viele Testtools gehören zu einer kompletten Reihe von Softwareprodukten, die sich

alle gegenseitig ergänzen können. Vorstellbar ist es z.B. ein weiteres Tool für die

bessere Verarbeitung des Protokolls zu integrieren oder ein Programm einzubinden

um die Testdaten mit Kollegen auszutauschen. Die bestehenden Möglichkeiten für

jedes vorliegende Testtool werden kontrolliert.

Support

Bei dem hier untersuchten Support handelt es sich hauptsächlich um die Leistung,

die von dem Hersteller an sich geliefert wird. Der Support für eine Software hat

eine enorm große Bedeutung. Denn solange ein Produkt nicht voll funktionsfähig

ist, kann nicht richtig gearbeitet werden und Zeit sowie Geld gehen verloren. Einen 8 Vgl. heise online (2011) und vgl. Aberdour, Mark (2012). 9 Vgl. Hemetsberger, Paul (2012).

Page 7: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

44

guten Support zeichnen vor allem drei Kriterien aus. Erstens das Merkmal wie ein-

fach der Support zu erreichen ist. Zweitens die Zeit, die der Support benötigt, um

Hilfe zu leisten. Und drittens die Qualität der erbrachten Hilfeleistung. Sobald eine

dieser Eigenschaften nicht in einem ausreichenden Maß vorhanden ist, wird die Hilfe

schnell als äußerst negativ bewertet.

Wartung

Wartung ist die Änderung an einem Softwaresystem nach seiner Auslieferung.10

Im Bereich der Informatik bedeutet Wartung, dass die Lauffähigkeit bzw. die Funk-

tionalität des Programms durch vorbeugende Maßnahmen sichergestellt wird. Maß-

nahmen können z.B. das Beseitigen von Fehlern oder das Ergänzen von Funktionen

sein. In diesem Kriterium wird untersucht welche Wartungen bevorstehen.

Garantie

Bei der zu prüfenden Garantie wird betrachtet welche Gewähr der Hersteller gegen-

über dem Verbraucher vertritt und für welche Mängel er aufkommt.11 Dabei ist zu

beachten, dass eine Garantie lediglich Situationen umfasst, in denen Fehler durch

das alleinige Versagen des Produkts entstanden sind. Die Garantie ist für viele Kun-

den enorm wichtig, da sie eine Sicherheit bei dem Kauf eines Produkts bietet. Des

Weiteren wird sie häufig z.B. mit einem Garantieschein bestätigt.

Preis

Der Preis ist in den Kriterien um ein Produkt immer vertreten. An dieser Stelle ist

vor allem das Preis-Leistungs-Verhältnis wichtig. Dieses Verhältnis wird aus der

Sicht des Kunden bestimmt und ermittelt unter anderem wie viel Qualität ein Käu-

fer für sein bezahltes Geld bekommt.12 Die Nachfrage nach dem Artikel fließt eben-

so in dieses Verhältnis mit ein. Bekanntermaßen kann der Verkäufer z.B. den Preis

erhöhen, wenn die Nachfrage gestiegen ist. In diesem Kriterium wird also begut-

achtet wie hoch der Preis des jeweiligen Testtools liegt und wie das Preis-Leistungs-

Verhältnis aufgebaut ist.

2.2 Installation

Voraussetzungen

Bei jeder Installation spielen die Voraussetzungen eine große Rolle. Ein Programm

kann nur optimal arbeiten, wenn alle Voraussetzungen erfüllt sind. Es gilt drei Be-

reiche zu beachten: Das Betriebssystem, die Hardware und die Software. Im Punkt

10 Vgl. Gall, Harald (2006) Seite 19 und Franz, Klaus (2007) Seite 211. 11 Vgl. Gabler Verlag (2012a). 12 Vgl. Gabler Verlag (2012b).

Page 8: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

55

Betriebssystem sollten die gängigsten Systeme mit dem Testtool kompatibel sein,

denn in den seltensten Fällen wird ein System an ein Programm angepasst. Die

Hardwarevoraussetzungen sind bedeutend, da manche Testtools z.B. eine bestimm-

te Prozessorleistung und einen entsprechend großen Arbeitsspeicher (RAM) benöti-

gen, um einen reibungslosen Programmablauf zu gewährleisten. Von dem Hersteller

können ebenso Eigenschaften an den Bildschirm gefordert werden. Bei der Installa-

tion ist zusätzlich auf die Software zu achten, weil einige Tools vorinstallierte Pro-

gramme benötigen, um gewisse Funktionen auszuführen. Es kann genauso zu der

Situation kommen, dass ein vorhandenes Programm die Installation behindert.

Deshalb sollte dieser Aspekt vorher begutachtete werden. Alle Anforderungen soll-

ten nicht ins Extreme geraten, weil die Installation ansonsten bei einigen Benutzern

ohne zusätzliche Ausgaben für die Beschaffung nicht abgeschlossen werden kann.

Download

In der heutigen Zeit werden viele Produkte über das Internet gekauft, genauso ge-

schieht dies immer mehr mit Softwareprodukten. Unter diesem Kriterium wird der

Vorgang des Downloads durchleuchtet. Angefangen beim Suchen nach dem richti-

gen Link, denn häufig sind Herstellerseiten unübersichtlich aufgebaut, sodass eine

Suche einige Zeit in Anspruch nimmt. Zusätzlich wird der Download selbst betrach-

tet, schließlich können Pakete eine extreme Größe besitzen und es dauert diese

herunterzuladen.

Aufwand

Dieses Kriterium hängt stark davon ab wie geschult die Person vor dem Computer

ist. Der Aufwand setzt sich in erster Linie aus drei Komponenten zusammen. Zum

ersten aus der Dauer, weil umso länger eine Installation dauert umso nachlässiger

wird ein Mensch. Die Dauer wiederum setzt sich wie folgt zusammen: Die Zeit um

die Voraussetzungen zu schaffen, die Dauer für den Download und der Zeitraum für

den Installationsakt. Die ersten beiden Spannen wurden bereits in den jeweiligen

Punkten genau erfasst. Die dritte Zeit wird vor allem durch eine Vielzahl von Anga-

ben verlängert.

Die Verständlichkeit fließt mit in den Aufwand, da komplexe Anweisungen in dem

Installationsvorgang zu vermeiden sind. Die Symbole sollten leicht zu deuten sein

und einen Wiedererkennungswert wie z.B. das Ordnersymbol besitzen. Ansonsten

kommt z.B. eine Dokumentation zum Tragen. Dadurch steigt der Schwierigkeits-

grad, der die dritte Komponente des Aufwands darstellt. Eine Installation sollte vom

Schwierigkeitsgrad her nicht nur von Profis zu bewältigen sein.

Page 9: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

66

Abbildung 2: Typisches Ordnersymbol

Quelle: Eigene Darstellung, Screenshot

Probleme

Probleme können bei jeder Form der Installation auftreten. Sie können in ganz ver-

schiedener Form zum Vorschein kommen. Am einfachsten ist es, wenn es sich um

ein Verständnisproblem handelt und es durch Nachschlagen gelöst werden kann.

Schwieriger wird es, wenn eine Datei fehlt und die ganze Installation abgebrochen

werden muss. Der im Punkt Aufwand besprochene Schwierigkeitsgrad kann selbst-

verständlich genauso Probleme verursachen, wenn dieser zu hoch gesetzt wurde.

2.3 Testvorgang

Handhabung

Die Aufzeichnungs- und Wiedergabefunktion spielt bei den ausgewählten Testtools

eine Schlüsselrolle. Die Aufzeichnungsfunktion legt die Grundlage für den gesamten

Testvorgang. Ohne Wiedergabefunktion könnte ein Skript nicht abgespielt und kei-

ne Anwendung getestet werden. Aus diesen Gründen ist es wichtig, dass die Hand-

habung eine Aufzeichnung zu erstellen und wiederzugeben einen simplen Charakter

hat. Falls schon am Anfang Schwierigkeiten entstehen, ist es oft unmöglich das

Testverfahren korrekt abzuschließen. Bei der Handhabung fließt zusätzlich die Be-

trachtung der Schaltflächen für die einzelnen Funktionen mit ein. Es wird z.B. ge-

prüft ob es selbsterklärende Tooltips13 gibt. Wichtig ist ebenso das Verhalten wie

während der Prozeduren mit geöffneten Fenstern umgegangen wird und welche

Fenster eventuell durch das Betätigen der Funktionen zum Vorschein kommen. Bei

der Wiedergabe kommt es darauf an wie z.B. mit Fehlermeldungen hantiert wird. Es

sollte ein Fortlaufen des Tests gewährleistet werden. Außerdem werden die Unter-

funktionen und Eigenschaften der Aufzeichnung und der Wiedergabe inspiziert.

Eventuell kommen an dieser Stelle einige Extras des Testtools zur Aussprache, die

in einem späteren Teil des Kriterienkatalogs im Detail erläutert werden.

Endresultat

Das Endresultat besitzt eine große Bedeutung, schließlich möchte der Benutzer

durch die ausgeführten Aktionen zu einem Ergebnis kommen. Wie gut oder schlecht

dieses Resultat der Funktionen ist wird in diesem Kriterium geprüft. Es wird darauf

13 Tooltip: übersetzt „Werkzeughilfe“, bezeichnet die Mausfahne beim Überfahren

von Elementen.

Page 10: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

77

eingegangen was für eine Datei produziert wird. Ergänzend wird bestimmt wie sim-

pel oder kompliziert die Struktur des Resultats ist. Eine weitere Eigenschaft bietet

die Weiterverwendbarkeit, also wie einfach ist es mit dem Ergebnis zuarbeiten. Vor

allem bei dem Befund der Wiedergabefunktion ist dies sehr wichtig, da hier die

Testergebnisse verfasst werden. Im weitesten Sinne wird in diesem Kriterium die

Qualität der Endprodukte gemessen. Eine genauere Untersuchung wird unter den

Überschriften „Quellcode“ und „Protokoll“ vorgenommen.

Qualität

Qualität ist in jedem Geschäft wichtig. Ohne ein gewisses Maß an Qualität geht es

heutzutage nicht mehr. Immer müssen Ansprüche des Kunden erfüllt werden. Ex-

plizit wird an dieser Stelle die Qualität der gesamten Aufzeichnungs- und Wiederga-

befunktion untersucht. Die Ansprüche des Benutzers beziehen sich in erster Linie

auf die Funktionalität des Testtools. Aber ebenso fließen die Gestaltung und der

grafische Aufbau der Oberfläche mit in die Bewertung ein. Bei der Wiedergabefunk-

tion sollte das eigentliche Abspielen am Bildschirm genauso Teil der Qualitätsan-

sprüche sein. Denn es kommt darauf an in welcher Form, Auflösung und Geschwin-

digkeit dies erfolgt. Durch die vorangehenden Kriterien zum Thema „Aufzeichnung

und Wiedergabe“ werden mehr Voraussetzungen für die Eigenschaft des Tools ge-

geben. Umso besser diese Kriterien erfüllt wurden, umso höher kann die Qualität

der gesamten Software beurteilt werden.

Objekterkennung

Jede Schaltfläche, jedes Eingabefeld und jeder Text bildet ein einzelnes Objekt.

Diese Objekte muss das Programm bei der Aufzeichnung erkennen, um die Interak-

tionen richtig zuzuordnen. Dabei gibt es verschiedene Vorgehensweisen wie eine

Software sich Objekte merkt. Manche bedienen sich z.B. der Eigenschaften eines

Objektes wie dem Name oder der Position. Andere wiederum definieren bspw. eine

Schaltfläche über den Quellcode einer Internetseite. Wichtig ist nur, dass jedes Ob-

jekt eindeutig identifiziert werden kann um eine korrekte Arbeitsweise zu ermögli-

chen. Bei einer mehrdeutigen Objekterkennung kann es zu unerwünschtem Verhal-

ten im Laufe des Testverfahrens kommen was den Vorgang anhalten bzw. abbre-

chen kann.

Performance14 und Stabilität

Die Performance und die Stabilität hängen unter anderem von dem Prozessor und

dem Arbeitsspeicher eines Computers ab. Bei einem Testvorgang werden diese be-

lastet, was zu einer geringen Leistung führen kann. Durch die zu erfüllenden Vo-

14 Performance in der Informatik: Leistung, die eine Software im Ausführungsmodus erbringt.

Page 11: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

88

raussetzungen im Hardwarebereich sollten Performance und Stabilität trotz der hö-

heren Auslastung entsprechend gut sein. Bei der Performance ist darauf zu achten

in welcher Zeit ein Programm welche Aufgaben erfüllt und für welchen Bereich die

Software extrem lange benötigt. Bei der Stabilität ist zu beurteilen ob das Pro-

gramm während des Testens ins Stocken gerät, sich aufhängt oder abstürzt. Wobei

ein Programm selbst bei einem fehlerhaften Aufruf seitens des Entwicklers stabil

bleiben sollte. Nur so ist die Speicherung der bisherigen Vorgänge gewährleistet.

2.4 Verschiedene Testverfahren

Funktionstest15

Für das allgemeine Testen ist der Funktionstest von hoher Bedeutung. Erst durch

diesen Test wird auf die komplette Funktionalität der Anwendung geprüft. Dieses

Kriterium beinhaltet vor allem die Fragen wie gut oder schlecht der Funktionstest

mit dem vorliegenden Tool ausgeführt werden kann. Es wird begutachtet wie leicht

ein solcher Test zu erstellen ist, wie schnell er ausführbar ist, von welcher Qualität

seine Ausführung ist und ob er brauchbare Endresultate liefert.

Regressionstest16

Dieser Test spielt unter anderem in der Welt des automatisierten Testens eine Rol-

le. Dementsprechend wird kontrolliert, ob mit dem Testtool ein solcher Test entwor-

fen werden kann. Dabei ist darauf zu achten, dass das Testskript möglichst flexibel

gestaltet werden kann, denn ein Regressionstest ist für das mehrfache Testen vor-

gesehen und sollte nicht bei einer kleinen Änderung auf einen Fehler laufen. Des

Weiteren wird revidiert wie schnell dieser Test zu entwerfen ist. Die Ausführung an

sich und die Qualität wird in diesem Punkt ebenso abgehandelt. Hinzu kommt ge-

nau wie bei dem Funktionstest der Aspekt was für ein Endergebnis ausgegeben

wird.

Datengesteuerter Test17

Durch einen datengesteuerten Test kann sich ein Entwickler die Eingabe von ver-

schiedenen Daten je Testdurchlauf sparen. Da die Daten von dem Tool automatisch

z.B. aus einem Testdatenpool in die Anwendung eingefügt werden. Diese Variante

des Testens kann von ganz alleine einen Test mit 100ten von Datensätzen durch-

laufen. Natürlich muss ein Testdatenpool vor der erstmaligen Verwendung angelegt

15 Eine kurze Definition des Funktionstests findet sich im Kapitel „Allgemeine Arbeitsweise von

Testtools für Webanwendungen“ auf der Seite 4. 16 Im Kapitel 2.2 liegt eine kurze Beschreibung zum Regressionstest vor. 17 Eine Erklärung zum datengesteuerten Test findet sich unter der Überschrift „Allgemeine Ar-

beitsweis von Testtools für Webanwendungen“ auf der 5.

Page 12: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

99

werden. Im Anschluss kann er aber oft für jedes andere Skript angepasst und be-

nutzt werden. Der Aufwand sowie die Dauer einen solchen Pool zu erstellen und zu

bearbeiten fließt mit in dieses Kriterium ein. Zusätzlich ist zu begutachten inwiefern

das Testskript für die Ausführung eines solchen Tests abgewandelt werden muss.

Genauso wird geprüft wie ein datengesteuerter Test von der Software behandelt

und abgespielt wird. Zum Schluss wird kontrolliert was für ein Resultat von dem

Testtool zurückerstattet wird.

2.5 Quellcode

Darstellungsform

Bei der Darstellung des Quellcodes sind grundlegende Einzelheiten zu beachten. Als

erstes der reine Aufbau des Skriptes. Das heißt es wird überprüft ob die formalen

Aspekte eingehalten wurden wie z.B. die Einrückung bei einzelnen Anweisungen.

Gerade bei dem generierten Quellcode ist dies eine wichtige Eigenschaft. In den

meisten Skriptsprachen sind Hervorhebungen von gewissen Texten mit eingebaut.

Variablen werden bspw. farblich gekennzeichnet. Diese Besonderheit dient vor al-

lem der Übersichtlichkeit und sollte auf keinen Fall fehlen. Bei den vorliegenden

Testtools sind jeweils zwei Anzeigen für die beiden Skripte in der Programmoberflä-

che vorhanden. Die genannten Eigenschaften beziehen sich auf beide Bereiche.

Programmiersprachen

Die Auswahl von verschiedenen Programmiersprachen ist sehr vorteilhaft. Durch

diese Funktion sind Entwickler mit unterschiedlichstem Wissen in der Lage mit dem

Tool zu arbeiten. Gerade heutzutage wird die Auswahl von Programmiersprachen

wichtiger, da sich im Laufe der Zeit mehr und mehr Sprachen auf dem Markt entwi-

ckeln und sich ausbreiten. Deshalb wird diese Funktion genauer kontrolliert, um zu

testen wie flexibel das Testtool gestaltet ist.

Eigene Programmierung

Der komplette Quellcode wird zunächst bei der Bedienung der Aufzeichnungsfunkti-

on des Testtools von selbst generiert. Deshalb ist es in diesem Fall besonders inte-

ressant zu erfahren, ob sich die Möglichkeit bietet in den erstellten Quellcode noch

eigene Befehle oder ganze Methoden mit einzuarbeiten. Die Programmierer mit ei-

nem hohen Wert an Erfahrung möchten häufig gerne komplexere Methoden mit

einbinden, um ihr gesamtes Können zu nutzen. Nur durch diese Funktion kann der

Quellcode individuell beeinflusst werden.

Page 13: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1010

2.6 Protokoll

Darstellungsform

Die Darstellungsform eines Protokolls ist ausschlaggebend für die Weiterarbeit eines

Entwicklers. Entweder sind die Informationen in dem Bericht so detailliert, dass alle

Fehler sofort verstanden werden. Oder die Qualität des Protokolls lässt zu wün-

schen übrig und das Identifizieren dauert länger als die Fehlerkorrektur. Die Form

des Testergebnisses kann durch einige Eigenschaften wie Schriftart usw. beeinflusst

werden. Ebenso gehört die Farbgebung von Fehler- oder Erfolgsmeldungen zu den

Formalitäten. Außerdem besteht teilweise die Möglichkeit sich Protokolle in ver-

schiedenen Formaten anzeigen zulassen. Die Fehlermeldungen beinhalten in der

Regel eine Beschreibung was für ein Fehler wo aus welchem Grund aufgetreten ist.

Dabei gilt es zwischen guten und schlechten Beschreibungen zu unterscheiden. Die

Guten zeichnen sich durch eine klare Struktur, kurze, prägnante Sätze sowie eine

eindeutige Identifizierung von Objekten und Fehlerstellen aus. Die schlechten Be-

schreibungen sind häufig einfach zu lang und zu unpräzise.

Veränderbarkeit

Oftmals gibt es zu den Protokollen gewisse Extras um entweder die Darstellungs-

form oder den Inhalt zu beeinflussen. Der Benutzer kann z.B. den Protokolltyp um-

stellen. In manchen Fällen kann es ebenso sein, dass die Objektbezeichnungen in

den beschreibenden Texten verändert werden können. Durch Einfügen von be-

stimmten Methoden können in einigen Tools sogar Testresultate in das Protokoll

geschrieben werden, die normalerweise von der Anwendung nicht dokumentiert

würden. Über diesen Weg können dann Kommentare, Fehlermeldungen und War-

nungen direkt in die Protokolldatei eingebunden werden.

2.7 Darstellung der Oberfläche

Layout und Navigation

Das Layout bezeichnet die komplette Gestaltung der Oberfläche und die Navigation

leitet den Benutzer in dieser Oberfläche. Es geht um die räumliche Aufteilung von

Fenstern und Abschnitten sowie die Anordnung von Schaltflächen, Menüleisten und

Texten. Es wird revidiert wie das Layout und die Navigation aufgebaut sind. Bei der

Navigation ist zusätzlich darauf zu achten, dass diese nicht zu tief verschachtelt ist,

denn dies macht die Bedienung schwer und unübersichtlich. Die Analyse bezieht

sich hauptsächlich auf die Benutzerfreundlichkeit, also wie natürlich und einfach ist

die Handhabung beim Arbeiten in dieser Benutzerumgebung.

Page 14: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1111

Schrift

Durch die Schrift vermittelt ein Programm in erster Linie was es von dem Benutzer

fordert. Aus diesem Grund sollte ein Schriftbild immer deutlich sein. Es sollte eine

angemessene Schriftgröße vorhanden sein und die Schriftart sollte gut lesbar sein.

Das heißt die Schrift sollte möglichst keine Serifen oder andere Schnörkel enthal-

ten. Denn durch solche Eigenschaften wird es dem Benutzer unnötig schwer ge-

macht mit einer Software zuarbeiten

Beispiele für bevorzugte Schriftarten:

Arial Verdana Tahoma

Beispiele für negative Schriftarten:

Blackadder ITC Lucida Bright Chiller

Farbgebung

Farben sind für jede Oberfläche wichtig, weil sie Akzente setzen können. Mit der

Hilfe von Farbe können bestimmte Symbole oder ganze Bereiche hervorgehoben

werden. Durch sie kann ein Benutzer in gewisser Weise durch ein Programm gelei-

tet werden. Dies geschieht indem der Ausgangspunkt der Blickführung besonders

betont wird und dann in die natürliche Blickbewegung hinein weiter Akzente gesetzt

werden.

Einige Farben werden als äußerst positiv wahrgenommen und andere Farben wirken

auf den Menschen eher negativ. Es wird beurteilt, ob die Farbgebung richtig gesetzt

wurde und einen Einfluss auf den Benutzer ausübt.

Positive Farben:

Negativ belastete Farben:

Sprache

Unter dem Punkt Sprache wird nicht nur geprüft ob Englisch, Deutsch, Japanisch

usw. zur Auswahl stehen und in welcher Sprache die Anwendung vorliegt. Zusätz-

lich wird auf den Sprachstil der Texte und Beschriftungen geschaut. Währenddessen

ist darauf zu achten, dass diese Sprache für den Benutzer leicht verständlich ist.

Falls die Sprache zu komplex für den Entwickler ist, fällt es ihm schwer sich im Pro-

gramm zurechtzufinden.

Einstellungsmöglichkeiten

Die persönliche Gestaltung in Bezug auf die verschiedenen Darstellungsformen ist

immer wünschenswert. Gerade erfahrene Entwickler haben sich im Laufe der Zeit

Page 15: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1212

gewisse Eigenarten angewöhnt und möchten ihre Gewohnheiten in möglichst jede

Anwendung übertragen. In dem Bereich des Quellcodes ist dies vor allem interes-

sant, wenn dort die Schriftart, die Schriftfarbe und der Schriftstil angepasst werden

können. Außerdem ist es brauchbar die Anordnung der Bereiche und Fenster ganz

individuell einstellen zu können, um für jeden Benutzer die optimale Arbeitsumge-

bung zu schaffen. Falls diese Funktion nicht verfügbar ist, wäre die Bereitstellung

von verschiedenen, vorgefertigten Perspektiven erstrebenswert. Sogar die Farbge-

bung von bestimmten Ausgaben wie Fehlern, Warnungen oder Ergebnissen ist bei

einigen Testtools seitens des Benutzers veränderbar. All diese Abwandlungsmög-

lichkeiten werden an dieser Stelle betrachtet und es wird überprüft wie gut diese

umsetzbar sind.

2.8 Extras

Prüfpunkte

Die Prüfpunkte sind extrem wichtig bei Testtools. Erst durch sie kann ein Benutzer

auf bestimmte Daten oder Eigenschaften von Objekten testen. Dadurch ist es nicht

notwendig mit komplexen If-Anweisungen oder For-Schleifen auf die Korrektheit

der Parameter zu prüfen. Häufig kann an dieser Stelle mit regulären Ausdrücken

gearbeitet werden, um bspw. die komplette Bandbreite an Formatierungsmöglich-

keiten für eine Texteingabe abzudecken. Des Weiteren kann ein Prüfpunkt auf ein

Objekt gesetzt werden, um zu beaufsichtigen, ob es sich bei bestimmten Datensät-

zen oder Aktionen ändert. Natürlich können bei solchen Prüfpunkten extra Fehler

produziert werden, um das Verhalten des Programms in diesen Testfällen zu unter-

suchen.

Verzögerungen

Es kann in vielerlei Hinsicht nützlich sein eine Verzögerung in ein Testskript einzu-

arbeiten. Vor allem wenn eine Situation während der Wiedergabefunktion genauer

betrachtet werden soll. Da die Wiedergabe in den meisten Fällen recht zügig durch-

geführt wird, kann der Benutzer manche Schritte ohne eine Verzögerung kaum

wahrnehmen, geschweige denn analysieren. Mit Hilfe der Verzögerungsfunktion

wird es machbar sich einzelne Situationen im Testvorgang vor Augen zu führen.

Import und Export

Die Funktion komplette Testskripte oder Protokolle in die Anwendung zu importie-

ren oder für eine andere Anwendung zu exportieren, bietet dem Entwickler gute

Möglichkeiten sein Wissen mit Kollegen oder einem Kunden zuteilen. In diesem Kri-

terium wird also überprüft, ob es so eine Funktion in dem Testtool gibt. Eine gute

Page 16: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1313

Eigenschaft wäre es, wenn die Protokolle in verschiedenen Darstellungsformen aus-

gelagert werden könnten.

Hilfen

Es gibt die verschiedensten Arten von Hilfen im Bereich der Software wie z.B. die

Online-Hilfe, Dokumentationen, Bücher und Fachpersonal.

„Die Online-Hilfe gehört heute zur Standard-Ausstattung eines Software-

Produkts.“.18 Aus diesem Grund wird geprüft ob eine solche Hilfe vorhanden ist.

Auch Dokumentationen gibt es mittlerweile zu jedem Produkt auf dem Markt. Häu-

fig sind diese online zu finden und können als PDF-Datei heruntergeladen werden.

Durch diese Eigenschaft wird es für den Benutzer möglich sie im Online- sowie Off-

line-Modus aufzurufen. Bücher sind zwar aus der Mode geraten, können sich aber

als äußerst hilfreich erweisen. In Büchern sind die Beschreibungen meistens genau-

er und deshalb sind sie häufig sehr gut für Einsteiger geeignet. Alle schriftlichen

Hilfen sollten gut strukturiert sein und eine Suchfunktion enthalten, um schnell ei-

nen Lösungsweg zu finden. Das Fachpersonal ist eine ganz andere Variante der

Hilfsmöglichkeiten. Die Kontaktaufnahme erfolgt bspw. über eine Hotline oder einen

Chat. Es wird kontrolliert wie schnell die Hilfe geliefert wird und von welcher Kom-

petenz sie zeugt.

2.9 Gewichtung

Jede Gewichtung besitzt eine eigene Bedeutung, die anzeigt wie ausschlaggebend

ein Kriterium für die langfristige Arbeit mit dem Testtool ist. Diese Bedeutung wird

in der Tabelle 1 vorgestellt.

Tabelle 1: Gewichtungen und ihre Bedeutung

Gewichtung 0 25 50 75 100

Bedeutung Überflüssig Unwichtig Neutral Wichtig Extrem

wichtig

Quelle: Eigene Darstellung

Die Gewichtung der einzelnen Kriterien wird in der folgenden Tabelle 2 aufgeführt

und mit kurzen Stichworten begründet. Die genaueren Begründungen können aus

dem Kriterienkatalog abgeleitet werden und werden nicht expliziert erläutert.

18 Comet Computer GmbH (o.J. [ca. 2012]).

Page 17: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1414

Tabelle 2: Kriterien mit Gewichtung und Begründung

Kriterium Gewichtung BegründungProduktRelease 100 Neuster Stand und Entwicklung sicherErweiterbarkeit 75 Programm bekommt mehr FunktionenSupport 100 Probleme können schnell gelöst werdenWartung 75 Funktionalität ständig verbessert und gewährleistetGarantie 75 Sicherheit für KäuferPreis 75 Keine unnötigen KostenInstallationVoraussetzungen 75 Programm lauffähig ohne hohen AufwandDownload 25 Nur einmaligAufwand 50 Nur einmaligProbleme 75 Zu viele Probleme bedeuten keine InstallationTestvorgangEinarbeitungszeit 100 Beeinflusst UmsatzHandhabung 100 Arbeitsweise und Produktivität erhöhenEndresultat 75 Weiterverarbeitung und TestergebnisseQualität 75 Hohe Qualität gleich gute Resultat und hoher UmsatzObjekterkennung 75 Erleichtert Testabläufe usw.Performance & Stabilität 100 Beeinflusst Arbeitsweise sehr starkVerschiedene TestsFunktionstest 100 Auf Funktionen wird immer getestetRegressionstest 100 Extrem wichitg für automatisches TestenDatengesteuerter Test 100 Zu Erstellung einer rellen TestumgebungQuellcodeDarstellung 75 Beeinflusst Arbeitsweise sehr starkProgrammiersprachen 50 Programmierer erlernen neuen Sprachen häufig schnellEigene Programmierung 100 Tests können erweitert und verbessert werdenProtokollDarstellungsform 75 Beeinflusst Ergebnisfindung starkVeränderbarkeit 50 Meistens sind Resultat ausreichendDarstellung der OberflächeLayout und Navigation 75 Erleichtert ArbeitsweiseSchrift 25 Meistens StandardFarben 25 Meistens StandardSprache 25 Programmierer kann Englisch, ist StandardBenutzereinstellungen 50 Anpassung an den Tester wünschenswertExtrasPrüfpunkte 75 Erleichtert Testvorgang enormVerzögerungen 25 Hilfreich, aber nicht zwingend notwendigExport und Import 50 Austausch von Daten wird verbessertHilfen 100 Schnelle Problemlösungen für guten Umsatz, Produktivität Quelle: Eigener Entwurf

Page 18: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1515

3 Analyse der Kriterien

3.1 Punktevergabe

Jedes Kriterium wird für jedes Testtool einzeln bewertet. Umso besser das Kriterium

erfüllt wurde umso höher ist die Punktzahl.

Tabelle 3: Punkte und ihre Bedeutung

Punkte 0 1 2 3 4 5

Bedeutung Nicht vor-

handen

Große

Mängel

Leichte

Differenzen

befriedigend gut Sehr

gut

Quelle: Eigene Darstellung

3.2 Produkt

Release

RFT

Die Entwicklung des RFT schreitet immer weiter voran. Von der Version 8.2 existie-

ren bereits vier weitere Unterversionen und die letzte Erneuerung wurde am 15.

Februar 2012 vorgenommen.19

Punkte: 5

Selenium IDE

Der Selenium IDE wird ständig weiter entwickelt und verbessert. In diesem Jahr

2012 erst wurde die neuste Version am 26. Januar frei gegeben.20

Punkte: 5

Erweiterbarkeit

RFT

Der RFT gehört zu einer Reihe von Softwareprodukten, die unter dem Namen Rati-

onal Software bei IBM geführt werden. Einige dieser Produkte wie z.B. der Rational

ClearCase können gut in die Arbeit mit dem RFT eingebunden werden. Durch den

ClearCase kann bspw. die Arbeit im Team um den RFT herum erleichtert werden.

Punkte: 4

Selenium IDE

Selenium hat viele Produkte entwickelt, die in einigen Fällen zusammen arbeiten

können. Für den Selenium IDE gibt es mehrere Möglichkeiten wie bspw. den Se-

lenium Remote Control (RC). Dazu kommen noch kleiner Plug-Ins, die die Funktio-

nalität des Selenium IDEs erweitern. Unter anderem die Funktion bei der Wiederga-

be die aktuellen Objekte in dem Browser durch eine Umrandung hervorzuheben.

Punkte: 4

19 Vgl. IBM GmbH (2012b). 20 Vgl. SeleniumHQ (2012c).

Page 19: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1616

Support

RFT

Von der IBM wird ein umfangreicher Support zu den Softwareprodukten geliefert.

Es gibt eine Hotline, über die ein Benutzer zu jeder Zeit Fachpersonal erreichen

kann. Außerdem steht ein Online-Support 24 Stunden und die ganze Woche zur

Verfügung.21 Zusätzlich gibt es viele Dokumentationen und Produktinformationen zu

allen Bereichen. Die Probleme oder die am häufigsten gestellten Fragen von ande-

ren Benutzern werden außerdem veröffentlicht.

Punkt: 5

Selenium IDE

Selenium an sich bietet eine User Group für Diskussionen rund um Selenium. Es

werden Verweise zu anderen Chats und Foren geben. Außerdem werden Firmen

aufgelistet, die ein Support für Selenium Produkte liefern.

Punkt: 3

Wartung

RFT

Die Wartung in Bezug auf die neusten Funktionen und Versionen usw. werden in

den ersten zwölf Monaten von der IBM kostenlos unterstützt. Dem Benutzer wird

durch Meldungen im Programm mitgeteilt welche Neuheiten für ein Update bereit

stehen.

Punkte: 4

Selenium IDE

Die Hersteller des Selenium IDEs teilen dem Benutzer über den Firefox mit, wenn

es eine neue Version mit neuen Funktionen gibt. Allerdings muss nun das Testtool

erneut installiert werden.

Punkte: 2

Garantie

RFT

Die IBM GmbH stellt mit Hilfe der Wartungs- und Supportleistungen bei dem Ver-

kauf eines Softwareprodukts eine Art Garantie bereit. Zusätzlich greift die gesetzli-

che Gewährleistung, da ein Produkt von einem Hersteller an einen Kunden verkauft

wurde. Dieses Gesetz schützt den Verbraucher in Deutschland vor dem Kauf von

mangelhafter Ware.

Punkte: 4

21 Vgl. IBM GmbH (2012c).

Page 20: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1717

Selenium IDE

Es ist keine Garantie auf die Funktionalität des Testtools Selenium IDE gewährleis-

tet. Die gesetzliche Gewährleistung tritt an dieser Stelle nicht in Kraft, weil kein

Verkauf stattgefunden hat.

Punkte: 0

Preis

RFT

Der RFT besitzt einen stattlichen Preis von 7.031,71 �.22 Trotz dieser hohen Kosten,

ist das Preis-Leistungs-Verhältnis gut. Der Benutzer bekommt für sein Geld eine

gute Leistung mit einigen Zusatzfunktionen geliefert.

Punkte: 3

Selenium IDE

Der Selenium IDE ist ein Open-Source-Produkt, also für jeden Tester umsonst ver-

fügbar. Aus diesem Grund ist das Verhältnis von Preis und Leistung mit gut zu be-

werten. Es wird ein angemessenes Testtool bereitgestellt.

Punkte: 5

3.3 Installation

Voraussetzungen

RFT

In der folgenden Tabelle werden alle Voraussetzungen, die für die optimale Nutzung

des RFT nötig sind aufgelistet. Dabei sind sie wie im Kriterienkatalog beschrieben in

drei Bereiche aufgeteilt.

Tabelle 4: Voraussetzungen für den RFT

Betriebssystem: � Im 32-Bit-Modus: z.B. Windows 2003, Windows Vista, Windows

7,

Red Hat Enterprise Linux AS 4.0, SUSE Linux Enterprise Server

9.0, Ubuntu Desktop 8.0.4 LTS

�Linux-Systeme ohne Aufzeichnungsfunktion

� Im 64-Bit-Modus: z.B. Windows XP, Windows Vista, Windows

2003 Server, Windows 2008 Server, Windows 7

Hardware: � Intel(R) Pentium(R) 4 mit 1.5 GHz

� RAM min. 1 GB

� Bildschirm min. 256 Farben und 1024 x 768

Software: � Microsoft .NET Framework ab Version 1.1

� Microsoft Visual Studio .NET ab 2003 oder Eclipse-IDE ab 3.6

� IBM 32-Bit-SDK

� Java 2 Technology Version 6 oder Sun Java 2 Standard 6

22 Vgl. IBM GmbH (2012d).

Page 21: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1818

� Windows Server 2003: Citrix Presentation Manager 4 oder 4.5

� Windows Server 2008: Citrix XenApp 5.0

� IBM Rational Common License Server 8.1.1. oder 8.1.2.

Quelle: Vgl. IBM GmbH (2012a).

Alle Voraussetzungen sind von den meisten Firmen ohne größeren Aufwand zu er-

füllen.

Punkte : 4

Selenium IDE

Eine erfolgreiche Installation und spätere Ausführung des Selenium IDEs setzt fol-

gende Bedingungen voraus.

Tabelle 5: Voraussetzungen für den Selenium IDE

Betriebssystem: � Alle Betriebssysteme auf denen der entsprechende

Browser lauffähig ist

Hardware: � Je nach Browser bspw. Firefox :

� Prozessor min. 233 MHz

� RAM 64 MB

� freier Festplattenspeicher 52 MB

Software: � Browser: z.B. Firefox ab Version 2, IE ab Version 6, Sa-

fari ab Version 2 oder Opera ab Version 8

�Außer bei Firefox nur mit Selenium RC verwendbar

� Linux: bis zu 8 verschiedene Pakete/Bibliotheken

Quelle: Vgl. Mozilla Europe (2012) und SeleniumHQ (2012b) Seite 9.

Diese Bedingungen können leicht von dem Benutzer hergestellt werden bzw. sind in

vielen IT-Firmen schon vorhanden.

Punkte: 4

Download

RFT

Der Download der Dateien, um den RFT zu installieren, ist ein recht einfacher Vor-

gang. Die Homepage von IBM wirkt im ersten Moment unübersichtlich, aber eine

Suchfunktion erleichtert das Vorgehen. Um überhaupt ein Produkt herunterzuladen,

wird eine IBM-ID benötigt. Anschließend werden vier ZIP-Dateien aus dem Internet

geladen, die bei einer ausreichenden Internetverbindung schnell verfügbar sind.

Das heißt der Download ist leicht zu finden und dauert je nach Verbindung nicht all

zu lange. Umständlich ist es lediglich, dass die ZIP-Dateien noch extrahiert werden

müssen.

Punkte: 4

Page 22: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

1919

Selenium IDE

Die Navigation des Internetauftritts von Selenium ist übersichtlich und dadurch

kann der Download-Link schnell gefunden werden. Die Dauer des Herunterladens

beträgt nur wenige Sekunden, weil die Größe des Add-Ons Selenium IDE nur mini-

mal ist.

Punkte: 5

Aufwand

RFT

Der Aufwand der Installation ist stark von der Erfahrung des Benutzers abhängig.

Die Dauer die Voraussetzungen zu schaffen und das Produkt herunterzuladen hält

sich bei dem RFT in einem angemessen Rahmen. Nur der eigentliche Installations-

vorgang bewegt sich in einer Zeitspanne zwischen 30 und 90 Minuten. Je nachdem

wie gewissenhaft alle Texte gelesen werden. Der gesamte Dialog ist in Englisch und

die Anweisungen sind an einigen Stellen zu lang und ungenau. Mit einem Installati-

onshandbuch kommt der Benutzer aber gut zu recht. Die Gestaltung der Oberfläche

ist typisch für einen solchen Dialog und bietet eine übersichtliche Umgebung. Der

Schwierigkeitsgrad wird durch die Vorgabe von Standardwerten bei Benutzereinga-

be, der Verwendung von bekannten Symbolen und eine gewohnte Struktur herun-

tergesetzt.

Punkte: 3

Selenium IDE

Die Installation des Selenium IDEs dauert nur wenige Augenblicke und die Ver-

ständlichkeit ist ausgesprochen gut. Es werden nur wenige Abfragen vom Browser

gestellt, die in der Sprache des Benutzers vorliegen. Da dieser Vorgang im Prinzip

von alleine abgehandelt wird und die Installation mit wenigen Mausklicken abge-

schlossen ist, befindet sich der Schwierigkeitsgrad in einem hervorragenden Be-

reich.

Punkte: 5

Probleme

RFT

Bei der Installation des RFT sind mit Hilfe des Installationshandbuchs keine größe-

ren Probleme aufgetreten. Lediglich am Ende wurde nach einer weiteren Datei oder

einem Datenträger gefragt. Wenn nicht alle Dateien vor der Installation genau be-

trachtet wurden, fängt an dieser Stelle die große Suche an. Ansonsten lief die In-

stallation reibungslos ab.

Punkte: 3

Selenium IDE

Der Installationsgang von Selenium IDE weist keine Probleme auf.

Punkte: 5

Page 23: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2020

3.4 Testvorgang

Einarbeitungszeit

RFT

Die Einarbeitungszeit hängt stark von der Komplexität der Software und dem Erfah-

rungswert des Mitarbeiters ab. Die Funktionen, die der RFT mit sich bringt, sind

umfangreich. Allerdings erklären sich einige Handhabungen durch ihre Beschrei-

bungen und Symbole von ganz alleine. Außerdem wird von IBM eine umfassende

Dokumentation angeboten mit deren Hilfe die Einarbeitung leicht fällt. Der Zeitraum

sollte sich also nicht allzu sehr ausdehnen und in einem annehmbaren Bereich lie-

gen.

Punkte: 4

Selenium IDE

Bei dem Testtool Selenium IDE hält sich die Einarbeitungszeit zunächst in Grenzen.

Aber es ist zu beachten, dass es zwar eine Dokumentation von Selenium selbst

gibt, diese reicht jedoch nur für die Grundbegriffe. Um tiefer in das Programm ein-

zutauchen, wird mehr Zeit benötigt, denn der Benutzer muss z.B. auf Tutorien im

Internet zurückgreifen. Dieser Umstand und die Tatsache, dass die meisten Funkti-

onen nicht selbsterklärend sind, verlängert die Zeitspanne.

Punkte: 3

Handhabung

RFT

Die Funktionen zum Aufzeichnen und zum Wiedergeben eines Testskripts sind in

der Oberfläche des RFT leicht zu finden. Wird der Aufzeichnungsknopf betätigt, mi-

nimiert sich das Programm und es öffnet sich ein Dialogfenster, in dem einige Wer-

te angegeben werden können. Anschließend öffnet sich das Aufzeichnungsfenster.

In diesem stehen dem Benutzer weitere Funktionen zur Verfügung, wie z.B. die

Pause-Schaltfläche.

Abbildung 3: Aufzeichnungsfenster des RFTs

Quelle: Eigene Darstellung, Screenshot

Page 24: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2121

Alle Schaltflächen sind mit entsprechenden Tooltips versehen und eine Hilfefunktion

ist ebenso aus dem Aufzeichnungsfenster zu erreichen. Wird das Aufzeichnen been-

det, maximiert sich die Programmoberfläche mit den generierten Skripten. Bei

komplexeren Objekten oder Seitenstrukturen kann es zu Verzögerungen bei der

Aufzeichnung kommen.

Bei der Wiedergabefunktion werden alle Interaktionen aus dem Skript in der jewei-

ligen Anwendung wiederholt. Dabei öffnet sich zusätzlich ein Fenster in dem ange-

zeigt wird welcher Befehl gerade ausgeführt wird. Außerdem stehen in diesem eine

Stopp- und Pause-Funktion bereit.

Abbildung 4: Wiedergabefenster des RFTs

Quelle: Eigene Darstellung, Screenshot

Andere Fenster werden bei beiden Funktionen zunächst ignoriert. Allerdings können

diese bei der Wiedergabe im Bereich der Objekterkennung zu Fehlern führen. Dann

würde sich ein Dialogfenster öffnen, in dem der Benutzer eine Reihe von Aus-

wahlmöglichkeiten hat wie mit dem Fehler umgegangen werden soll. Der fehlerhaf-

te Schritt kann z.B. übersprungen werden. Dieser Auswahlmöglichkeiten können für

jedes Objekt ebenso vorher festgelegt werden, dann öffnet sich kein Fenster bei

einem Fehler. Trotz der kleinen Schwächen sind beide Funktionen gut zu bedienen.

Punkte: 4

Page 25: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2222

Abbildung 5: Dialogfenster des RFTs bei einem Fehler während der Wie-

dergabe

Quelle: Eigene Darstellung, Screenshot

Selenium IDE

Die Handhabung der Funktionen ist in Selenium IDE recht simpel. Zu den Schaltflä-

chen werden hilfreiche Tooltips auf Englisch angeboten. Bedient der Benutzer die

Aufzeichnungsfunktion, minimiert sich das Programmfenster und die Interaktionen

können durchgeführt werden. Soll die Aufzeichnung beendet werden, muss das

Programm wieder maximiert und der Record-Knopf erneut betätig werden.

Bei der Wiedergabefunktion stehen dem Benutzer zwei Optionen zur Verfügung. Er

kann eine komplette Testreihe abspielen oder nur einen einzelnen Testfall. Durch

einen Doppelklick kann ein Befehl allein ausgeführt werden. Außerdem kann die Ge-

schwindigkeit über einen Schieber geregelt werden. Bei diesem Testtool werden alle

anderen Fenster ignoriert und das Programm konzentriert sich auf den Browser. Bei

einem Fehler wird das Programm abgebrochen und eine Meldung ausgegeben. Dies

ist für die meisten Tester keine optimale Lösung, schließlich soll der Abbruch des

Testverfahrens möglichst vermieden werden.

Punkte: 3

Page 26: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2323

Endresultat

RFT

Als Endresultat der Aufzeichnungsfunktion entsteht ein sogenanntes Simplified

Script23 und aus diesem Skript wird ein Java-Quellcode generiert. Diese Skripte

enthalten alle vorher aufgezeichneten Interaktionen. Vor allem das Simplified Script

ist übersichtlich und klar dargestellt. Für einzelne Abschnitte werden Gruppen ge-

bildet. Für jede Gruppe steht ein Screenshot in der Storyboard-Ansicht bereit. Das

Resultat der Wiedergabe ist ein Protokoll über alle ausgeführten Kommandos, das

in einem eigenen Fenster geöffnet wird und unabhängig vom Testskript gespeichert

wird. Anhand dieses Ergebnisses kann ein Tester nun Erfolge und Fehler auslesen.

Die Qualität der beiden Resultate ist gut und der Tester kann mit diesen produktiv

weiterarbeiten.

Punkte: 5

Selenium IDE

Aus der Aufzeichnungsfunktion resultiert ein Testskript in der Sprache Selense, die

von Selenium selbst entwickelt wurde. Aus diesem Skript wird im Hintergrund ein

Quellcode in einer beliebigen Sprache angefertigt. Die Wiedergabe besitzt als Er-

gebnis ein Protokoll, welches in der Programmoberfläche integriert ist. Es ist etwas

unvorteilhaft gestaltet, aber bietet dem Programmierer eine Übersicht über seine

Erfolge und Fehler. Ein negativer Aspekt ist, dass es keine Möglichkeit gib diese

Resultate separat abzuspeichern.

Punkte: 3

Qualität

RFT

Die Qualität der Funktionen zum Aufzeichnen und Wiedergeben eines Testskripts ist

bei dem RFT gut. Da die Ansprüche des Benutzers an das Testtool mit kaum auffal-

lenden Mängeln erfüllt werden. Die Aufzeichnung funktioniert bei fast allen Anwen-

dungen reibungslos und bringt nützliche Faktoren mit sich. Die Wiedergabe findet in

einer Art Video statt. Dieses wird im Browser in einer schnellen Geschwindigkeit

und der normalen Bildschirmauflösung abgespielt. Die Geschwindigkeit könnte für

manche Tester zum Problem werden, allerdings ist es möglich Verzögerungen zu

programmieren.

Punkte: 4

23 Zur genaueren Begriffserklärung von „Simplified Script“ siehe Quelle: IBM GmbH (2011b).

Page 27: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2424

Selenium IDE

Bei dem Selenium IDE gibt es einige Ansprüche an die Aufzeichnungsfunktion wie

z.B. das Pausieren, die nicht erfüllt werden. Dafür hat die Wiedergabe eine positive

Eigenschaft, denn die Geschwindigkeit kann leicht verstellt werden. Dadurch kann

der Benutzer die Interaktionen, die in einer Art Video im Browser abgespielt wer-

den, besser nachvollziehen.

Punkte: 3

Objekterkennung

RFT

Der RFT erkennt Objekte wie z.B. Schaltflächen an ihren Eigenschaften. Es werden

Merkmale wie die Klasse eines Objekts auf ihre Werte geprüft. Beim Aufzeichnen

werden alle Objekte mit ihren Werten als Testobjekt in einer Übersicht abgelegt.

Abbildung 6: Testobjektübersicht des RFTs

Quelle: Eigene Darstellung, Screenshot

Bei der Wiedergabe werden anschließend automatisch die Eigenschaften der Objek-

te auf der Weboberfläche mit den Eigenschaften der einzelnen Testobjekte abgegli-

chen. Sobald das passende Objekt gefunden wurde, wird die Interaktion ausge-

führt. In den Benutzereinstellungen ist es möglich die Anzahl der übereinstimmen-

den Eigenschaften bei der Erkennung herunterzusetzen, sodass falls ein Objekt in

nur einem Merkmal verändert wurde, es trotzdem noch von dem RFT bei der Wie-

dergabe erkannt wird. Außerdem wird jedem Merkmal eine Wertigkeit mit gegeben.

In den meisten Fällen funktioniert diese Objekterkennung sehr gut, allerdings kann

es bei größeren Veränderungen zu Fehlern kommen.

Punkte: 4

Page 28: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2525

Selenium IDE

Die Testobjekte werden bei dem Selenium IDE über ein XML-Dokument der Inter-

netseite erkannt. Die Objekte werden über XML Path Language (XPath)24 abgefragt.

Der Benutzer kann nach dem Aufzeichnen aus einer Drop-Down-Liste entscheiden

über welchen Pfad welches Objekt festgehalten werden soll. In manchen Fällen ist

es auch möglich einen Link z.B. anhand seines Namens zu identifizieren.

Abbildung 7: Beispiel für eine Auswahl zur Objektfindung im Selenium IDE

Quelle: Eigene Darstellung, Screenshot

Durch diese Art der Erkennung kann jedes einzelne Testobjekt genau erfasst wer-

den. Allerdings gibt es keine Einstellung die Erkennungsschwelle herabzusetzen.

Um dies zu erreichen muss mit JavaScript-Funktionen gearbeitet werden, die in die

Spalte „Target“ eingetragen werden. Trotzdem kann es schnell zu Fehlern kommen,

wenn die aufgezeichneten Objekte im Nachhinein verändert werden.

Punkte: 4

Performance und Stabilität

RFT

Die Performance des RFT ist im Allgemeinen gut. Allerdings lässt sie bei einigen

Funktionen des Programms zu wünschen übrig. Bei der Aufzeichnungsfunktion kann

es z.B. zu leichten Verzögerungen kommen, wenn die zu testende Anwendung sehr

komplex ist. Die Stabilität des Programms ist gut, da es nur in sehr wenigen Fällen

zu einem langen Stocken oder einem Absturz kommt.

Punkte: 3

Selenium IDE

Das Tool Selenium IDE weist eine ausgesprochen gute Performance auf. Es kommt

bei keiner Funktion zu einem stockenden Verhalten oder zu einem Absturz des Pro-

gramms. Selenium IDE arbeitet einwandfrei.

Punkte: 5

24 Für mehr Informationen zu XPath siehe Quelle: W3C Recommendation (1999).

Page 29: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2626

3.5 Verschiedene Testverfahren

Funktionstest

RFT

Für die Durchführung eines Funktionstest ist der RFT sehr gut geeignet. Es kann mit

wenig Aufwand ein Testskript durch die Aufzeichnungsfunktion erstellt werden, wel-

ches die Funktionalität der Internetseite überprüft. Die konkrete Prüfung auf Daten-

ebene kann mit Prüfpunkten, If-Anweisungen oder anderen Methoden geschehen.

Bei der Wiedergabe des Skriptes werden dann die Parameter kontrolliert und in

einem Protokoll erhält der Tester alle Testresultate, die für ihn interessant sind. Die

Abwicklung eines solchen Tests weist eine hohe Qualität auf.

Punkte: 5

Selenium IDE

Mit dem Selenium IDE ist ein Funktionstest einfach auszuführen. Durch die Auf-

zeichnungsfunktion wird in kurzer Zeit ein Testskript erstellt. Die oberflächliche

Funktionalität kann bei der Wiedergabe geprüft werden. Eine Prüfung auf Daten-

ebene kann lediglich über eine selbsterstellte Methode in der User-Extension erfol-

gen. Das Endresultat ist eine Art Protokoll, welches in der Programmoberfläche an-

gezeigt wird. Die Qualität dieses Ergebnisses und des gesamten Funktionstests ist

trotz einiger Verbesserungsmöglichkeiten für die meisten Tester voll ausreichend.

Punkte: 3

Regressionstest

RFT

Der RFT ist für die Bedienung eines Regressionstest gut vertretbar, denn ein

Testskript kann beliebig oft wiedergegeben werden. Diese Eigenschaft ist wichtig

um einen Regressionstest in seiner vollen Breite auszuführen. Schließlich sollte das

Testskript nach jeder Änderung durchlaufen. Der zweite Grund weshalb dieses Test-

tool brauchbar ist stellt die flexible Objekterkennung dar. Nur sie macht es möglich

ein Objekt nach bspw. einer Umbenennung auf der Weboberfläche wiederzufinden.

Dadurch kann die Funktionalität weiter kontrolliert werden und es treten keine un-

nötigen Fehler wegen Abänderungen auf. Da in dem RFT an vielen Stellen mit regu-

lären Ausdrücken gearbeitet werden kann, spricht dies Flexibilität genauso für die

Verwendung bei Regressionstests. Zum Schluss entsteht ein ausführliches Protokoll

mit Erfolgs- und Fehlermeldungen. Das Endresultat zeugt genauso wie der Rest des

Verfahrens von einer sehr guten Beschaffenheit.

Punkte: 5

Page 30: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2727

Selenium IDE

Das Testtool Selenium IDE ist in der Lage einen Regressionstest durch zu führen.

Die wichtige Eigenschaft des Regressionstest, ein Testskript oft wiedergeben zu

können, ist vorhanden. Zusätzlich bietet das Werkzeug bei der Objekterkennung

durch die Verwendung von JavaScript eine ausreichende Flexibilität, sodass ein Ob-

jekt nach einer Umbenennung gefunden werden kann. Eine Umpositionierung könn-

te an dieser Stelle aber zu Problemen führen. Trotzdem zeugt die Ausführung an

sich von einer guten Qualität. Nur das Resultat des Testdurchlaufs mindert auch

bei diesem Test die Gesamtqualität.

Punkt: 4

Datengesteuerter Test

RFT

Ein datengesteuerter Test kann mit dem RFT gut umgesetzt werden. Schon bei der

Aufzeichnung können datengesteuerte Befehle eingebunden werden. Diese Befehle

können ebenfalls im Nachhinein über die Storyboard-Ansicht eingefügt werden. Für

jeden dieser Befehle wird eine neue Spalte im Testdatenpool angelegt. In diesem

Pool können Datensätze hinzugefügt sowie gleichzeitig bearbeitet werden. Das Er-

stellen und Bearbeiten eines Datenpools gelingt in wenigen Schritten. Zusätzlich

gibt es eine Einstellung, ob die Pools öffentlich oder privat sind. Die Öffentlichen

können von jedem Testskript aufgerufen werde. Bei der Wiedergabe eines datenge-

steuerten Tests gibt es die Option vorzugeben wie viele Datensätze durchlaufen

werden sollen. Danach wird für jeden Datensatz das komplette Testskript oder eine

Gruppierung von Befehlen ausgeführt. Am Ende entsteht das gewohnte Protokoll

mit dem Unterschied, dass die entsprechenden Angaben pro Datensatz enthalten

sind.

Punkte: 5

Selenium IDE

Die Abwicklung eines datengesteuerten Tests ist mit Selenium IDE möglich. Die

Testdaten werden in eine XML-Datei geschrieben. Anschließend muss eine Funktion

in der User-Extension verfasst werden, die diese Daten durchläuft und zurückgibt.

Diese Methode wird nun in das Testskript eingepflegt, sodass gewisse Objekte bei

jedem Durchlauf mit einem Datensatz gefüllt werden. Das Erstellen und Bearbeiten

der Testdaten kann bei einer größeren Anzahl durch die XML-Struktur unübersicht-

lich werden. Positiv ist, dass eine XML-Datei und ebenso die Methode zum Auslesen

für jedes beliebige Skript wiederverwendet werden können. Durch die erhöhte An-

zahl an Daten wird jedoch das Endergebnis sehr lang und bei der schlechten Struk-

tur kaum einsichtig.

Punkte: 3

Page 31: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2828

3.6 Quellcode

Darstellungsform

RFT

Der Quellcode vom Simplified Script wird sehr strukturiert und übersichtlich abge-

bildet. Die Befehle werden pro Unterseite der Webanwendung in Gruppen forma-

tiert. Zusätzlich hat jeder Befehl wie z.B. der Klick auf einen Button ein vorherge-

schaltetes Symbol, sodass der Benutzer auf Anhieb erkennt um was es sich han-

delt. Die Farben grenzen dabei die unterschiedlichen Codezeilen gut voneinander

ab. Der Java-Quellcode ist nach dem typischen Muster aufgebaut. Alle Einrückun-

gen, Farbgebung und Schrifttypen machen den Quellcode leicht erfassbar.

Punkte: 5

Selenium IDE

Das Testskript in der Sprache Selenese ist in Form einer übersichtlichen Tabelle

dargestellt. Jedoch sind die Befehle weder mit Farben noch mit anderen Stilen ver-

sehen worden, was sich ab einer gewissen Länge negativ auf die ansonsten klare

Struktur auswirkt. In der anderen Quellcode-Ansicht sind ebenfalls keine Hervorhe-

bungen. Allerdings ist dort die Struktur der jeweiligen Programmiersprache enthal-

ten. Wodurch die Anordnung der Befehle deutlich verbessert wird.

Punkte: 3

Programmiersprachen

RFT

Die Programmiersprachen kann der Benutzer im RFT nicht beeinflussen. Es sind

lediglich die Simplified Script-Sprache und Java vorhanden.

Punkte: 2

Selenium IDE

Im Selenium IDE wird für die erste Darstellung nur Selenese verwendet. In der

Zweiten stehen mehrere Sprachen bereit wie z.B. HTML oder Ruby. Der Benutzer

kann also seinen Ansprüchen entsprechend eine Programmiersprache auswählen.

Punkte: 5

Eigene Programmierung

RFT

Der Benutzer kann bei dem RFT seine eigenen Programmierkenntnisse mit einflie-

ßen lassen. Dazu muss er mit der rechten Maustaste einen sogenannten Java-Code-

Snippet oder eine Java-Methode in das Simplified Script einfügen. Darauf wird in

dem Java-Quellcode ein Platzhalter für die benutzerdefinierte Programmierung ein-

gebunden. Dieser Platzhalter kann nun durch Quellcode ersetzt werden.

Punkte: 5

Page 32: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

2929

Selenium IDE

Das Verwenden von benutzerdefinierter Programmierung ist im Selenium IDE über

die User-Extension ausführbar. Dort können Methoden entworfen werden, die an-

schließend wie ein normales Selenese Kommando durch die Drop-Down-Liste einge-

fügt werden können. Umständlich ist, dass bei diesem Vorgang immer zwischen

zwei Fenstern hin und her gesprungen werden muss und dass der Selenium IDE

nach jeder Änderung in der User-Extension neu gestartet werden muss.

Punkte: 4

3.7 Protokoll

Darstellungsform

RFT

Das Protokoll des RFT weist eine klare Struktur und einen relativ guten Überblick

auf. Für jede Kommandozeile werden Informationen wie z.B. die Zeilennummern

aus beiden Skripten abgelegt. Die Erfolgs- und Fehlermeldungen werden farblich

markiert und für eine schnelle Navigation sind Verlinkungen zu Störungen, War-

nungen oder Prüfpunkten enthalten. Die Beschreibungen jedoch sind für einen un-

geübten Tester schlecht zu verstehen. Erst nach einer gewissen Einarbeitungszeit

können Schlussfolgerungen daraus gezogen werden. Ist das Protokoll vom Typ

XML, wird eine Grafik über die Erfolge, Störungen, Warnungen und Nachrichten

angezeigt.

Punkte: 4

Abbildung 8: Protokoll des RFTs vom Typ XML25

Quelle: Eigener Entwurf, Screenshot

25 Größere Darstellung im Anhang 5.

Page 33: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3030

Selenium IDE

In dem Tool Selenium IDE wird eine Art Protokoll in dem Bereich Log angezeigt.

Dort erscheint pro ausgeführte Quellcodezeile eine Informationszeile. In dieser Zeile

steht dann ob der Befehl ausgeführt wurde oder ein Fehler aufgetreten ist. Die Be-

schreibungen sind in Englisch und leicht zu verstehen. Sie enthalten jedoch wenig

nützliche Informationen für den Programmierer. Die Struktur des Protokolls wird

mit der steigenden Zahl an Zeilen unübersichtlicher. Es gibt keine Verlinkungen zu

z.B. den Fehlermeldungen.

Punkte: 2

Abbildung 9: Fehleranzeige im Selenium IDE

Quelle: Eigene Darstellung, Screenshot

Veränderbarkeit

RFT

Der Benutzer kann verschiedene Einstellungen zu dem Protokoll vornehmen z.B. ob

für jede Aktion ein eigener Screenshot erstellt werden soll. Zusätzlich können über

den Java-Quellcode z.B. Kommentare oder Testresultate miteingebunden werden.

Während der Aufzeichnung können ebenfalls Kommentare eingefügt werden. Bei

dem Typ des Protokolls kann der Tester zwischen mehreren Optionen wählen.

Punkte: 4

Selenium IDE

Das Protokoll kann im Selenium IDE nur geringfügig von dem Benutzer beeinflusst

werden. Es kann nur ausgewählt werden ob Informationen, Debugger–Nachrichten,

Warnungen oder Fehlermeldungen angezeigt werden sollen.

Punkte: 1

Page 34: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3131

3.8 Darstellung der Oberfläche

Layout und Navigation

RFT

Das Layout ist für die Arbeitsweise mit dem RFT gut geeignet. Oben befinden sich

wie bei jedem Programm die Navigation und eine Schaltflächenleiste mit den wich-

tigsten Funktionen. Die Darstellung der Symbole in dieser Leiste ist gut gewählt, da

sie bspw. einen Wiedererkennungswert zu dem typischen Record- bzw. Play-Knopf

aufweisen.

Abbildung 10: Symbolleiste im RFT

Quelle: Eigene Darstellung, Screenshot

Am linken Rand der gesamten Oberfläche ist die Projektstruktur platziert, in der

Mitte der Skript-Bereich, rechts die Storyboard-Abbildungen. Im unteren Teil der

Oberfläche ist unter anderem die Konsole zu finden. Genau in der Reihenfolge der

Bereiche geht der Benutzer bei der Erstellung eines Testfalls vor. Erst ein Projekt

erstellen, dann den Quellcode bearbeiten, anschließend die Storyboard-Ansicht prü-

fen und zum Schluss die Ausgabe in der Konsole begutachten. Genauso zielgerich-

tet ist die Anordnung der Texte und Schaltflächen. Die Navigation ist nach dem ty-

pischen Muster für Entwicklertools aufgebaut und deshalb strukturiert. Außerdem

ist es hilfreich, dass die Umgebung an Eclipse angelehnt ist.

Punkte: 5

Selenium IDE

Das Layout und die Navigation der Oberfläche des Selenium IDE sind für den Be-

nutzer intuitiv zu verstehen. Die Navigation folgt dem typischen Beispiel für Soft-

wareprodukte und ist nur in wenige Ebenen verschachtelt. Direkt darunter liegt eine

Schaltflächenleiste für die wichtigsten Funktionen. Ungewöhnlich ist, dass die Auf-

zeichnungsfunktion ganz rechts in dieser Leiste gesetzt wurde. Gerade diese wichti-

ge Funktion erwartet jeder Benutzer auf der linken Seite. Die Darstellung der

Schaltflächen erinnert an die typischen Record- und Play-Symbole.

Abbildung 11: Symbolleiste des Selenium IDEs

Quelle: Eigene Darstellung, Screenshot

Page 35: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3232

Die Bereiche der Oberfläche sind nach der Arbeitsweise des Nutzers platziert. Im

linken Drittel befinden sich die Testfälle und im anderen Teil ist der Quellcode zu

finden. Die Konsole sowie weitere Funktionen sind im unteren Bereich angebracht.

Punkte: 4

Schrift

RFT

Die Schrift des RFT entspricht den geforderten Bedürfnissen. Sie ist serifenlos und

gut leserlich. Die Schriftgröße ist ebenso angemessen wie der gesamte Schriftstil.

Punkte: 5

Selenium IDE

In der Oberfläche des Selenium IDE ist die Schrift gut gewählt. Sie erfüllt die Vo-

raussetzungen keine Serifen zu enthalten, eine ausreichende Schriftgröße und ei-

nen geeigneten Stil zu besitzen.

Punkte: 5

Farbgebung

RFT

Die Farben für die Oberfläche sind sehr schlicht gewählt. Die meisten Bereiche sind

in einem Grauton gehalten. Die ausgewählten Bereiche werden mit einem Blauton

hervorgehoben. Diese Mischung lässt die gesamte Oberfläche neutral wirken. Die

Symbole werden je nach ihrer Funktion farblich betont. Die Wiedergabeschaltflä-

chen z.B. weisen einen grünen Aspekt auf. Die Blickführung wird durch die farbliche

Betonung unterstützt, denn die rote Schaltfläche für die Aufzeichnung fällt als ers-

tes ins Auge. Genau diese Funktion ist die Erste, um einen Test zu erstellen. Als

nächstes arbeitet der Benutzer mit dem Simplified Script, das durch seinen starken

Akzent in der Mitte der Seite betont wird. Die Arbeitsweise des Benutzers wird also

weiter miteinbezogen.

Punkte: 5

Selenium IDE

Die Oberfläche des Selenium IDE ist genau wie viele Softwareprodukte in den Farb-

tönen Grau und Blau belassen. Durch die Farben wirkt die gesamte Oberfläche aus-

geglichen und leitet zur Arbeit an. Die wichtigen Schaltflächen heben sich in einer

Farbe hervor. Die Aufzeichnungsfunktion bspw. ist wie ein typischer Record-Knopf

rot eingefärbt. Zusätzlich werden die erfolgreichen und die fehlerhaften Durchläufe

unterhalb der Testreihe mitgezählt und mit den Farben Rot und Grün markiert. Ein

Balken in der entsprechenden Farbe zeigt wie der letzte Durchlauf ausgegangen ist.

Der Quelltext wird farblich gekennzeichnet, wenn der Benutzer den Test wiedergibt.

Falls ein Fehler auftritt wird diese Zeile rot hinterlegt. Diese farblichen Akzente füh-

ren den Benutzer in seiner Arbeitsweise.

Punkte: 4

Page 36: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3333

Sprache

RFT

Bei der Installation des RFT können mehrere Sprachen ausgewählt werden. Über

den Installation Manager kann die Sprache nachträglich verändert werden. Zur Ver-

fügung stehen insgesamt zehn Sprachen unter anderem Englisch oder Deutsch. Der

Sprachstil ist sowohl für Einsteiger als auch für erfahrene Programmierer angemes-

sen.

Punkte: 5

Selenium IDE

Das Testtool ist nur in Englisch erhältlich, allerdings werden manche Texte in der

Navigation von dem Browser übersetzt. Da die Übersetzungen jedoch nur spärlich

sind, könnte es manchem Einsteiger schwerfallen die englischen Begriffe zu verste-

hen. Für einen geübten Programmierer stellt die englische Sprache keine Barriere

dar und die Beschreibungen sind in einem geeigneten Sprachstil verfasst.

Punkt: 2

Einstellungsmöglichkeiten

RFT

Die Oberfläche des RFT kann in vielerlei Hinsicht von dem Benutzer beeinflusst

werden. Die Schriften und Farben können in der gesamten Oberfläche nach Belie-

ben abgewandelt werden. Es können bspw. die Schriftarten und Hintergrundfarben

für ausgewählte Reiter verändert werden. Die Fenster in der Oberfläche können

ebenso frei positioniert werden. Diese Eigenschaften bietet dem Benutzer eine hohe

Flexibilität seinen Arbeitsbereich nach seinen Bedürfnissen zu gestalten.

Punkte: 5

Selenium IDE

Bei dem Selenium IDE kann der Benutzer die Oberfläche nur verändern, indem er

die Größen der Bereiche anpassen kann. Außerdem können die einzelnen Bereiche

ein- oder ausgeklappt werden.

Punkte: 2

3.9 Extras

Prüfpunkte

RFT

Prüfpunkte können im RFT bereits während der Aufzeichnung oder im Nachhinein in

ein bestehendes Testskript etabliert werden. Die Prüfpunkte lassen sich simpel mit

Hilfe eines Dialogs erstellen. Dabei gibt es die einfache Variante ein Symbol auf das

zu prüfende Objekt zu bewegen. Es wird unterschieden zwischen einer Prüfung auf

Eigenschaften oder auf Daten eines Objekts. Anschließend kann bestimmt werden

ob z.B. auf einen festen Wert oder einen regulären Ausdruck geprüft wird. Die Prü-

fung erfolgt bei jeder Wiedergabe vollautomatisch. Die Ergebnisse sind anschlie-

Page 37: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3434

ßend in einem Protokoll zu finden. Dort ist zusätzlich ein Link zu dem Prüfpunktedi-

tor verfügbar, um sich die Daten der Überprüfung und die Eigenschaften des Prüf-

punkts genauer zu betrachten.

Punkte: 5

Selenium IDE

Bei dem Selenium IDE sind Prüfpunkte nicht gegeben. Es besteht die Möglichkeit

eine Methode zur Prüfung in die User-Extension des Programms einzubinden. Aus

dieser User-Extension können Methoden genau wie vorliegende Kommandos aus-

gewählt werden. Mit Hilfe von solch einer Methode könnte eine Überprüfung statt-

finden. Allerdings ist dieses Verfahren sehr viel zeitaufwendiger und der Program-

mierer sollte ausreichend Fachwissen mitbringen.

Punkte: 2

Verzögerungen

RFT

Durch verschiedene Vorgehensweisen können Verzögerungen in Testskript einge-

fügt werden. Als erstes während der Aufzeichnungsfunktion, dies geschieht über

eine Schaltfläche in dem Aufzeichnungsfenster. Als zweites kann jedem Befehl in

dem Simpified Script eine Verzögerung in den Eigenschaften mit gegeben werden.

Die Dauer der Inaktivierung wird durch eine Anzahl an Sekunden vorgegeben.

Überdies kann eine Verzögerung in ein bereits bestehendes Skript etabliert werden.

Außerdem gibt es eine Benutzereinstellung für kleine Unterbrechungen zwischen

den einzelnen Befehlen, sodass das gesamte Skript langsamer wiedergegeben wird.

Punkte: 5

Selenium IDE

Verzögerungen lassen sich in den Skripten des Selenium IDE einbinden. Aber dazu

muss wieder eine Methode in die User-Extension geschrieben werden, da keine

Funktion für diesen Zweck bereitgestellt wurde. Diese Vorgehensweise ist wieder

mit mehr Aufwand verbunden und erfordert Programmierkenntnisse.

Punkte: 2

Import und Export

RFT

Im RFT können Testskripts, Protokolle sowie Testdatenpools ganz nach Belieben

importiert und exportiert werde. Dabei ist darauf zu achten, dass die Dateien zum

Import dem richtigen Format und Datentyp entsprechen ansonsten ist ein Import

nicht möglich.

Punkte: 4

Page 38: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3535

Selenium IDE

Die Importfunktion steht im Selenium IDE nicht zur Verfügung, dafür weist die Ex-

portfunktion, die ausschließlich für Skripte ausgelegt ist, eine zusätzliche Eigen-

schaft auf. Die Testskripts oder die gesamte Testreihe können in verschiedenen

Programmiersprachen exportiert werden.

Punkte: 2

Hilfen

RFT

Unter der Hilfefunktion des RFT finden sich viele nützliche Punkte. Die Willkommen-

Seite bietet einen guten Überblick über das Angebot, das von grundlegenden In-

formationen über Beispielprogramme bis hin zu Webressourcen reicht. Der Benut-

zer kann sich bspw. an die Online-Hilfe wenden oder eine Dokumentation durch-

blättern. In dieser Dokumentation werden die Bedürfnisse eines Einsteigers sowie

die eines Fortgeschrittenen gleichwertig erfüllt. Das Arbeiten im Offline-Modus wird

an dieser Stelle lediglich durch eine Druck-Option unterstützt. Falls eine weitere

nicht digitale Hilfe gewünscht ist, steht ein Buch von der IBM bereit. Alle schriftli-

chen Formen der Hilfe sind ausreichend gut strukturiert und besitzen eine Such-

funktion. Des Weiteren bietet das Unternehmen IBM unter anderem eine Hotline an,

über die zu jeder Zeit Fachpersonal zu erreichen ist. Es werden sogar kostenpflich-

tige Kurse für den RFT von IBM angeboten, um dem Kunden die optimale Nutzung

des Tools zu gewährleisten.

Punkte: 5

Selenium IDE

Die Entwickler von Selenium haben auf ihrer Internetseite eine Hilfe veröffentlicht,

die allerdings für Fortgeschrittene zu wenige Informationen enthält. Die Hilfe Funk-

tion im Tool bietet lediglich Informationen zu dem Thema UI-Elemente. Zum Erler-

nen von Selenium IDE ist es nützlich sich im Internet um zuschauen, denn dort sind

einige, oft englischsprachige Tutorien von erfahrenen Nutzern zu finden. Anweisun-

gen zu tiefergehenden Funktionen sind allerdings nur schwer zu finden, denn von

Selenium wird kein Fachpersonal geboten. Die Hilfe von erfahrenen Benutzern kann

z.B.in einem Forum gefunden werden. Andere Firmen bieten außerdem Kurse zu

dem Thema Selenium IDE an. Sucht der Benutzer nach einer nicht digitalen Hilfe

wird er bspw. ein Buch des Verlags Open Source Press entdecken.

Punkte: 3

Page 39: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3636

4 Resumee

Die Auswahl des richtigen Testwerkzeugs ist für die weiterführende Arbeit in einem

IT-Unternehmen entscheidend. Aus diesem Grund wurde im Vorfeld dieser Beurtei-

lung eine ausführliche Analyse auf die verschiedensten Kriterien vollzogen. Ange-

fangen hat die Analyse vor der eigentlichen Arbeit mit dem Testtool nämlich mit

allgemeinen Aspekten der Software wie bspw. dem Support. Weiterhin wurde der

Vorgang der Installation untersucht. Zum Schluss wurde die Ausführung des Test-

werkzeugs einschließlich der Eingliederung in den alltäglichen Arbeitsablauf eines

Programmierers geprüft. Durch diese Forschung wurden Vor- und Nachteile des

jeweiligen Testtools heraus kristallisiert. Diese Vor- und Nachteile werden durch die

Anzahl der Punkte in Verbindung mit der Gewichtung der Kriterien gefestigt. Im

Laufe der Analyse entstand so eine Tabelle mit den entsprechenden Werten, die am

Ende eine Gesamtpunktzahl liefern.26

Das Testtool Selenium IDE bietet einige Vorteile wie z.B. die Tatsache, dass es eine

Open-Source-Software ist und umsonst im Internet zur Verfügung steht. In man-

chen Kriterien schnitt der Selenium IDE besser ab als der RFT. Die komplette In-

stallation war z.B. mit wesentlich weniger Aufwand verbunden und in dem Punkt

Performance und Stabilität liegt der Selenium IDE ebenso vorn. Allerdings ist dieses

Werkzeug an anderen Stellen sehr schlecht zu beurteilen, denn z.B. bei der Garan-

tie wurden gar keine Punkte vergeben. Das ist einer der großen Nachteile an dem

Open-Source Produkt.

Der RFT von IBM führt in 22 von 33 Kriterien bei der Analyse. Trotz seines Preises

kann er durch viele Funktionen und zusätzliche Extras überzeugen. Gerade diese

Funktionen sind häufig leicht zu verwenden und selbsterklärend, daher benötigen

sie keine außerplanmäßige Einarbeitungszeit. Die positiven Bereiche der Handha-

bung und der verschiedenen Testverfahren überlagern schnell die aufwendige In-

stallation. Die Tatsache, dass eine Installation in der Regel nur einmal durchgeführt

wird und die Verfahren und die Handhabung im täglichen Umgang mit dem Test-

werkzeug in Aktion sind, hebt diesen Vorteil ergänzend hervor. Des Weiteren bietet

der RFT in den allgemeinen Produkteigenschaften viele positive Punkte. Der Kunde

wird bei dem Kauf des RFT in jedem Fall gut abgesichert und kann davon ausgehen,

dass sich um Fehler in der Software und um spezifische Fragen gekümmert wird.

Denn der Hersteller IBM weist eine hohe Qualität an Kundenservice auf, wie z.B.

der Support oder anderen Hilfestellungen im Umgang mit dem RFT demonstrieren.

26 Siehe Seite 43 Tabelle 7 und das dazugehörige Balkendiagramm im Anhang 6.

Page 40: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

37 37

Rational Functional

Tester Selenium IDE

Kriterium Gewichtung(G) Punkte(RP) RP*G Punkte(SP) SP*G

Produkt

Release 100 5 500 5 500

Erweiterbarkeit 75 4 300 4 300

Support 100 5 500 3 300

Wartung 75 4 300 2 150

Garantie 75 4 300 0 0

Preis 75 3 225 5 375

Installation

Voraussetzungen 75 4 300 4 300

Download 25 4 100 5 125

Aufwand 50 3 150 5 250

Probleme 75 3 225 5 375

Testvorgang

Einarbeitungszeit 100 4 400 3 300

Handhabung 100 4 400 3 300

Endresultat 75 5 375 3 225

Qualität 75 4 300 3 225

Objekterkennung 75 4 300 4 300

Performance & Stabili-

tät 100 3 300 5 500

Verschiedene Tests

Funktionstest 100 5 500 3 300

Regressionstest 100 5 500 4 400

Datengesteuerter Test 100 5 500 3 300

Quellcode

Darstellung 75 5 375 3 225

Programmiersprachen 50 2 100 5 250

Eigene Programmie-

rung 100 5 500 4 400

Protokoll

Darstellungsform 75 4 300 2 150

Veränderbarkeit 50 4 200 1 50

Darstellung der Oberfläche

Layout und Navigation 75 5 375 4 300

Schrift 25 5 125 5 125

Page 41: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

38 38

Tabelle 6: Kriterien für Testtools mit Gewichtung und Punkten

Quelle: Eigener Entwurf

Anhang

Anhangverzeichnis

Anhang 1: Zitat von Dirk Moosbach zur Begriffserklärung der natürlichen Sprache 38

Anhang 6: Balkendiagramm zu den einzelnen Kriterien mit Punkten und Gewichtung

.......................................................................................................... 39

Anhang 1: Zitat von Dirk Moosbach zur Begriffserklärung der natürlichen

Sprache

Farben 25 5 125 4 100

Sprache 25 5 125 2 50

Benutzereinstellungen 50 5 250 2 100

Extras

Prüfpunkte 75 5 375 2 150

Verzögerungen 25 5 125 2 50

Export und Import 50 4 200 2 100

Hilfen 100 5 500 3 300

Gesamtpunktzahl: 10.150 7.875

„Linguistik: alle Sprachen, die als Muttersprachen jemals gelernt wurden, gleich, ob diese

Sprachen schon ausgestorben sind oder noch verwendet werden.[…]“

Page 42: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

3939

Quelle: Moosbach, Dirk (o.J. [ca. 2011])

Anhang 2: Balkendiagramm zu den einzelnen Kriterien mit Punkten und

Gewichtung

Quelle: Eigener Entwurf

8� 988� :88� ;88� <88� =88� >88�

(%�-!*���"��)��

�(0��*�(��(!��*��-''%(*�

��(*-$����(�$+��

(��)�$)*�""�+%$�

�%(�-))�*3-$��$��%0$"%���

�-�0�$�� (%�"�#��

��)*/%(��$����$�(���*-$�)3��*�

��$����-$���$�(�)-"*�*�

�-�"�*�*��� �!*�(!�$$-$��

�(�%(#�$���6��*���"�*�*���()������$����)*)�

�-$!+%$)*�)*����(�))�%$)*�)*�

��*�$��)*�-�(*�(���)*��-�""�%���

��()*�""-$�� (%�(�##��()'(����$�

����$�� (%�(�##��(-$�� (%*%!%""�

��()*�""-$�)�%(#���(�$��(��(!��*�

��()*�""-$����(����(�������2%-*�-$����/���+%$�

���(�����(��$�

�'(�������$-*3�(��$)*�""-$��$�

�1*(�)� (.�'-$!*��

��(3&��(-$��$��1'%(*�-$��#'%(*�

��"��$�

Punkte*Gewichtung

Krit

erie

n

����

��"�$�-#�

Page 43: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

4040

Quellenverzeichnis

a) Schriftliche Quellen

Franz, Klaus (2007), Handbuch zum Testen von Web-Applikationen, Berlin,

Springer Verlag, 2007

b) Online-Publikationen

Aberdour, Mark (2012), Open Source Testing: Functional Test Tools,

URL http://www.opensourcetesting.org/

functional.php,

Stand 27.01.2012

Comet Computer GmbH (o.J.[ca.2012]), Online-Hilfen und Online-Dokumentationen,

URL http://www.comet.de/technische_redaktion/

onlinedoku.php,

Stand 23.02.2012

Gabler Verlag(2012a), Definition von Garantie,

URL http://wirtschaftslexikon.gabler.de/Archiv/

4372/garantie-v9.html,

Stand 24.02.2012

Gabler Verlag (2012b), Definition des Preis-Leistungs-Verhältnis,

URL http://wirtschaftslexikon.gabler.de/Archiv/

14261/preis-leistungs-verhaeltnis-v5.html,

Stand 24.02.2012

Gall, Harald (2006), Software Wartung und Evolution,

URL http://seal.ifi.uzh.ch/fileadmin/

User_Filemount/Vorlesungs_Folien/Evolution/

SS06/SWEvol-1.pdf,

Stand 24.02.2012

heise online (2011), Bewertung des Testtools Selenium,

URL http://www.heise.de/software/download/

o0g0s1l5k114?f=135ws&T=Selenium,

Stand 26.01.2012

Hemetsberger, Paul (2012), Übersetzung des Wortes „Release“,

URL http://www.dict.cc/?s=release,

Stand 24.02.2012

IBM GmbH (2011a), Datengesteuerter Test,

URL http://publib.boulder.ibm.com/infocenter/

rfthelp/v8r2/index.jsp,

Stand 22.02.2012

IBM GmbH (2011b), Simplified Script,

URL http://publib.boulder.ibm.com/infocenter/

rfthelp/v8r2/index.jsp,

Stand 20.02.2012

Page 44: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

4141

rfthelp/v8r2/index.jsp,

Stand 20.02.2012

IBM GmbH (2012a), Rational Functional Tester Systemvoraussetzungen,

URL http://www-01.ibm.com/software/awdtools/

tester/functional/sysreq/?S_CMP=rnav,

Stand 27.02.2012

IBM GmbH (2012b), Rational Functional Tester Versionen,

URL http://www-01.ibm.com/support/

docview.wss?uid=swg27024014,

Stand 02.03.2012

IBM GmbH (2012c), Support und Softwareunterstützung von IBM,

URL http://www-01.ibm.com/software/lotus/

passportadvantage/

software_subscription_support_ov.html,

Stand 05.03.2012

IBM GmbH (2012d), Rational Functional Tester allgemeine Informationen,

URL http://www-142.ibm.com/software/products/

de/de/functional,

Stand 05.03.2012

Matthews, Kevin (2011), Top 10 IT Companies in the World 2011,

URL http://www.top10topten.com/

top-10-it-companies-in-the-world-2011.html,

Stand 16.02.2012

Moosbach, Dirk (o.J. [ca. 2011]), Wortbedeutung „natürliche Sprache“,

URL http://www.wortbedeutung.info/

nat%C3%BCrliche_Sprache/,

Stand 20.02.2012

Mozilla Europe (2012), Systemanforderungen für den Firefox,

URL http://www.mozilla-europe.org/de/firefox/

system-requirements/,

Stand 27.02.2012

Neth, Stefan (o.J. [nach 2008]), XPages in Domino 8.5 und Notes 8.5.1,

URL http://www.admincamp.de/konferenz/

ac2009.nsf/bc36cf8d512621e0c1256f870073e627/

45027c0d89117930c12574fe005069f7/$FILE/

T4S4-XPages.pdf,

Stand 23.01.2012

Neulinger, Robert und Rajovic, Dean (2003), Die Automatisierung von funktionalen Tests,

URL http://www.emos.de/emos/cmsportal.nsf/

%28ynDK_FileContainerByKey%29/

SPLL6Z9CDE/$FILE/das%20code%20problem.pdf?Open

,

Stand 02.02.2012

Page 45: Automatische Testtools f r Web-Anwendungen im Vergleich · Automatische Testtools f r Web-Anwendungen im Vergleich IBM Rational Functional Tester vs. Selenium IDE Gegen berstellung,

4242

Schindler, Dominik (2005), Regressionstesten,

URL http://www.wummy.org/downloads/

regressionstestvortrag.pdf,

Stand 25.01.2012

SeleniumHQ (2012a), Selenium History,

URL http://seleniumhq.org/about/history.html,

Stand 21.02.2012

SeleniumHQ (2012b), Selenium Documentation,

URL http://seleniumhq.org/docs/book/

Selenium_Documentation.pdf,

Stand 27.02.2012

SeleniumHQ (2012c), Selenium Downloads,

URL http://seleniumhq.org/download/,

Stand 02.03.2012

Tomaske GbR (o.J. [ca.2012]), XPages,

URL http://www.xpages-support.de/index.html,

Stand 25.01.2012

W3C Recommendation (1999), XML Path Language (XPath),

URL http://www.w3.org/TR/xpath/

#section-Introduction,

Stand 29.02.2012

Young Aspirations (2011), Software Companies Ranking 2011,

URL http://www.risedream.com/blog/2011/05/10/

top-10-software-companies-ranking-2011/,

Stand 16.02.2012