Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
Automatische Testtools für Web-Anwendungen im VergleichIBM Rational Functional Tester vs. Selenium IDE
Gegenüberstellung, Analyse, Empfehlung
Verfasser: Anna Danisch, acceptIT GmbH, Juni 2012
acceptIT Whitepaper
Inhaltsverzeichnis
Abbildungsverzeichnis ................................................................................... II
Tabellenverzeichnis ....................................................................................... II
Abkürzungsverzeichnis .................................................................................. II
1 Grundlagen ............................................................................................ 1
1.1 Allgemeine Arbeitsweise von Testtools für Webanwendungen .............. 1
1.2 Begründung der Toolauswahl ........................................................... 2
1.3 Testumgebung .............................................................................. 3
2 Kriteriums Katalog ................................................................................... 3
2.1 Produkt ........................................................................................ 3
2.2 Installation ................................................................................... 4
2.3 Testvorgang .................................................................................. 6
2.4 Verschiedene Testverfahren ............................................................ 8
2.5 Quellcode ..................................................................................... 9
2.6 Protokoll ..................................................................................... 10
2.7 Darstellung der Oberfläche ............................................................ 10
2.8 Extras ........................................................................................ 12
2.9 Gewichtung ................................................................................. 13
3 Analyse der Kriterien ............................................................................. 15
3.1 Punktevergabe ............................................................................ 15
3.2 Produkt ...................................................................................... 15
3.3 Installation ................................................................................. 17
3.4 Testvorgang ................................................................................ 20
3.5 Verschiedene Testverfahren .......................................................... 26
3.6 Quellcode ................................................................................... 28
3.7 Protokoll ..................................................................................... 29
3.8 Darstellung der Oberfläche ............................................................ 31
3.9 Extras ........................................................................................ 33
4 Empfehlung .......................................................................................... 36
Anhang ...................................................................................................... 38
Quellenverzeichnis ....................................................................................... 40
Abbildungsverzeichnis
Abbildung 1: Vergleich normaler Test und datengesteuerter Test ......................... 1
Abbildung 2: Typisches Ordnersymbol .............................................................. 6
Abbildung 3: Aufzeichnungsfenster des RFTs ................................................... 20
Abbildung 4: Wiedergabefenster des RFTs ....................................................... 21
Abbildung 5: Dialogfenster des RFTs bei einem Fehler während der Wiedergabe ... 22
Abbildung 6: Testobjektübersicht des RFTs ..................................................... 24
Abbildung 7: Beispiel für eine Auswahl zur Objektfindung im Selenium IDE ......... 25
Abbildung 8: Protokoll des RFTs vom Typ XML ................................................. 29
Abbildung 9: Fehleranzeige im Selenium IDE ................................................... 30
Abbildung 10: Symbolleiste im RFT ................................................................ 31
Abbildung 11: Symbolleiste des Selenium IDEs ................................................ 31
Tabellenverzeichnis
Tabelle 1: Gewichtungen und ihre Bedeutung .................................................. 13
Tabelle 2: Kriterien mit Gewichtung und Begründung ....................................... 14
Tabelle 3: Punkte und ihre Bedeutung ............................................................ 15
Tabelle 4: Voraussetzungen für den RFT ......................................................... 17
Tabelle 5: Voraussetzungen für den Selenium IDE ........................................... 18
Tabelle 6: Kriterien für Testtools mit Gewichtung und Punkten ........................... 37
Abkürzungsverzeichnis
CSS Cascading Style Sheets
GUI Graphical User Interface
IDE Integrated Development Environment
IE Internet Explorer
IT Informationstechnik
RAM Random Access Memory (Arbeitsspeicher)
RC Remote Control
RFT Rational Functional Tester
XPath XML Path Language
11
1 Grundlagen
1.1 Allgemeine Arbeitsweise von Testtools für Webanwendungen
Testtools werden vom Benutzer zu den unterschiedlichsten Arten von Tests genutzt.
Die vier häufigsten Testvorgänge werden an dieser Stelle kurz definiert.
� Funktionstests: Bei einem Funktionstest werden die Weboberfläche und
die Hintergrundprogrammierung auf ihre Funktionalität geprüft.
� Regressionstests: Unter einem Regressionstest wird eine Wiederholung
von bereits durchgeführten Tests dargelegt. Dies geschieht um einen Fehler
komplett auszuschließen und sicher zu gehen, dass eine Änderung z.B. im
Programmcode kein neues Fehlverhalten der Anwendung verursacht.1
� Graphical User Interface (GUI)- Tests: In diesem Testfall wird die GUI
auf seine Einzelheiten überprüft. Dies entspricht in erste Linie der äußeren
Erscheinung aller Elemente. Zum Teil wird auch wie im Funktionstest auf die
Arbeitsweise der Oberfläche geachtet.
� datengesteuerte Tests: Die datengesteuerten Tests basieren vor allem
darauf, dass die Testdaten und der Testcode explizit voneinander getrennt
werden. Dadurch können viele Daten mit demselben Code ausgeführt wer-
den. So entsteht eine realistische Testumgebung.2
Abbildung 1:
Vergleich normaler Test und datengesteuerter Test
Quelle: Vgl. IBM GmbH (2011a)
1Vgl. Franz, Klaus (2007) Seite 208 und Schindler, Dominik (2005) Seite 3. 2 Vgl. Neulinger, Robert und Rajovic, Dean (2003) Seite 26.
22
Diese Tests sollen Abläufe in einem Unternehmen optimieren, indem der Aufwand
Anwendungen zu testen und Fehler aufzudecken von einem Tool übernommen wird.
Des Weiteren dient ein solches Testtool zur Qualitätssicherung der erstellten Soft-
ware. Die Tools, die für das Testen von Webanwendungen ausgelegt sind, haben
meistens eine Aufzeichnungsfunktion. Diese Funktion hält alle Interaktionen, die
der Benutzer auf der Weboberfläche ausübt, fest. Die entstandene Aufzeichnung
wird in Form eines einfachen Protokolls mit Befehlen wie „Click on Button“ fixiert.
Diese Kommandos sind in einer „natürlichen Sprache“3 geschrieben, sodass sie für
jede Person verständlich sind. Aus dem Protokoll wird voll automatisch ein komplet-
ter Quellcode in einer ausgewählten Programmiersprache generiert. Bei den meis-
ten Testtools sind beide Darstellungsformen direkt neben einander abrufbar.
Darüber hinaus arbeiten die Testtools mit einer Wiedergabefunktion. Dabei werden
die Interaktionen erneut im Browser abgehandelt. Anschließend entsteht ein End-
protokoll mit den Testergebnissen.
Durch diese Funktionen der Tools können die ersten drei Tests ohne große Proble-
me abgehandelt werden. Wobei zu beachten wäre, dass es sich um Blackbox-Tests
handelt. Das heißt es wird nur auf die Eingabe- und Ausgabewerte geprüft und
nicht auf den Quellcode. Um den datengesteuerten Test ausführen zu können, be-
steht häufig die Möglichkeit ganze Testdatenpools anzulegen. Damit wären alle vier
Testverfahren bereits mit der allgemeinen Arbeitsweise eines solchen Tools absol-
viert. Die meisten Testtools besitzen
noch einige Extras, die das Testen erleichtern und auf die im späteren Verlauf ein-
gegangen wird.
1.2 Begründung der Toolauswahl
Das Tool RFT4 entspringt der Reihe „Rational Software“, die wiederum Bestandteil
der IBM ist. Die Firma IBM ist ein großer Hersteller in dem kompletten Bereich IT
und befand sich im Jahr 2011 in der Softwareentwicklung auf einem der ersten
Plätze.5 Die Produkte von diesem Hersteller haben sich über Jahre bewährt und
weisen ein hohes Qualitätsstandrad auf. Aus diesen Gründen und weil die IBM ein
großer Partner der acceptIT GmbH ist, wurde der RFT ausgewählt.6
Das zweite Tool Selenium stammt aus dem Open-Source-Bereich. Es wurde von der
Firma ThoughtWorks entwickelt. Aus dem Paket Selenium wird in dieser Praxisar-
beit nur der Selenium IDE7 untersucht, da dies die Komponente zum Testen von
3 Zur genaueren Begriffserklärung siehe Anhang 2. 4 Ein Screenshot der Programmoberfläche des RFTs befindet sich im Anhang 3. 5 Vgl. Matthews, Kevin (2011) und Young Aspirations (2011). 6 Vgl. acceptIT GmbH (2012c). 7 Eine Abbildung des Selenium IDEs liegt im Anhang 4 vor.
33
Webapplikationen ist. Dabei handelt es sich um ein reines Add-on für einen
Webbrowser. Das Programm kam in die Vorauswahl, da dieses Produkt bei den Tes-
tern für Webanwendungen äußerst beliebt ist. Zusätzlich ist es im Ranking der der-
zeitigen Open-Source-Testtools im oberen Bereich der Auswertungen zu finden.8
1.3 Testumgebung
Die vorliegenden Testtools wurden in einer Testumgebung mit folgenden Daten auf
die Probe gestellt.
Betriebssystem: Windows 7 Professional
Systemtyp: 64 Bit-System
Prozessor: Intel(R) Core (TM)2 Duo CPU T9550 2,67 GHz
Arbeitsspeicher: 4 GB
Browser: Firefox, Internet Explorer (IE)
2 Kriteriums Katalog
2.1 Produkt
Release
Das Wort „Release“ bedeutet übersetzt „Version“.9 Da der englische Begriff in der
IT-Welt etabliert ist, wird er hier verwendet. In der heutigen Zeit ist der Punkt Re-
lease wichtig, denn jede Firma muss auf dem neusten Stand sein. Deshalb ist es
entscheidend festzustellen wie oft ein Produkt weiterentwickelt wird. Falls ein Pro-
dukt in den letzten Jahren keine weiteren Releases aufweist, sollte geprüft werden
ob die Software entweder ausgereift ist oder ob sie nicht weit verbreitet ist und
deswegen die Weiterentwicklung abgebrochen wurde.
Erweiterbarkeit
Viele Testtools gehören zu einer kompletten Reihe von Softwareprodukten, die sich
alle gegenseitig ergänzen können. Vorstellbar ist es z.B. ein weiteres Tool für die
bessere Verarbeitung des Protokolls zu integrieren oder ein Programm einzubinden
um die Testdaten mit Kollegen auszutauschen. Die bestehenden Möglichkeiten für
jedes vorliegende Testtool werden kontrolliert.
Support
Bei dem hier untersuchten Support handelt es sich hauptsächlich um die Leistung,
die von dem Hersteller an sich geliefert wird. Der Support für eine Software hat
eine enorm große Bedeutung. Denn solange ein Produkt nicht voll funktionsfähig
ist, kann nicht richtig gearbeitet werden und Zeit sowie Geld gehen verloren. Einen 8 Vgl. heise online (2011) und vgl. Aberdour, Mark (2012). 9 Vgl. Hemetsberger, Paul (2012).
44
guten Support zeichnen vor allem drei Kriterien aus. Erstens das Merkmal wie ein-
fach der Support zu erreichen ist. Zweitens die Zeit, die der Support benötigt, um
Hilfe zu leisten. Und drittens die Qualität der erbrachten Hilfeleistung. Sobald eine
dieser Eigenschaften nicht in einem ausreichenden Maß vorhanden ist, wird die Hilfe
schnell als äußerst negativ bewertet.
Wartung
Wartung ist die Änderung an einem Softwaresystem nach seiner Auslieferung.10
Im Bereich der Informatik bedeutet Wartung, dass die Lauffähigkeit bzw. die Funk-
tionalität des Programms durch vorbeugende Maßnahmen sichergestellt wird. Maß-
nahmen können z.B. das Beseitigen von Fehlern oder das Ergänzen von Funktionen
sein. In diesem Kriterium wird untersucht welche Wartungen bevorstehen.
Garantie
Bei der zu prüfenden Garantie wird betrachtet welche Gewähr der Hersteller gegen-
über dem Verbraucher vertritt und für welche Mängel er aufkommt.11 Dabei ist zu
beachten, dass eine Garantie lediglich Situationen umfasst, in denen Fehler durch
das alleinige Versagen des Produkts entstanden sind. Die Garantie ist für viele Kun-
den enorm wichtig, da sie eine Sicherheit bei dem Kauf eines Produkts bietet. Des
Weiteren wird sie häufig z.B. mit einem Garantieschein bestätigt.
Preis
Der Preis ist in den Kriterien um ein Produkt immer vertreten. An dieser Stelle ist
vor allem das Preis-Leistungs-Verhältnis wichtig. Dieses Verhältnis wird aus der
Sicht des Kunden bestimmt und ermittelt unter anderem wie viel Qualität ein Käu-
fer für sein bezahltes Geld bekommt.12 Die Nachfrage nach dem Artikel fließt eben-
so in dieses Verhältnis mit ein. Bekanntermaßen kann der Verkäufer z.B. den Preis
erhöhen, wenn die Nachfrage gestiegen ist. In diesem Kriterium wird also begut-
achtet wie hoch der Preis des jeweiligen Testtools liegt und wie das Preis-Leistungs-
Verhältnis aufgebaut ist.
2.2 Installation
Voraussetzungen
Bei jeder Installation spielen die Voraussetzungen eine große Rolle. Ein Programm
kann nur optimal arbeiten, wenn alle Voraussetzungen erfüllt sind. Es gilt drei Be-
reiche zu beachten: Das Betriebssystem, die Hardware und die Software. Im Punkt
10 Vgl. Gall, Harald (2006) Seite 19 und Franz, Klaus (2007) Seite 211. 11 Vgl. Gabler Verlag (2012a). 12 Vgl. Gabler Verlag (2012b).
55
Betriebssystem sollten die gängigsten Systeme mit dem Testtool kompatibel sein,
denn in den seltensten Fällen wird ein System an ein Programm angepasst. Die
Hardwarevoraussetzungen sind bedeutend, da manche Testtools z.B. eine bestimm-
te Prozessorleistung und einen entsprechend großen Arbeitsspeicher (RAM) benöti-
gen, um einen reibungslosen Programmablauf zu gewährleisten. Von dem Hersteller
können ebenso Eigenschaften an den Bildschirm gefordert werden. Bei der Installa-
tion ist zusätzlich auf die Software zu achten, weil einige Tools vorinstallierte Pro-
gramme benötigen, um gewisse Funktionen auszuführen. Es kann genauso zu der
Situation kommen, dass ein vorhandenes Programm die Installation behindert.
Deshalb sollte dieser Aspekt vorher begutachtete werden. Alle Anforderungen soll-
ten nicht ins Extreme geraten, weil die Installation ansonsten bei einigen Benutzern
ohne zusätzliche Ausgaben für die Beschaffung nicht abgeschlossen werden kann.
Download
In der heutigen Zeit werden viele Produkte über das Internet gekauft, genauso ge-
schieht dies immer mehr mit Softwareprodukten. Unter diesem Kriterium wird der
Vorgang des Downloads durchleuchtet. Angefangen beim Suchen nach dem richti-
gen Link, denn häufig sind Herstellerseiten unübersichtlich aufgebaut, sodass eine
Suche einige Zeit in Anspruch nimmt. Zusätzlich wird der Download selbst betrach-
tet, schließlich können Pakete eine extreme Größe besitzen und es dauert diese
herunterzuladen.
Aufwand
Dieses Kriterium hängt stark davon ab wie geschult die Person vor dem Computer
ist. Der Aufwand setzt sich in erster Linie aus drei Komponenten zusammen. Zum
ersten aus der Dauer, weil umso länger eine Installation dauert umso nachlässiger
wird ein Mensch. Die Dauer wiederum setzt sich wie folgt zusammen: Die Zeit um
die Voraussetzungen zu schaffen, die Dauer für den Download und der Zeitraum für
den Installationsakt. Die ersten beiden Spannen wurden bereits in den jeweiligen
Punkten genau erfasst. Die dritte Zeit wird vor allem durch eine Vielzahl von Anga-
ben verlängert.
Die Verständlichkeit fließt mit in den Aufwand, da komplexe Anweisungen in dem
Installationsvorgang zu vermeiden sind. Die Symbole sollten leicht zu deuten sein
und einen Wiedererkennungswert wie z.B. das Ordnersymbol besitzen. Ansonsten
kommt z.B. eine Dokumentation zum Tragen. Dadurch steigt der Schwierigkeits-
grad, der die dritte Komponente des Aufwands darstellt. Eine Installation sollte vom
Schwierigkeitsgrad her nicht nur von Profis zu bewältigen sein.
66
Abbildung 2: Typisches Ordnersymbol
Quelle: Eigene Darstellung, Screenshot
Probleme
Probleme können bei jeder Form der Installation auftreten. Sie können in ganz ver-
schiedener Form zum Vorschein kommen. Am einfachsten ist es, wenn es sich um
ein Verständnisproblem handelt und es durch Nachschlagen gelöst werden kann.
Schwieriger wird es, wenn eine Datei fehlt und die ganze Installation abgebrochen
werden muss. Der im Punkt Aufwand besprochene Schwierigkeitsgrad kann selbst-
verständlich genauso Probleme verursachen, wenn dieser zu hoch gesetzt wurde.
2.3 Testvorgang
Handhabung
Die Aufzeichnungs- und Wiedergabefunktion spielt bei den ausgewählten Testtools
eine Schlüsselrolle. Die Aufzeichnungsfunktion legt die Grundlage für den gesamten
Testvorgang. Ohne Wiedergabefunktion könnte ein Skript nicht abgespielt und kei-
ne Anwendung getestet werden. Aus diesen Gründen ist es wichtig, dass die Hand-
habung eine Aufzeichnung zu erstellen und wiederzugeben einen simplen Charakter
hat. Falls schon am Anfang Schwierigkeiten entstehen, ist es oft unmöglich das
Testverfahren korrekt abzuschließen. Bei der Handhabung fließt zusätzlich die Be-
trachtung der Schaltflächen für die einzelnen Funktionen mit ein. Es wird z.B. ge-
prüft ob es selbsterklärende Tooltips13 gibt. Wichtig ist ebenso das Verhalten wie
während der Prozeduren mit geöffneten Fenstern umgegangen wird und welche
Fenster eventuell durch das Betätigen der Funktionen zum Vorschein kommen. Bei
der Wiedergabe kommt es darauf an wie z.B. mit Fehlermeldungen hantiert wird. Es
sollte ein Fortlaufen des Tests gewährleistet werden. Außerdem werden die Unter-
funktionen und Eigenschaften der Aufzeichnung und der Wiedergabe inspiziert.
Eventuell kommen an dieser Stelle einige Extras des Testtools zur Aussprache, die
in einem späteren Teil des Kriterienkatalogs im Detail erläutert werden.
Endresultat
Das Endresultat besitzt eine große Bedeutung, schließlich möchte der Benutzer
durch die ausgeführten Aktionen zu einem Ergebnis kommen. Wie gut oder schlecht
dieses Resultat der Funktionen ist wird in diesem Kriterium geprüft. Es wird darauf
13 Tooltip: übersetzt „Werkzeughilfe“, bezeichnet die Mausfahne beim Überfahren
von Elementen.
77
eingegangen was für eine Datei produziert wird. Ergänzend wird bestimmt wie sim-
pel oder kompliziert die Struktur des Resultats ist. Eine weitere Eigenschaft bietet
die Weiterverwendbarkeit, also wie einfach ist es mit dem Ergebnis zuarbeiten. Vor
allem bei dem Befund der Wiedergabefunktion ist dies sehr wichtig, da hier die
Testergebnisse verfasst werden. Im weitesten Sinne wird in diesem Kriterium die
Qualität der Endprodukte gemessen. Eine genauere Untersuchung wird unter den
Überschriften „Quellcode“ und „Protokoll“ vorgenommen.
Qualität
Qualität ist in jedem Geschäft wichtig. Ohne ein gewisses Maß an Qualität geht es
heutzutage nicht mehr. Immer müssen Ansprüche des Kunden erfüllt werden. Ex-
plizit wird an dieser Stelle die Qualität der gesamten Aufzeichnungs- und Wiederga-
befunktion untersucht. Die Ansprüche des Benutzers beziehen sich in erster Linie
auf die Funktionalität des Testtools. Aber ebenso fließen die Gestaltung und der
grafische Aufbau der Oberfläche mit in die Bewertung ein. Bei der Wiedergabefunk-
tion sollte das eigentliche Abspielen am Bildschirm genauso Teil der Qualitätsan-
sprüche sein. Denn es kommt darauf an in welcher Form, Auflösung und Geschwin-
digkeit dies erfolgt. Durch die vorangehenden Kriterien zum Thema „Aufzeichnung
und Wiedergabe“ werden mehr Voraussetzungen für die Eigenschaft des Tools ge-
geben. Umso besser diese Kriterien erfüllt wurden, umso höher kann die Qualität
der gesamten Software beurteilt werden.
Objekterkennung
Jede Schaltfläche, jedes Eingabefeld und jeder Text bildet ein einzelnes Objekt.
Diese Objekte muss das Programm bei der Aufzeichnung erkennen, um die Interak-
tionen richtig zuzuordnen. Dabei gibt es verschiedene Vorgehensweisen wie eine
Software sich Objekte merkt. Manche bedienen sich z.B. der Eigenschaften eines
Objektes wie dem Name oder der Position. Andere wiederum definieren bspw. eine
Schaltfläche über den Quellcode einer Internetseite. Wichtig ist nur, dass jedes Ob-
jekt eindeutig identifiziert werden kann um eine korrekte Arbeitsweise zu ermögli-
chen. Bei einer mehrdeutigen Objekterkennung kann es zu unerwünschtem Verhal-
ten im Laufe des Testverfahrens kommen was den Vorgang anhalten bzw. abbre-
chen kann.
Performance14 und Stabilität
Die Performance und die Stabilität hängen unter anderem von dem Prozessor und
dem Arbeitsspeicher eines Computers ab. Bei einem Testvorgang werden diese be-
lastet, was zu einer geringen Leistung führen kann. Durch die zu erfüllenden Vo-
14 Performance in der Informatik: Leistung, die eine Software im Ausführungsmodus erbringt.
88
raussetzungen im Hardwarebereich sollten Performance und Stabilität trotz der hö-
heren Auslastung entsprechend gut sein. Bei der Performance ist darauf zu achten
in welcher Zeit ein Programm welche Aufgaben erfüllt und für welchen Bereich die
Software extrem lange benötigt. Bei der Stabilität ist zu beurteilen ob das Pro-
gramm während des Testens ins Stocken gerät, sich aufhängt oder abstürzt. Wobei
ein Programm selbst bei einem fehlerhaften Aufruf seitens des Entwicklers stabil
bleiben sollte. Nur so ist die Speicherung der bisherigen Vorgänge gewährleistet.
2.4 Verschiedene Testverfahren
Funktionstest15
Für das allgemeine Testen ist der Funktionstest von hoher Bedeutung. Erst durch
diesen Test wird auf die komplette Funktionalität der Anwendung geprüft. Dieses
Kriterium beinhaltet vor allem die Fragen wie gut oder schlecht der Funktionstest
mit dem vorliegenden Tool ausgeführt werden kann. Es wird begutachtet wie leicht
ein solcher Test zu erstellen ist, wie schnell er ausführbar ist, von welcher Qualität
seine Ausführung ist und ob er brauchbare Endresultate liefert.
Regressionstest16
Dieser Test spielt unter anderem in der Welt des automatisierten Testens eine Rol-
le. Dementsprechend wird kontrolliert, ob mit dem Testtool ein solcher Test entwor-
fen werden kann. Dabei ist darauf zu achten, dass das Testskript möglichst flexibel
gestaltet werden kann, denn ein Regressionstest ist für das mehrfache Testen vor-
gesehen und sollte nicht bei einer kleinen Änderung auf einen Fehler laufen. Des
Weiteren wird revidiert wie schnell dieser Test zu entwerfen ist. Die Ausführung an
sich und die Qualität wird in diesem Punkt ebenso abgehandelt. Hinzu kommt ge-
nau wie bei dem Funktionstest der Aspekt was für ein Endergebnis ausgegeben
wird.
Datengesteuerter Test17
Durch einen datengesteuerten Test kann sich ein Entwickler die Eingabe von ver-
schiedenen Daten je Testdurchlauf sparen. Da die Daten von dem Tool automatisch
z.B. aus einem Testdatenpool in die Anwendung eingefügt werden. Diese Variante
des Testens kann von ganz alleine einen Test mit 100ten von Datensätzen durch-
laufen. Natürlich muss ein Testdatenpool vor der erstmaligen Verwendung angelegt
15 Eine kurze Definition des Funktionstests findet sich im Kapitel „Allgemeine Arbeitsweise von
Testtools für Webanwendungen“ auf der Seite 4. 16 Im Kapitel 2.2 liegt eine kurze Beschreibung zum Regressionstest vor. 17 Eine Erklärung zum datengesteuerten Test findet sich unter der Überschrift „Allgemeine Ar-
beitsweis von Testtools für Webanwendungen“ auf der 5.
99
werden. Im Anschluss kann er aber oft für jedes andere Skript angepasst und be-
nutzt werden. Der Aufwand sowie die Dauer einen solchen Pool zu erstellen und zu
bearbeiten fließt mit in dieses Kriterium ein. Zusätzlich ist zu begutachten inwiefern
das Testskript für die Ausführung eines solchen Tests abgewandelt werden muss.
Genauso wird geprüft wie ein datengesteuerter Test von der Software behandelt
und abgespielt wird. Zum Schluss wird kontrolliert was für ein Resultat von dem
Testtool zurückerstattet wird.
2.5 Quellcode
Darstellungsform
Bei der Darstellung des Quellcodes sind grundlegende Einzelheiten zu beachten. Als
erstes der reine Aufbau des Skriptes. Das heißt es wird überprüft ob die formalen
Aspekte eingehalten wurden wie z.B. die Einrückung bei einzelnen Anweisungen.
Gerade bei dem generierten Quellcode ist dies eine wichtige Eigenschaft. In den
meisten Skriptsprachen sind Hervorhebungen von gewissen Texten mit eingebaut.
Variablen werden bspw. farblich gekennzeichnet. Diese Besonderheit dient vor al-
lem der Übersichtlichkeit und sollte auf keinen Fall fehlen. Bei den vorliegenden
Testtools sind jeweils zwei Anzeigen für die beiden Skripte in der Programmoberflä-
che vorhanden. Die genannten Eigenschaften beziehen sich auf beide Bereiche.
Programmiersprachen
Die Auswahl von verschiedenen Programmiersprachen ist sehr vorteilhaft. Durch
diese Funktion sind Entwickler mit unterschiedlichstem Wissen in der Lage mit dem
Tool zu arbeiten. Gerade heutzutage wird die Auswahl von Programmiersprachen
wichtiger, da sich im Laufe der Zeit mehr und mehr Sprachen auf dem Markt entwi-
ckeln und sich ausbreiten. Deshalb wird diese Funktion genauer kontrolliert, um zu
testen wie flexibel das Testtool gestaltet ist.
Eigene Programmierung
Der komplette Quellcode wird zunächst bei der Bedienung der Aufzeichnungsfunkti-
on des Testtools von selbst generiert. Deshalb ist es in diesem Fall besonders inte-
ressant zu erfahren, ob sich die Möglichkeit bietet in den erstellten Quellcode noch
eigene Befehle oder ganze Methoden mit einzuarbeiten. Die Programmierer mit ei-
nem hohen Wert an Erfahrung möchten häufig gerne komplexere Methoden mit
einbinden, um ihr gesamtes Können zu nutzen. Nur durch diese Funktion kann der
Quellcode individuell beeinflusst werden.
1010
2.6 Protokoll
Darstellungsform
Die Darstellungsform eines Protokolls ist ausschlaggebend für die Weiterarbeit eines
Entwicklers. Entweder sind die Informationen in dem Bericht so detailliert, dass alle
Fehler sofort verstanden werden. Oder die Qualität des Protokolls lässt zu wün-
schen übrig und das Identifizieren dauert länger als die Fehlerkorrektur. Die Form
des Testergebnisses kann durch einige Eigenschaften wie Schriftart usw. beeinflusst
werden. Ebenso gehört die Farbgebung von Fehler- oder Erfolgsmeldungen zu den
Formalitäten. Außerdem besteht teilweise die Möglichkeit sich Protokolle in ver-
schiedenen Formaten anzeigen zulassen. Die Fehlermeldungen beinhalten in der
Regel eine Beschreibung was für ein Fehler wo aus welchem Grund aufgetreten ist.
Dabei gilt es zwischen guten und schlechten Beschreibungen zu unterscheiden. Die
Guten zeichnen sich durch eine klare Struktur, kurze, prägnante Sätze sowie eine
eindeutige Identifizierung von Objekten und Fehlerstellen aus. Die schlechten Be-
schreibungen sind häufig einfach zu lang und zu unpräzise.
Veränderbarkeit
Oftmals gibt es zu den Protokollen gewisse Extras um entweder die Darstellungs-
form oder den Inhalt zu beeinflussen. Der Benutzer kann z.B. den Protokolltyp um-
stellen. In manchen Fällen kann es ebenso sein, dass die Objektbezeichnungen in
den beschreibenden Texten verändert werden können. Durch Einfügen von be-
stimmten Methoden können in einigen Tools sogar Testresultate in das Protokoll
geschrieben werden, die normalerweise von der Anwendung nicht dokumentiert
würden. Über diesen Weg können dann Kommentare, Fehlermeldungen und War-
nungen direkt in die Protokolldatei eingebunden werden.
2.7 Darstellung der Oberfläche
Layout und Navigation
Das Layout bezeichnet die komplette Gestaltung der Oberfläche und die Navigation
leitet den Benutzer in dieser Oberfläche. Es geht um die räumliche Aufteilung von
Fenstern und Abschnitten sowie die Anordnung von Schaltflächen, Menüleisten und
Texten. Es wird revidiert wie das Layout und die Navigation aufgebaut sind. Bei der
Navigation ist zusätzlich darauf zu achten, dass diese nicht zu tief verschachtelt ist,
denn dies macht die Bedienung schwer und unübersichtlich. Die Analyse bezieht
sich hauptsächlich auf die Benutzerfreundlichkeit, also wie natürlich und einfach ist
die Handhabung beim Arbeiten in dieser Benutzerumgebung.
1111
Schrift
Durch die Schrift vermittelt ein Programm in erster Linie was es von dem Benutzer
fordert. Aus diesem Grund sollte ein Schriftbild immer deutlich sein. Es sollte eine
angemessene Schriftgröße vorhanden sein und die Schriftart sollte gut lesbar sein.
Das heißt die Schrift sollte möglichst keine Serifen oder andere Schnörkel enthal-
ten. Denn durch solche Eigenschaften wird es dem Benutzer unnötig schwer ge-
macht mit einer Software zuarbeiten
Beispiele für bevorzugte Schriftarten:
Arial Verdana Tahoma
Beispiele für negative Schriftarten:
Blackadder ITC Lucida Bright Chiller
Farbgebung
Farben sind für jede Oberfläche wichtig, weil sie Akzente setzen können. Mit der
Hilfe von Farbe können bestimmte Symbole oder ganze Bereiche hervorgehoben
werden. Durch sie kann ein Benutzer in gewisser Weise durch ein Programm gelei-
tet werden. Dies geschieht indem der Ausgangspunkt der Blickführung besonders
betont wird und dann in die natürliche Blickbewegung hinein weiter Akzente gesetzt
werden.
Einige Farben werden als äußerst positiv wahrgenommen und andere Farben wirken
auf den Menschen eher negativ. Es wird beurteilt, ob die Farbgebung richtig gesetzt
wurde und einen Einfluss auf den Benutzer ausübt.
Positive Farben:
Negativ belastete Farben:
Sprache
Unter dem Punkt Sprache wird nicht nur geprüft ob Englisch, Deutsch, Japanisch
usw. zur Auswahl stehen und in welcher Sprache die Anwendung vorliegt. Zusätz-
lich wird auf den Sprachstil der Texte und Beschriftungen geschaut. Währenddessen
ist darauf zu achten, dass diese Sprache für den Benutzer leicht verständlich ist.
Falls die Sprache zu komplex für den Entwickler ist, fällt es ihm schwer sich im Pro-
gramm zurechtzufinden.
Einstellungsmöglichkeiten
Die persönliche Gestaltung in Bezug auf die verschiedenen Darstellungsformen ist
immer wünschenswert. Gerade erfahrene Entwickler haben sich im Laufe der Zeit
1212
gewisse Eigenarten angewöhnt und möchten ihre Gewohnheiten in möglichst jede
Anwendung übertragen. In dem Bereich des Quellcodes ist dies vor allem interes-
sant, wenn dort die Schriftart, die Schriftfarbe und der Schriftstil angepasst werden
können. Außerdem ist es brauchbar die Anordnung der Bereiche und Fenster ganz
individuell einstellen zu können, um für jeden Benutzer die optimale Arbeitsumge-
bung zu schaffen. Falls diese Funktion nicht verfügbar ist, wäre die Bereitstellung
von verschiedenen, vorgefertigten Perspektiven erstrebenswert. Sogar die Farbge-
bung von bestimmten Ausgaben wie Fehlern, Warnungen oder Ergebnissen ist bei
einigen Testtools seitens des Benutzers veränderbar. All diese Abwandlungsmög-
lichkeiten werden an dieser Stelle betrachtet und es wird überprüft wie gut diese
umsetzbar sind.
2.8 Extras
Prüfpunkte
Die Prüfpunkte sind extrem wichtig bei Testtools. Erst durch sie kann ein Benutzer
auf bestimmte Daten oder Eigenschaften von Objekten testen. Dadurch ist es nicht
notwendig mit komplexen If-Anweisungen oder For-Schleifen auf die Korrektheit
der Parameter zu prüfen. Häufig kann an dieser Stelle mit regulären Ausdrücken
gearbeitet werden, um bspw. die komplette Bandbreite an Formatierungsmöglich-
keiten für eine Texteingabe abzudecken. Des Weiteren kann ein Prüfpunkt auf ein
Objekt gesetzt werden, um zu beaufsichtigen, ob es sich bei bestimmten Datensät-
zen oder Aktionen ändert. Natürlich können bei solchen Prüfpunkten extra Fehler
produziert werden, um das Verhalten des Programms in diesen Testfällen zu unter-
suchen.
Verzögerungen
Es kann in vielerlei Hinsicht nützlich sein eine Verzögerung in ein Testskript einzu-
arbeiten. Vor allem wenn eine Situation während der Wiedergabefunktion genauer
betrachtet werden soll. Da die Wiedergabe in den meisten Fällen recht zügig durch-
geführt wird, kann der Benutzer manche Schritte ohne eine Verzögerung kaum
wahrnehmen, geschweige denn analysieren. Mit Hilfe der Verzögerungsfunktion
wird es machbar sich einzelne Situationen im Testvorgang vor Augen zu führen.
Import und Export
Die Funktion komplette Testskripte oder Protokolle in die Anwendung zu importie-
ren oder für eine andere Anwendung zu exportieren, bietet dem Entwickler gute
Möglichkeiten sein Wissen mit Kollegen oder einem Kunden zuteilen. In diesem Kri-
terium wird also überprüft, ob es so eine Funktion in dem Testtool gibt. Eine gute
1313
Eigenschaft wäre es, wenn die Protokolle in verschiedenen Darstellungsformen aus-
gelagert werden könnten.
Hilfen
Es gibt die verschiedensten Arten von Hilfen im Bereich der Software wie z.B. die
Online-Hilfe, Dokumentationen, Bücher und Fachpersonal.
„Die Online-Hilfe gehört heute zur Standard-Ausstattung eines Software-
Produkts.“.18 Aus diesem Grund wird geprüft ob eine solche Hilfe vorhanden ist.
Auch Dokumentationen gibt es mittlerweile zu jedem Produkt auf dem Markt. Häu-
fig sind diese online zu finden und können als PDF-Datei heruntergeladen werden.
Durch diese Eigenschaft wird es für den Benutzer möglich sie im Online- sowie Off-
line-Modus aufzurufen. Bücher sind zwar aus der Mode geraten, können sich aber
als äußerst hilfreich erweisen. In Büchern sind die Beschreibungen meistens genau-
er und deshalb sind sie häufig sehr gut für Einsteiger geeignet. Alle schriftlichen
Hilfen sollten gut strukturiert sein und eine Suchfunktion enthalten, um schnell ei-
nen Lösungsweg zu finden. Das Fachpersonal ist eine ganz andere Variante der
Hilfsmöglichkeiten. Die Kontaktaufnahme erfolgt bspw. über eine Hotline oder einen
Chat. Es wird kontrolliert wie schnell die Hilfe geliefert wird und von welcher Kom-
petenz sie zeugt.
2.9 Gewichtung
Jede Gewichtung besitzt eine eigene Bedeutung, die anzeigt wie ausschlaggebend
ein Kriterium für die langfristige Arbeit mit dem Testtool ist. Diese Bedeutung wird
in der Tabelle 1 vorgestellt.
Tabelle 1: Gewichtungen und ihre Bedeutung
Gewichtung 0 25 50 75 100
Bedeutung Überflüssig Unwichtig Neutral Wichtig Extrem
wichtig
Quelle: Eigene Darstellung
Die Gewichtung der einzelnen Kriterien wird in der folgenden Tabelle 2 aufgeführt
und mit kurzen Stichworten begründet. Die genaueren Begründungen können aus
dem Kriterienkatalog abgeleitet werden und werden nicht expliziert erläutert.
18 Comet Computer GmbH (o.J. [ca. 2012]).
1414
Tabelle 2: Kriterien mit Gewichtung und Begründung
Kriterium Gewichtung BegründungProduktRelease 100 Neuster Stand und Entwicklung sicherErweiterbarkeit 75 Programm bekommt mehr FunktionenSupport 100 Probleme können schnell gelöst werdenWartung 75 Funktionalität ständig verbessert und gewährleistetGarantie 75 Sicherheit für KäuferPreis 75 Keine unnötigen KostenInstallationVoraussetzungen 75 Programm lauffähig ohne hohen AufwandDownload 25 Nur einmaligAufwand 50 Nur einmaligProbleme 75 Zu viele Probleme bedeuten keine InstallationTestvorgangEinarbeitungszeit 100 Beeinflusst UmsatzHandhabung 100 Arbeitsweise und Produktivität erhöhenEndresultat 75 Weiterverarbeitung und TestergebnisseQualität 75 Hohe Qualität gleich gute Resultat und hoher UmsatzObjekterkennung 75 Erleichtert Testabläufe usw.Performance & Stabilität 100 Beeinflusst Arbeitsweise sehr starkVerschiedene TestsFunktionstest 100 Auf Funktionen wird immer getestetRegressionstest 100 Extrem wichitg für automatisches TestenDatengesteuerter Test 100 Zu Erstellung einer rellen TestumgebungQuellcodeDarstellung 75 Beeinflusst Arbeitsweise sehr starkProgrammiersprachen 50 Programmierer erlernen neuen Sprachen häufig schnellEigene Programmierung 100 Tests können erweitert und verbessert werdenProtokollDarstellungsform 75 Beeinflusst Ergebnisfindung starkVeränderbarkeit 50 Meistens sind Resultat ausreichendDarstellung der OberflächeLayout und Navigation 75 Erleichtert ArbeitsweiseSchrift 25 Meistens StandardFarben 25 Meistens StandardSprache 25 Programmierer kann Englisch, ist StandardBenutzereinstellungen 50 Anpassung an den Tester wünschenswertExtrasPrüfpunkte 75 Erleichtert Testvorgang enormVerzögerungen 25 Hilfreich, aber nicht zwingend notwendigExport und Import 50 Austausch von Daten wird verbessertHilfen 100 Schnelle Problemlösungen für guten Umsatz, Produktivität Quelle: Eigener Entwurf
1515
3 Analyse der Kriterien
3.1 Punktevergabe
Jedes Kriterium wird für jedes Testtool einzeln bewertet. Umso besser das Kriterium
erfüllt wurde umso höher ist die Punktzahl.
Tabelle 3: Punkte und ihre Bedeutung
Punkte 0 1 2 3 4 5
Bedeutung Nicht vor-
handen
Große
Mängel
Leichte
Differenzen
befriedigend gut Sehr
gut
Quelle: Eigene Darstellung
3.2 Produkt
Release
RFT
Die Entwicklung des RFT schreitet immer weiter voran. Von der Version 8.2 existie-
ren bereits vier weitere Unterversionen und die letzte Erneuerung wurde am 15.
Februar 2012 vorgenommen.19
Punkte: 5
Selenium IDE
Der Selenium IDE wird ständig weiter entwickelt und verbessert. In diesem Jahr
2012 erst wurde die neuste Version am 26. Januar frei gegeben.20
Punkte: 5
Erweiterbarkeit
RFT
Der RFT gehört zu einer Reihe von Softwareprodukten, die unter dem Namen Rati-
onal Software bei IBM geführt werden. Einige dieser Produkte wie z.B. der Rational
ClearCase können gut in die Arbeit mit dem RFT eingebunden werden. Durch den
ClearCase kann bspw. die Arbeit im Team um den RFT herum erleichtert werden.
Punkte: 4
Selenium IDE
Selenium hat viele Produkte entwickelt, die in einigen Fällen zusammen arbeiten
können. Für den Selenium IDE gibt es mehrere Möglichkeiten wie bspw. den Se-
lenium Remote Control (RC). Dazu kommen noch kleiner Plug-Ins, die die Funktio-
nalität des Selenium IDEs erweitern. Unter anderem die Funktion bei der Wiederga-
be die aktuellen Objekte in dem Browser durch eine Umrandung hervorzuheben.
Punkte: 4
19 Vgl. IBM GmbH (2012b). 20 Vgl. SeleniumHQ (2012c).
1616
Support
RFT
Von der IBM wird ein umfangreicher Support zu den Softwareprodukten geliefert.
Es gibt eine Hotline, über die ein Benutzer zu jeder Zeit Fachpersonal erreichen
kann. Außerdem steht ein Online-Support 24 Stunden und die ganze Woche zur
Verfügung.21 Zusätzlich gibt es viele Dokumentationen und Produktinformationen zu
allen Bereichen. Die Probleme oder die am häufigsten gestellten Fragen von ande-
ren Benutzern werden außerdem veröffentlicht.
Punkt: 5
Selenium IDE
Selenium an sich bietet eine User Group für Diskussionen rund um Selenium. Es
werden Verweise zu anderen Chats und Foren geben. Außerdem werden Firmen
aufgelistet, die ein Support für Selenium Produkte liefern.
Punkt: 3
Wartung
RFT
Die Wartung in Bezug auf die neusten Funktionen und Versionen usw. werden in
den ersten zwölf Monaten von der IBM kostenlos unterstützt. Dem Benutzer wird
durch Meldungen im Programm mitgeteilt welche Neuheiten für ein Update bereit
stehen.
Punkte: 4
Selenium IDE
Die Hersteller des Selenium IDEs teilen dem Benutzer über den Firefox mit, wenn
es eine neue Version mit neuen Funktionen gibt. Allerdings muss nun das Testtool
erneut installiert werden.
Punkte: 2
Garantie
RFT
Die IBM GmbH stellt mit Hilfe der Wartungs- und Supportleistungen bei dem Ver-
kauf eines Softwareprodukts eine Art Garantie bereit. Zusätzlich greift die gesetzli-
che Gewährleistung, da ein Produkt von einem Hersteller an einen Kunden verkauft
wurde. Dieses Gesetz schützt den Verbraucher in Deutschland vor dem Kauf von
mangelhafter Ware.
Punkte: 4
21 Vgl. IBM GmbH (2012c).
1717
Selenium IDE
Es ist keine Garantie auf die Funktionalität des Testtools Selenium IDE gewährleis-
tet. Die gesetzliche Gewährleistung tritt an dieser Stelle nicht in Kraft, weil kein
Verkauf stattgefunden hat.
Punkte: 0
Preis
RFT
Der RFT besitzt einen stattlichen Preis von 7.031,71 �.22 Trotz dieser hohen Kosten,
ist das Preis-Leistungs-Verhältnis gut. Der Benutzer bekommt für sein Geld eine
gute Leistung mit einigen Zusatzfunktionen geliefert.
Punkte: 3
Selenium IDE
Der Selenium IDE ist ein Open-Source-Produkt, also für jeden Tester umsonst ver-
fügbar. Aus diesem Grund ist das Verhältnis von Preis und Leistung mit gut zu be-
werten. Es wird ein angemessenes Testtool bereitgestellt.
Punkte: 5
3.3 Installation
Voraussetzungen
RFT
In der folgenden Tabelle werden alle Voraussetzungen, die für die optimale Nutzung
des RFT nötig sind aufgelistet. Dabei sind sie wie im Kriterienkatalog beschrieben in
drei Bereiche aufgeteilt.
Tabelle 4: Voraussetzungen für den RFT
Betriebssystem: � Im 32-Bit-Modus: z.B. Windows 2003, Windows Vista, Windows
7,
Red Hat Enterprise Linux AS 4.0, SUSE Linux Enterprise Server
9.0, Ubuntu Desktop 8.0.4 LTS
�Linux-Systeme ohne Aufzeichnungsfunktion
� Im 64-Bit-Modus: z.B. Windows XP, Windows Vista, Windows
2003 Server, Windows 2008 Server, Windows 7
Hardware: � Intel(R) Pentium(R) 4 mit 1.5 GHz
� RAM min. 1 GB
� Bildschirm min. 256 Farben und 1024 x 768
Software: � Microsoft .NET Framework ab Version 1.1
� Microsoft Visual Studio .NET ab 2003 oder Eclipse-IDE ab 3.6
� IBM 32-Bit-SDK
� Java 2 Technology Version 6 oder Sun Java 2 Standard 6
22 Vgl. IBM GmbH (2012d).
1818
� Windows Server 2003: Citrix Presentation Manager 4 oder 4.5
� Windows Server 2008: Citrix XenApp 5.0
� IBM Rational Common License Server 8.1.1. oder 8.1.2.
Quelle: Vgl. IBM GmbH (2012a).
Alle Voraussetzungen sind von den meisten Firmen ohne größeren Aufwand zu er-
füllen.
Punkte : 4
Selenium IDE
Eine erfolgreiche Installation und spätere Ausführung des Selenium IDEs setzt fol-
gende Bedingungen voraus.
Tabelle 5: Voraussetzungen für den Selenium IDE
Betriebssystem: � Alle Betriebssysteme auf denen der entsprechende
Browser lauffähig ist
Hardware: � Je nach Browser bspw. Firefox :
� Prozessor min. 233 MHz
� RAM 64 MB
� freier Festplattenspeicher 52 MB
Software: � Browser: z.B. Firefox ab Version 2, IE ab Version 6, Sa-
fari ab Version 2 oder Opera ab Version 8
�Außer bei Firefox nur mit Selenium RC verwendbar
� Linux: bis zu 8 verschiedene Pakete/Bibliotheken
Quelle: Vgl. Mozilla Europe (2012) und SeleniumHQ (2012b) Seite 9.
Diese Bedingungen können leicht von dem Benutzer hergestellt werden bzw. sind in
vielen IT-Firmen schon vorhanden.
Punkte: 4
Download
RFT
Der Download der Dateien, um den RFT zu installieren, ist ein recht einfacher Vor-
gang. Die Homepage von IBM wirkt im ersten Moment unübersichtlich, aber eine
Suchfunktion erleichtert das Vorgehen. Um überhaupt ein Produkt herunterzuladen,
wird eine IBM-ID benötigt. Anschließend werden vier ZIP-Dateien aus dem Internet
geladen, die bei einer ausreichenden Internetverbindung schnell verfügbar sind.
Das heißt der Download ist leicht zu finden und dauert je nach Verbindung nicht all
zu lange. Umständlich ist es lediglich, dass die ZIP-Dateien noch extrahiert werden
müssen.
Punkte: 4
1919
Selenium IDE
Die Navigation des Internetauftritts von Selenium ist übersichtlich und dadurch
kann der Download-Link schnell gefunden werden. Die Dauer des Herunterladens
beträgt nur wenige Sekunden, weil die Größe des Add-Ons Selenium IDE nur mini-
mal ist.
Punkte: 5
Aufwand
RFT
Der Aufwand der Installation ist stark von der Erfahrung des Benutzers abhängig.
Die Dauer die Voraussetzungen zu schaffen und das Produkt herunterzuladen hält
sich bei dem RFT in einem angemessen Rahmen. Nur der eigentliche Installations-
vorgang bewegt sich in einer Zeitspanne zwischen 30 und 90 Minuten. Je nachdem
wie gewissenhaft alle Texte gelesen werden. Der gesamte Dialog ist in Englisch und
die Anweisungen sind an einigen Stellen zu lang und ungenau. Mit einem Installati-
onshandbuch kommt der Benutzer aber gut zu recht. Die Gestaltung der Oberfläche
ist typisch für einen solchen Dialog und bietet eine übersichtliche Umgebung. Der
Schwierigkeitsgrad wird durch die Vorgabe von Standardwerten bei Benutzereinga-
be, der Verwendung von bekannten Symbolen und eine gewohnte Struktur herun-
tergesetzt.
Punkte: 3
Selenium IDE
Die Installation des Selenium IDEs dauert nur wenige Augenblicke und die Ver-
ständlichkeit ist ausgesprochen gut. Es werden nur wenige Abfragen vom Browser
gestellt, die in der Sprache des Benutzers vorliegen. Da dieser Vorgang im Prinzip
von alleine abgehandelt wird und die Installation mit wenigen Mausklicken abge-
schlossen ist, befindet sich der Schwierigkeitsgrad in einem hervorragenden Be-
reich.
Punkte: 5
Probleme
RFT
Bei der Installation des RFT sind mit Hilfe des Installationshandbuchs keine größe-
ren Probleme aufgetreten. Lediglich am Ende wurde nach einer weiteren Datei oder
einem Datenträger gefragt. Wenn nicht alle Dateien vor der Installation genau be-
trachtet wurden, fängt an dieser Stelle die große Suche an. Ansonsten lief die In-
stallation reibungslos ab.
Punkte: 3
Selenium IDE
Der Installationsgang von Selenium IDE weist keine Probleme auf.
Punkte: 5
2020
3.4 Testvorgang
Einarbeitungszeit
RFT
Die Einarbeitungszeit hängt stark von der Komplexität der Software und dem Erfah-
rungswert des Mitarbeiters ab. Die Funktionen, die der RFT mit sich bringt, sind
umfangreich. Allerdings erklären sich einige Handhabungen durch ihre Beschrei-
bungen und Symbole von ganz alleine. Außerdem wird von IBM eine umfassende
Dokumentation angeboten mit deren Hilfe die Einarbeitung leicht fällt. Der Zeitraum
sollte sich also nicht allzu sehr ausdehnen und in einem annehmbaren Bereich lie-
gen.
Punkte: 4
Selenium IDE
Bei dem Testtool Selenium IDE hält sich die Einarbeitungszeit zunächst in Grenzen.
Aber es ist zu beachten, dass es zwar eine Dokumentation von Selenium selbst
gibt, diese reicht jedoch nur für die Grundbegriffe. Um tiefer in das Programm ein-
zutauchen, wird mehr Zeit benötigt, denn der Benutzer muss z.B. auf Tutorien im
Internet zurückgreifen. Dieser Umstand und die Tatsache, dass die meisten Funkti-
onen nicht selbsterklärend sind, verlängert die Zeitspanne.
Punkte: 3
Handhabung
RFT
Die Funktionen zum Aufzeichnen und zum Wiedergeben eines Testskripts sind in
der Oberfläche des RFT leicht zu finden. Wird der Aufzeichnungsknopf betätigt, mi-
nimiert sich das Programm und es öffnet sich ein Dialogfenster, in dem einige Wer-
te angegeben werden können. Anschließend öffnet sich das Aufzeichnungsfenster.
In diesem stehen dem Benutzer weitere Funktionen zur Verfügung, wie z.B. die
Pause-Schaltfläche.
Abbildung 3: Aufzeichnungsfenster des RFTs
Quelle: Eigene Darstellung, Screenshot
2121
Alle Schaltflächen sind mit entsprechenden Tooltips versehen und eine Hilfefunktion
ist ebenso aus dem Aufzeichnungsfenster zu erreichen. Wird das Aufzeichnen been-
det, maximiert sich die Programmoberfläche mit den generierten Skripten. Bei
komplexeren Objekten oder Seitenstrukturen kann es zu Verzögerungen bei der
Aufzeichnung kommen.
Bei der Wiedergabefunktion werden alle Interaktionen aus dem Skript in der jewei-
ligen Anwendung wiederholt. Dabei öffnet sich zusätzlich ein Fenster in dem ange-
zeigt wird welcher Befehl gerade ausgeführt wird. Außerdem stehen in diesem eine
Stopp- und Pause-Funktion bereit.
Abbildung 4: Wiedergabefenster des RFTs
Quelle: Eigene Darstellung, Screenshot
Andere Fenster werden bei beiden Funktionen zunächst ignoriert. Allerdings können
diese bei der Wiedergabe im Bereich der Objekterkennung zu Fehlern führen. Dann
würde sich ein Dialogfenster öffnen, in dem der Benutzer eine Reihe von Aus-
wahlmöglichkeiten hat wie mit dem Fehler umgegangen werden soll. Der fehlerhaf-
te Schritt kann z.B. übersprungen werden. Dieser Auswahlmöglichkeiten können für
jedes Objekt ebenso vorher festgelegt werden, dann öffnet sich kein Fenster bei
einem Fehler. Trotz der kleinen Schwächen sind beide Funktionen gut zu bedienen.
Punkte: 4
2222
Abbildung 5: Dialogfenster des RFTs bei einem Fehler während der Wie-
dergabe
Quelle: Eigene Darstellung, Screenshot
Selenium IDE
Die Handhabung der Funktionen ist in Selenium IDE recht simpel. Zu den Schaltflä-
chen werden hilfreiche Tooltips auf Englisch angeboten. Bedient der Benutzer die
Aufzeichnungsfunktion, minimiert sich das Programmfenster und die Interaktionen
können durchgeführt werden. Soll die Aufzeichnung beendet werden, muss das
Programm wieder maximiert und der Record-Knopf erneut betätig werden.
Bei der Wiedergabefunktion stehen dem Benutzer zwei Optionen zur Verfügung. Er
kann eine komplette Testreihe abspielen oder nur einen einzelnen Testfall. Durch
einen Doppelklick kann ein Befehl allein ausgeführt werden. Außerdem kann die Ge-
schwindigkeit über einen Schieber geregelt werden. Bei diesem Testtool werden alle
anderen Fenster ignoriert und das Programm konzentriert sich auf den Browser. Bei
einem Fehler wird das Programm abgebrochen und eine Meldung ausgegeben. Dies
ist für die meisten Tester keine optimale Lösung, schließlich soll der Abbruch des
Testverfahrens möglichst vermieden werden.
Punkte: 3
2323
Endresultat
RFT
Als Endresultat der Aufzeichnungsfunktion entsteht ein sogenanntes Simplified
Script23 und aus diesem Skript wird ein Java-Quellcode generiert. Diese Skripte
enthalten alle vorher aufgezeichneten Interaktionen. Vor allem das Simplified Script
ist übersichtlich und klar dargestellt. Für einzelne Abschnitte werden Gruppen ge-
bildet. Für jede Gruppe steht ein Screenshot in der Storyboard-Ansicht bereit. Das
Resultat der Wiedergabe ist ein Protokoll über alle ausgeführten Kommandos, das
in einem eigenen Fenster geöffnet wird und unabhängig vom Testskript gespeichert
wird. Anhand dieses Ergebnisses kann ein Tester nun Erfolge und Fehler auslesen.
Die Qualität der beiden Resultate ist gut und der Tester kann mit diesen produktiv
weiterarbeiten.
Punkte: 5
Selenium IDE
Aus der Aufzeichnungsfunktion resultiert ein Testskript in der Sprache Selense, die
von Selenium selbst entwickelt wurde. Aus diesem Skript wird im Hintergrund ein
Quellcode in einer beliebigen Sprache angefertigt. Die Wiedergabe besitzt als Er-
gebnis ein Protokoll, welches in der Programmoberfläche integriert ist. Es ist etwas
unvorteilhaft gestaltet, aber bietet dem Programmierer eine Übersicht über seine
Erfolge und Fehler. Ein negativer Aspekt ist, dass es keine Möglichkeit gib diese
Resultate separat abzuspeichern.
Punkte: 3
Qualität
RFT
Die Qualität der Funktionen zum Aufzeichnen und Wiedergeben eines Testskripts ist
bei dem RFT gut. Da die Ansprüche des Benutzers an das Testtool mit kaum auffal-
lenden Mängeln erfüllt werden. Die Aufzeichnung funktioniert bei fast allen Anwen-
dungen reibungslos und bringt nützliche Faktoren mit sich. Die Wiedergabe findet in
einer Art Video statt. Dieses wird im Browser in einer schnellen Geschwindigkeit
und der normalen Bildschirmauflösung abgespielt. Die Geschwindigkeit könnte für
manche Tester zum Problem werden, allerdings ist es möglich Verzögerungen zu
programmieren.
Punkte: 4
23 Zur genaueren Begriffserklärung von „Simplified Script“ siehe Quelle: IBM GmbH (2011b).
2424
Selenium IDE
Bei dem Selenium IDE gibt es einige Ansprüche an die Aufzeichnungsfunktion wie
z.B. das Pausieren, die nicht erfüllt werden. Dafür hat die Wiedergabe eine positive
Eigenschaft, denn die Geschwindigkeit kann leicht verstellt werden. Dadurch kann
der Benutzer die Interaktionen, die in einer Art Video im Browser abgespielt wer-
den, besser nachvollziehen.
Punkte: 3
Objekterkennung
RFT
Der RFT erkennt Objekte wie z.B. Schaltflächen an ihren Eigenschaften. Es werden
Merkmale wie die Klasse eines Objekts auf ihre Werte geprüft. Beim Aufzeichnen
werden alle Objekte mit ihren Werten als Testobjekt in einer Übersicht abgelegt.
Abbildung 6: Testobjektübersicht des RFTs
Quelle: Eigene Darstellung, Screenshot
Bei der Wiedergabe werden anschließend automatisch die Eigenschaften der Objek-
te auf der Weboberfläche mit den Eigenschaften der einzelnen Testobjekte abgegli-
chen. Sobald das passende Objekt gefunden wurde, wird die Interaktion ausge-
führt. In den Benutzereinstellungen ist es möglich die Anzahl der übereinstimmen-
den Eigenschaften bei der Erkennung herunterzusetzen, sodass falls ein Objekt in
nur einem Merkmal verändert wurde, es trotzdem noch von dem RFT bei der Wie-
dergabe erkannt wird. Außerdem wird jedem Merkmal eine Wertigkeit mit gegeben.
In den meisten Fällen funktioniert diese Objekterkennung sehr gut, allerdings kann
es bei größeren Veränderungen zu Fehlern kommen.
Punkte: 4
2525
Selenium IDE
Die Testobjekte werden bei dem Selenium IDE über ein XML-Dokument der Inter-
netseite erkannt. Die Objekte werden über XML Path Language (XPath)24 abgefragt.
Der Benutzer kann nach dem Aufzeichnen aus einer Drop-Down-Liste entscheiden
über welchen Pfad welches Objekt festgehalten werden soll. In manchen Fällen ist
es auch möglich einen Link z.B. anhand seines Namens zu identifizieren.
Abbildung 7: Beispiel für eine Auswahl zur Objektfindung im Selenium IDE
Quelle: Eigene Darstellung, Screenshot
Durch diese Art der Erkennung kann jedes einzelne Testobjekt genau erfasst wer-
den. Allerdings gibt es keine Einstellung die Erkennungsschwelle herabzusetzen.
Um dies zu erreichen muss mit JavaScript-Funktionen gearbeitet werden, die in die
Spalte „Target“ eingetragen werden. Trotzdem kann es schnell zu Fehlern kommen,
wenn die aufgezeichneten Objekte im Nachhinein verändert werden.
Punkte: 4
Performance und Stabilität
RFT
Die Performance des RFT ist im Allgemeinen gut. Allerdings lässt sie bei einigen
Funktionen des Programms zu wünschen übrig. Bei der Aufzeichnungsfunktion kann
es z.B. zu leichten Verzögerungen kommen, wenn die zu testende Anwendung sehr
komplex ist. Die Stabilität des Programms ist gut, da es nur in sehr wenigen Fällen
zu einem langen Stocken oder einem Absturz kommt.
Punkte: 3
Selenium IDE
Das Tool Selenium IDE weist eine ausgesprochen gute Performance auf. Es kommt
bei keiner Funktion zu einem stockenden Verhalten oder zu einem Absturz des Pro-
gramms. Selenium IDE arbeitet einwandfrei.
Punkte: 5
24 Für mehr Informationen zu XPath siehe Quelle: W3C Recommendation (1999).
2626
3.5 Verschiedene Testverfahren
Funktionstest
RFT
Für die Durchführung eines Funktionstest ist der RFT sehr gut geeignet. Es kann mit
wenig Aufwand ein Testskript durch die Aufzeichnungsfunktion erstellt werden, wel-
ches die Funktionalität der Internetseite überprüft. Die konkrete Prüfung auf Daten-
ebene kann mit Prüfpunkten, If-Anweisungen oder anderen Methoden geschehen.
Bei der Wiedergabe des Skriptes werden dann die Parameter kontrolliert und in
einem Protokoll erhält der Tester alle Testresultate, die für ihn interessant sind. Die
Abwicklung eines solchen Tests weist eine hohe Qualität auf.
Punkte: 5
Selenium IDE
Mit dem Selenium IDE ist ein Funktionstest einfach auszuführen. Durch die Auf-
zeichnungsfunktion wird in kurzer Zeit ein Testskript erstellt. Die oberflächliche
Funktionalität kann bei der Wiedergabe geprüft werden. Eine Prüfung auf Daten-
ebene kann lediglich über eine selbsterstellte Methode in der User-Extension erfol-
gen. Das Endresultat ist eine Art Protokoll, welches in der Programmoberfläche an-
gezeigt wird. Die Qualität dieses Ergebnisses und des gesamten Funktionstests ist
trotz einiger Verbesserungsmöglichkeiten für die meisten Tester voll ausreichend.
Punkte: 3
Regressionstest
RFT
Der RFT ist für die Bedienung eines Regressionstest gut vertretbar, denn ein
Testskript kann beliebig oft wiedergegeben werden. Diese Eigenschaft ist wichtig
um einen Regressionstest in seiner vollen Breite auszuführen. Schließlich sollte das
Testskript nach jeder Änderung durchlaufen. Der zweite Grund weshalb dieses Test-
tool brauchbar ist stellt die flexible Objekterkennung dar. Nur sie macht es möglich
ein Objekt nach bspw. einer Umbenennung auf der Weboberfläche wiederzufinden.
Dadurch kann die Funktionalität weiter kontrolliert werden und es treten keine un-
nötigen Fehler wegen Abänderungen auf. Da in dem RFT an vielen Stellen mit regu-
lären Ausdrücken gearbeitet werden kann, spricht dies Flexibilität genauso für die
Verwendung bei Regressionstests. Zum Schluss entsteht ein ausführliches Protokoll
mit Erfolgs- und Fehlermeldungen. Das Endresultat zeugt genauso wie der Rest des
Verfahrens von einer sehr guten Beschaffenheit.
Punkte: 5
2727
Selenium IDE
Das Testtool Selenium IDE ist in der Lage einen Regressionstest durch zu führen.
Die wichtige Eigenschaft des Regressionstest, ein Testskript oft wiedergeben zu
können, ist vorhanden. Zusätzlich bietet das Werkzeug bei der Objekterkennung
durch die Verwendung von JavaScript eine ausreichende Flexibilität, sodass ein Ob-
jekt nach einer Umbenennung gefunden werden kann. Eine Umpositionierung könn-
te an dieser Stelle aber zu Problemen führen. Trotzdem zeugt die Ausführung an
sich von einer guten Qualität. Nur das Resultat des Testdurchlaufs mindert auch
bei diesem Test die Gesamtqualität.
Punkt: 4
Datengesteuerter Test
RFT
Ein datengesteuerter Test kann mit dem RFT gut umgesetzt werden. Schon bei der
Aufzeichnung können datengesteuerte Befehle eingebunden werden. Diese Befehle
können ebenfalls im Nachhinein über die Storyboard-Ansicht eingefügt werden. Für
jeden dieser Befehle wird eine neue Spalte im Testdatenpool angelegt. In diesem
Pool können Datensätze hinzugefügt sowie gleichzeitig bearbeitet werden. Das Er-
stellen und Bearbeiten eines Datenpools gelingt in wenigen Schritten. Zusätzlich
gibt es eine Einstellung, ob die Pools öffentlich oder privat sind. Die Öffentlichen
können von jedem Testskript aufgerufen werde. Bei der Wiedergabe eines datenge-
steuerten Tests gibt es die Option vorzugeben wie viele Datensätze durchlaufen
werden sollen. Danach wird für jeden Datensatz das komplette Testskript oder eine
Gruppierung von Befehlen ausgeführt. Am Ende entsteht das gewohnte Protokoll
mit dem Unterschied, dass die entsprechenden Angaben pro Datensatz enthalten
sind.
Punkte: 5
Selenium IDE
Die Abwicklung eines datengesteuerten Tests ist mit Selenium IDE möglich. Die
Testdaten werden in eine XML-Datei geschrieben. Anschließend muss eine Funktion
in der User-Extension verfasst werden, die diese Daten durchläuft und zurückgibt.
Diese Methode wird nun in das Testskript eingepflegt, sodass gewisse Objekte bei
jedem Durchlauf mit einem Datensatz gefüllt werden. Das Erstellen und Bearbeiten
der Testdaten kann bei einer größeren Anzahl durch die XML-Struktur unübersicht-
lich werden. Positiv ist, dass eine XML-Datei und ebenso die Methode zum Auslesen
für jedes beliebige Skript wiederverwendet werden können. Durch die erhöhte An-
zahl an Daten wird jedoch das Endergebnis sehr lang und bei der schlechten Struk-
tur kaum einsichtig.
Punkte: 3
2828
3.6 Quellcode
Darstellungsform
RFT
Der Quellcode vom Simplified Script wird sehr strukturiert und übersichtlich abge-
bildet. Die Befehle werden pro Unterseite der Webanwendung in Gruppen forma-
tiert. Zusätzlich hat jeder Befehl wie z.B. der Klick auf einen Button ein vorherge-
schaltetes Symbol, sodass der Benutzer auf Anhieb erkennt um was es sich han-
delt. Die Farben grenzen dabei die unterschiedlichen Codezeilen gut voneinander
ab. Der Java-Quellcode ist nach dem typischen Muster aufgebaut. Alle Einrückun-
gen, Farbgebung und Schrifttypen machen den Quellcode leicht erfassbar.
Punkte: 5
Selenium IDE
Das Testskript in der Sprache Selenese ist in Form einer übersichtlichen Tabelle
dargestellt. Jedoch sind die Befehle weder mit Farben noch mit anderen Stilen ver-
sehen worden, was sich ab einer gewissen Länge negativ auf die ansonsten klare
Struktur auswirkt. In der anderen Quellcode-Ansicht sind ebenfalls keine Hervorhe-
bungen. Allerdings ist dort die Struktur der jeweiligen Programmiersprache enthal-
ten. Wodurch die Anordnung der Befehle deutlich verbessert wird.
Punkte: 3
Programmiersprachen
RFT
Die Programmiersprachen kann der Benutzer im RFT nicht beeinflussen. Es sind
lediglich die Simplified Script-Sprache und Java vorhanden.
Punkte: 2
Selenium IDE
Im Selenium IDE wird für die erste Darstellung nur Selenese verwendet. In der
Zweiten stehen mehrere Sprachen bereit wie z.B. HTML oder Ruby. Der Benutzer
kann also seinen Ansprüchen entsprechend eine Programmiersprache auswählen.
Punkte: 5
Eigene Programmierung
RFT
Der Benutzer kann bei dem RFT seine eigenen Programmierkenntnisse mit einflie-
ßen lassen. Dazu muss er mit der rechten Maustaste einen sogenannten Java-Code-
Snippet oder eine Java-Methode in das Simplified Script einfügen. Darauf wird in
dem Java-Quellcode ein Platzhalter für die benutzerdefinierte Programmierung ein-
gebunden. Dieser Platzhalter kann nun durch Quellcode ersetzt werden.
Punkte: 5
2929
Selenium IDE
Das Verwenden von benutzerdefinierter Programmierung ist im Selenium IDE über
die User-Extension ausführbar. Dort können Methoden entworfen werden, die an-
schließend wie ein normales Selenese Kommando durch die Drop-Down-Liste einge-
fügt werden können. Umständlich ist, dass bei diesem Vorgang immer zwischen
zwei Fenstern hin und her gesprungen werden muss und dass der Selenium IDE
nach jeder Änderung in der User-Extension neu gestartet werden muss.
Punkte: 4
3.7 Protokoll
Darstellungsform
RFT
Das Protokoll des RFT weist eine klare Struktur und einen relativ guten Überblick
auf. Für jede Kommandozeile werden Informationen wie z.B. die Zeilennummern
aus beiden Skripten abgelegt. Die Erfolgs- und Fehlermeldungen werden farblich
markiert und für eine schnelle Navigation sind Verlinkungen zu Störungen, War-
nungen oder Prüfpunkten enthalten. Die Beschreibungen jedoch sind für einen un-
geübten Tester schlecht zu verstehen. Erst nach einer gewissen Einarbeitungszeit
können Schlussfolgerungen daraus gezogen werden. Ist das Protokoll vom Typ
XML, wird eine Grafik über die Erfolge, Störungen, Warnungen und Nachrichten
angezeigt.
Punkte: 4
Abbildung 8: Protokoll des RFTs vom Typ XML25
Quelle: Eigener Entwurf, Screenshot
25 Größere Darstellung im Anhang 5.
3030
Selenium IDE
In dem Tool Selenium IDE wird eine Art Protokoll in dem Bereich Log angezeigt.
Dort erscheint pro ausgeführte Quellcodezeile eine Informationszeile. In dieser Zeile
steht dann ob der Befehl ausgeführt wurde oder ein Fehler aufgetreten ist. Die Be-
schreibungen sind in Englisch und leicht zu verstehen. Sie enthalten jedoch wenig
nützliche Informationen für den Programmierer. Die Struktur des Protokolls wird
mit der steigenden Zahl an Zeilen unübersichtlicher. Es gibt keine Verlinkungen zu
z.B. den Fehlermeldungen.
Punkte: 2
Abbildung 9: Fehleranzeige im Selenium IDE
Quelle: Eigene Darstellung, Screenshot
Veränderbarkeit
RFT
Der Benutzer kann verschiedene Einstellungen zu dem Protokoll vornehmen z.B. ob
für jede Aktion ein eigener Screenshot erstellt werden soll. Zusätzlich können über
den Java-Quellcode z.B. Kommentare oder Testresultate miteingebunden werden.
Während der Aufzeichnung können ebenfalls Kommentare eingefügt werden. Bei
dem Typ des Protokolls kann der Tester zwischen mehreren Optionen wählen.
Punkte: 4
Selenium IDE
Das Protokoll kann im Selenium IDE nur geringfügig von dem Benutzer beeinflusst
werden. Es kann nur ausgewählt werden ob Informationen, Debugger–Nachrichten,
Warnungen oder Fehlermeldungen angezeigt werden sollen.
Punkte: 1
3131
3.8 Darstellung der Oberfläche
Layout und Navigation
RFT
Das Layout ist für die Arbeitsweise mit dem RFT gut geeignet. Oben befinden sich
wie bei jedem Programm die Navigation und eine Schaltflächenleiste mit den wich-
tigsten Funktionen. Die Darstellung der Symbole in dieser Leiste ist gut gewählt, da
sie bspw. einen Wiedererkennungswert zu dem typischen Record- bzw. Play-Knopf
aufweisen.
Abbildung 10: Symbolleiste im RFT
Quelle: Eigene Darstellung, Screenshot
Am linken Rand der gesamten Oberfläche ist die Projektstruktur platziert, in der
Mitte der Skript-Bereich, rechts die Storyboard-Abbildungen. Im unteren Teil der
Oberfläche ist unter anderem die Konsole zu finden. Genau in der Reihenfolge der
Bereiche geht der Benutzer bei der Erstellung eines Testfalls vor. Erst ein Projekt
erstellen, dann den Quellcode bearbeiten, anschließend die Storyboard-Ansicht prü-
fen und zum Schluss die Ausgabe in der Konsole begutachten. Genauso zielgerich-
tet ist die Anordnung der Texte und Schaltflächen. Die Navigation ist nach dem ty-
pischen Muster für Entwicklertools aufgebaut und deshalb strukturiert. Außerdem
ist es hilfreich, dass die Umgebung an Eclipse angelehnt ist.
Punkte: 5
Selenium IDE
Das Layout und die Navigation der Oberfläche des Selenium IDE sind für den Be-
nutzer intuitiv zu verstehen. Die Navigation folgt dem typischen Beispiel für Soft-
wareprodukte und ist nur in wenige Ebenen verschachtelt. Direkt darunter liegt eine
Schaltflächenleiste für die wichtigsten Funktionen. Ungewöhnlich ist, dass die Auf-
zeichnungsfunktion ganz rechts in dieser Leiste gesetzt wurde. Gerade diese wichti-
ge Funktion erwartet jeder Benutzer auf der linken Seite. Die Darstellung der
Schaltflächen erinnert an die typischen Record- und Play-Symbole.
Abbildung 11: Symbolleiste des Selenium IDEs
Quelle: Eigene Darstellung, Screenshot
3232
Die Bereiche der Oberfläche sind nach der Arbeitsweise des Nutzers platziert. Im
linken Drittel befinden sich die Testfälle und im anderen Teil ist der Quellcode zu
finden. Die Konsole sowie weitere Funktionen sind im unteren Bereich angebracht.
Punkte: 4
Schrift
RFT
Die Schrift des RFT entspricht den geforderten Bedürfnissen. Sie ist serifenlos und
gut leserlich. Die Schriftgröße ist ebenso angemessen wie der gesamte Schriftstil.
Punkte: 5
Selenium IDE
In der Oberfläche des Selenium IDE ist die Schrift gut gewählt. Sie erfüllt die Vo-
raussetzungen keine Serifen zu enthalten, eine ausreichende Schriftgröße und ei-
nen geeigneten Stil zu besitzen.
Punkte: 5
Farbgebung
RFT
Die Farben für die Oberfläche sind sehr schlicht gewählt. Die meisten Bereiche sind
in einem Grauton gehalten. Die ausgewählten Bereiche werden mit einem Blauton
hervorgehoben. Diese Mischung lässt die gesamte Oberfläche neutral wirken. Die
Symbole werden je nach ihrer Funktion farblich betont. Die Wiedergabeschaltflä-
chen z.B. weisen einen grünen Aspekt auf. Die Blickführung wird durch die farbliche
Betonung unterstützt, denn die rote Schaltfläche für die Aufzeichnung fällt als ers-
tes ins Auge. Genau diese Funktion ist die Erste, um einen Test zu erstellen. Als
nächstes arbeitet der Benutzer mit dem Simplified Script, das durch seinen starken
Akzent in der Mitte der Seite betont wird. Die Arbeitsweise des Benutzers wird also
weiter miteinbezogen.
Punkte: 5
Selenium IDE
Die Oberfläche des Selenium IDE ist genau wie viele Softwareprodukte in den Farb-
tönen Grau und Blau belassen. Durch die Farben wirkt die gesamte Oberfläche aus-
geglichen und leitet zur Arbeit an. Die wichtigen Schaltflächen heben sich in einer
Farbe hervor. Die Aufzeichnungsfunktion bspw. ist wie ein typischer Record-Knopf
rot eingefärbt. Zusätzlich werden die erfolgreichen und die fehlerhaften Durchläufe
unterhalb der Testreihe mitgezählt und mit den Farben Rot und Grün markiert. Ein
Balken in der entsprechenden Farbe zeigt wie der letzte Durchlauf ausgegangen ist.
Der Quelltext wird farblich gekennzeichnet, wenn der Benutzer den Test wiedergibt.
Falls ein Fehler auftritt wird diese Zeile rot hinterlegt. Diese farblichen Akzente füh-
ren den Benutzer in seiner Arbeitsweise.
Punkte: 4
3333
Sprache
RFT
Bei der Installation des RFT können mehrere Sprachen ausgewählt werden. Über
den Installation Manager kann die Sprache nachträglich verändert werden. Zur Ver-
fügung stehen insgesamt zehn Sprachen unter anderem Englisch oder Deutsch. Der
Sprachstil ist sowohl für Einsteiger als auch für erfahrene Programmierer angemes-
sen.
Punkte: 5
Selenium IDE
Das Testtool ist nur in Englisch erhältlich, allerdings werden manche Texte in der
Navigation von dem Browser übersetzt. Da die Übersetzungen jedoch nur spärlich
sind, könnte es manchem Einsteiger schwerfallen die englischen Begriffe zu verste-
hen. Für einen geübten Programmierer stellt die englische Sprache keine Barriere
dar und die Beschreibungen sind in einem geeigneten Sprachstil verfasst.
Punkt: 2
Einstellungsmöglichkeiten
RFT
Die Oberfläche des RFT kann in vielerlei Hinsicht von dem Benutzer beeinflusst
werden. Die Schriften und Farben können in der gesamten Oberfläche nach Belie-
ben abgewandelt werden. Es können bspw. die Schriftarten und Hintergrundfarben
für ausgewählte Reiter verändert werden. Die Fenster in der Oberfläche können
ebenso frei positioniert werden. Diese Eigenschaften bietet dem Benutzer eine hohe
Flexibilität seinen Arbeitsbereich nach seinen Bedürfnissen zu gestalten.
Punkte: 5
Selenium IDE
Bei dem Selenium IDE kann der Benutzer die Oberfläche nur verändern, indem er
die Größen der Bereiche anpassen kann. Außerdem können die einzelnen Bereiche
ein- oder ausgeklappt werden.
Punkte: 2
3.9 Extras
Prüfpunkte
RFT
Prüfpunkte können im RFT bereits während der Aufzeichnung oder im Nachhinein in
ein bestehendes Testskript etabliert werden. Die Prüfpunkte lassen sich simpel mit
Hilfe eines Dialogs erstellen. Dabei gibt es die einfache Variante ein Symbol auf das
zu prüfende Objekt zu bewegen. Es wird unterschieden zwischen einer Prüfung auf
Eigenschaften oder auf Daten eines Objekts. Anschließend kann bestimmt werden
ob z.B. auf einen festen Wert oder einen regulären Ausdruck geprüft wird. Die Prü-
fung erfolgt bei jeder Wiedergabe vollautomatisch. Die Ergebnisse sind anschlie-
3434
ßend in einem Protokoll zu finden. Dort ist zusätzlich ein Link zu dem Prüfpunktedi-
tor verfügbar, um sich die Daten der Überprüfung und die Eigenschaften des Prüf-
punkts genauer zu betrachten.
Punkte: 5
Selenium IDE
Bei dem Selenium IDE sind Prüfpunkte nicht gegeben. Es besteht die Möglichkeit
eine Methode zur Prüfung in die User-Extension des Programms einzubinden. Aus
dieser User-Extension können Methoden genau wie vorliegende Kommandos aus-
gewählt werden. Mit Hilfe von solch einer Methode könnte eine Überprüfung statt-
finden. Allerdings ist dieses Verfahren sehr viel zeitaufwendiger und der Program-
mierer sollte ausreichend Fachwissen mitbringen.
Punkte: 2
Verzögerungen
RFT
Durch verschiedene Vorgehensweisen können Verzögerungen in Testskript einge-
fügt werden. Als erstes während der Aufzeichnungsfunktion, dies geschieht über
eine Schaltfläche in dem Aufzeichnungsfenster. Als zweites kann jedem Befehl in
dem Simpified Script eine Verzögerung in den Eigenschaften mit gegeben werden.
Die Dauer der Inaktivierung wird durch eine Anzahl an Sekunden vorgegeben.
Überdies kann eine Verzögerung in ein bereits bestehendes Skript etabliert werden.
Außerdem gibt es eine Benutzereinstellung für kleine Unterbrechungen zwischen
den einzelnen Befehlen, sodass das gesamte Skript langsamer wiedergegeben wird.
Punkte: 5
Selenium IDE
Verzögerungen lassen sich in den Skripten des Selenium IDE einbinden. Aber dazu
muss wieder eine Methode in die User-Extension geschrieben werden, da keine
Funktion für diesen Zweck bereitgestellt wurde. Diese Vorgehensweise ist wieder
mit mehr Aufwand verbunden und erfordert Programmierkenntnisse.
Punkte: 2
Import und Export
RFT
Im RFT können Testskripts, Protokolle sowie Testdatenpools ganz nach Belieben
importiert und exportiert werde. Dabei ist darauf zu achten, dass die Dateien zum
Import dem richtigen Format und Datentyp entsprechen ansonsten ist ein Import
nicht möglich.
Punkte: 4
3535
Selenium IDE
Die Importfunktion steht im Selenium IDE nicht zur Verfügung, dafür weist die Ex-
portfunktion, die ausschließlich für Skripte ausgelegt ist, eine zusätzliche Eigen-
schaft auf. Die Testskripts oder die gesamte Testreihe können in verschiedenen
Programmiersprachen exportiert werden.
Punkte: 2
Hilfen
RFT
Unter der Hilfefunktion des RFT finden sich viele nützliche Punkte. Die Willkommen-
Seite bietet einen guten Überblick über das Angebot, das von grundlegenden In-
formationen über Beispielprogramme bis hin zu Webressourcen reicht. Der Benut-
zer kann sich bspw. an die Online-Hilfe wenden oder eine Dokumentation durch-
blättern. In dieser Dokumentation werden die Bedürfnisse eines Einsteigers sowie
die eines Fortgeschrittenen gleichwertig erfüllt. Das Arbeiten im Offline-Modus wird
an dieser Stelle lediglich durch eine Druck-Option unterstützt. Falls eine weitere
nicht digitale Hilfe gewünscht ist, steht ein Buch von der IBM bereit. Alle schriftli-
chen Formen der Hilfe sind ausreichend gut strukturiert und besitzen eine Such-
funktion. Des Weiteren bietet das Unternehmen IBM unter anderem eine Hotline an,
über die zu jeder Zeit Fachpersonal zu erreichen ist. Es werden sogar kostenpflich-
tige Kurse für den RFT von IBM angeboten, um dem Kunden die optimale Nutzung
des Tools zu gewährleisten.
Punkte: 5
Selenium IDE
Die Entwickler von Selenium haben auf ihrer Internetseite eine Hilfe veröffentlicht,
die allerdings für Fortgeschrittene zu wenige Informationen enthält. Die Hilfe Funk-
tion im Tool bietet lediglich Informationen zu dem Thema UI-Elemente. Zum Erler-
nen von Selenium IDE ist es nützlich sich im Internet um zuschauen, denn dort sind
einige, oft englischsprachige Tutorien von erfahrenen Nutzern zu finden. Anweisun-
gen zu tiefergehenden Funktionen sind allerdings nur schwer zu finden, denn von
Selenium wird kein Fachpersonal geboten. Die Hilfe von erfahrenen Benutzern kann
z.B.in einem Forum gefunden werden. Andere Firmen bieten außerdem Kurse zu
dem Thema Selenium IDE an. Sucht der Benutzer nach einer nicht digitalen Hilfe
wird er bspw. ein Buch des Verlags Open Source Press entdecken.
Punkte: 3
3636
4 Resumee
Die Auswahl des richtigen Testwerkzeugs ist für die weiterführende Arbeit in einem
IT-Unternehmen entscheidend. Aus diesem Grund wurde im Vorfeld dieser Beurtei-
lung eine ausführliche Analyse auf die verschiedensten Kriterien vollzogen. Ange-
fangen hat die Analyse vor der eigentlichen Arbeit mit dem Testtool nämlich mit
allgemeinen Aspekten der Software wie bspw. dem Support. Weiterhin wurde der
Vorgang der Installation untersucht. Zum Schluss wurde die Ausführung des Test-
werkzeugs einschließlich der Eingliederung in den alltäglichen Arbeitsablauf eines
Programmierers geprüft. Durch diese Forschung wurden Vor- und Nachteile des
jeweiligen Testtools heraus kristallisiert. Diese Vor- und Nachteile werden durch die
Anzahl der Punkte in Verbindung mit der Gewichtung der Kriterien gefestigt. Im
Laufe der Analyse entstand so eine Tabelle mit den entsprechenden Werten, die am
Ende eine Gesamtpunktzahl liefern.26
Das Testtool Selenium IDE bietet einige Vorteile wie z.B. die Tatsache, dass es eine
Open-Source-Software ist und umsonst im Internet zur Verfügung steht. In man-
chen Kriterien schnitt der Selenium IDE besser ab als der RFT. Die komplette In-
stallation war z.B. mit wesentlich weniger Aufwand verbunden und in dem Punkt
Performance und Stabilität liegt der Selenium IDE ebenso vorn. Allerdings ist dieses
Werkzeug an anderen Stellen sehr schlecht zu beurteilen, denn z.B. bei der Garan-
tie wurden gar keine Punkte vergeben. Das ist einer der großen Nachteile an dem
Open-Source Produkt.
Der RFT von IBM führt in 22 von 33 Kriterien bei der Analyse. Trotz seines Preises
kann er durch viele Funktionen und zusätzliche Extras überzeugen. Gerade diese
Funktionen sind häufig leicht zu verwenden und selbsterklärend, daher benötigen
sie keine außerplanmäßige Einarbeitungszeit. Die positiven Bereiche der Handha-
bung und der verschiedenen Testverfahren überlagern schnell die aufwendige In-
stallation. Die Tatsache, dass eine Installation in der Regel nur einmal durchgeführt
wird und die Verfahren und die Handhabung im täglichen Umgang mit dem Test-
werkzeug in Aktion sind, hebt diesen Vorteil ergänzend hervor. Des Weiteren bietet
der RFT in den allgemeinen Produkteigenschaften viele positive Punkte. Der Kunde
wird bei dem Kauf des RFT in jedem Fall gut abgesichert und kann davon ausgehen,
dass sich um Fehler in der Software und um spezifische Fragen gekümmert wird.
Denn der Hersteller IBM weist eine hohe Qualität an Kundenservice auf, wie z.B.
der Support oder anderen Hilfestellungen im Umgang mit dem RFT demonstrieren.
26 Siehe Seite 43 Tabelle 7 und das dazugehörige Balkendiagramm im Anhang 6.
37 37
Rational Functional
Tester Selenium IDE
Kriterium Gewichtung(G) Punkte(RP) RP*G Punkte(SP) SP*G
Produkt
Release 100 5 500 5 500
Erweiterbarkeit 75 4 300 4 300
Support 100 5 500 3 300
Wartung 75 4 300 2 150
Garantie 75 4 300 0 0
Preis 75 3 225 5 375
Installation
Voraussetzungen 75 4 300 4 300
Download 25 4 100 5 125
Aufwand 50 3 150 5 250
Probleme 75 3 225 5 375
Testvorgang
Einarbeitungszeit 100 4 400 3 300
Handhabung 100 4 400 3 300
Endresultat 75 5 375 3 225
Qualität 75 4 300 3 225
Objekterkennung 75 4 300 4 300
Performance & Stabili-
tät 100 3 300 5 500
Verschiedene Tests
Funktionstest 100 5 500 3 300
Regressionstest 100 5 500 4 400
Datengesteuerter Test 100 5 500 3 300
Quellcode
Darstellung 75 5 375 3 225
Programmiersprachen 50 2 100 5 250
Eigene Programmie-
rung 100 5 500 4 400
Protokoll
Darstellungsform 75 4 300 2 150
Veränderbarkeit 50 4 200 1 50
Darstellung der Oberfläche
Layout und Navigation 75 5 375 4 300
Schrift 25 5 125 5 125
38 38
Tabelle 6: Kriterien für Testtools mit Gewichtung und Punkten
Quelle: Eigener Entwurf
Anhang
Anhangverzeichnis
Anhang 1: Zitat von Dirk Moosbach zur Begriffserklärung der natürlichen Sprache 38
Anhang 6: Balkendiagramm zu den einzelnen Kriterien mit Punkten und Gewichtung
.......................................................................................................... 39
Anhang 1: Zitat von Dirk Moosbach zur Begriffserklärung der natürlichen
Sprache
Farben 25 5 125 4 100
Sprache 25 5 125 2 50
Benutzereinstellungen 50 5 250 2 100
Extras
Prüfpunkte 75 5 375 2 150
Verzögerungen 25 5 125 2 50
Export und Import 50 4 200 2 100
Hilfen 100 5 500 3 300
Gesamtpunktzahl: 10.150 7.875
„Linguistik: alle Sprachen, die als Muttersprachen jemals gelernt wurden, gleich, ob diese
Sprachen schon ausgestorben sind oder noch verwendet werden.[…]“
3939
Quelle: Moosbach, Dirk (o.J. [ca. 2011])
Anhang 2: Balkendiagramm zu den einzelnen Kriterien mit Punkten und
Gewichtung
Quelle: Eigener Entwurf
8� 988� :88� ;88� <88� =88� >88�
(%�-!*���"��)��
�(0��*�(��(!��*��-''%(*�
��(*-$����(�$+��
(��)�$)*�""�+%$�
�%(�-))�*3-$��$��%0$"%���
�-�0�$�� (%�"�#��
��)*/%(��$����$�(���*-$�)3��*�
��$����-$���$�(�)-"*�*�
�-�"�*�*��� �!*�(!�$$-$��
�(�%(#�$���6��*���"�*�*���()������$����)*)�
�-$!+%$)*�)*����(�))�%$)*�)*�
��*�$��)*�-�(*�(���)*��-�""�%���
��()*�""-$�� (%�(�##��()'(����$�
����$�� (%�(�##��(-$�� (%*%!%""�
��()*�""-$�)�%(#���(�$��(��(!��*�
��()*�""-$����(����(�������2%-*�-$����/���+%$�
���(�����(��$�
�'(�������$-*3�(��$)*�""-$��$�
�1*(�)� (.�'-$!*��
��(3&��(-$��$��1'%(*�-$��#'%(*�
��"��$�
Punkte*Gewichtung
Krit
erie
n
����
��"�$�-#�
4040
Quellenverzeichnis
a) Schriftliche Quellen
Franz, Klaus (2007), Handbuch zum Testen von Web-Applikationen, Berlin,
Springer Verlag, 2007
b) Online-Publikationen
Aberdour, Mark (2012), Open Source Testing: Functional Test Tools,
URL http://www.opensourcetesting.org/
functional.php,
Stand 27.01.2012
Comet Computer GmbH (o.J.[ca.2012]), Online-Hilfen und Online-Dokumentationen,
URL http://www.comet.de/technische_redaktion/
onlinedoku.php,
Stand 23.02.2012
Gabler Verlag(2012a), Definition von Garantie,
URL http://wirtschaftslexikon.gabler.de/Archiv/
4372/garantie-v9.html,
Stand 24.02.2012
Gabler Verlag (2012b), Definition des Preis-Leistungs-Verhältnis,
URL http://wirtschaftslexikon.gabler.de/Archiv/
14261/preis-leistungs-verhaeltnis-v5.html,
Stand 24.02.2012
Gall, Harald (2006), Software Wartung und Evolution,
URL http://seal.ifi.uzh.ch/fileadmin/
User_Filemount/Vorlesungs_Folien/Evolution/
SS06/SWEvol-1.pdf,
Stand 24.02.2012
heise online (2011), Bewertung des Testtools Selenium,
URL http://www.heise.de/software/download/
o0g0s1l5k114?f=135ws&T=Selenium,
Stand 26.01.2012
Hemetsberger, Paul (2012), Übersetzung des Wortes „Release“,
URL http://www.dict.cc/?s=release,
Stand 24.02.2012
IBM GmbH (2011a), Datengesteuerter Test,
URL http://publib.boulder.ibm.com/infocenter/
rfthelp/v8r2/index.jsp,
Stand 22.02.2012
IBM GmbH (2011b), Simplified Script,
URL http://publib.boulder.ibm.com/infocenter/
rfthelp/v8r2/index.jsp,
Stand 20.02.2012
4141
rfthelp/v8r2/index.jsp,
Stand 20.02.2012
IBM GmbH (2012a), Rational Functional Tester Systemvoraussetzungen,
URL http://www-01.ibm.com/software/awdtools/
tester/functional/sysreq/?S_CMP=rnav,
Stand 27.02.2012
IBM GmbH (2012b), Rational Functional Tester Versionen,
URL http://www-01.ibm.com/support/
docview.wss?uid=swg27024014,
Stand 02.03.2012
IBM GmbH (2012c), Support und Softwareunterstützung von IBM,
URL http://www-01.ibm.com/software/lotus/
passportadvantage/
software_subscription_support_ov.html,
Stand 05.03.2012
IBM GmbH (2012d), Rational Functional Tester allgemeine Informationen,
URL http://www-142.ibm.com/software/products/
de/de/functional,
Stand 05.03.2012
Matthews, Kevin (2011), Top 10 IT Companies in the World 2011,
URL http://www.top10topten.com/
top-10-it-companies-in-the-world-2011.html,
Stand 16.02.2012
Moosbach, Dirk (o.J. [ca. 2011]), Wortbedeutung „natürliche Sprache“,
URL http://www.wortbedeutung.info/
nat%C3%BCrliche_Sprache/,
Stand 20.02.2012
Mozilla Europe (2012), Systemanforderungen für den Firefox,
URL http://www.mozilla-europe.org/de/firefox/
system-requirements/,
Stand 27.02.2012
Neth, Stefan (o.J. [nach 2008]), XPages in Domino 8.5 und Notes 8.5.1,
URL http://www.admincamp.de/konferenz/
ac2009.nsf/bc36cf8d512621e0c1256f870073e627/
45027c0d89117930c12574fe005069f7/$FILE/
T4S4-XPages.pdf,
Stand 23.01.2012
Neulinger, Robert und Rajovic, Dean (2003), Die Automatisierung von funktionalen Tests,
URL http://www.emos.de/emos/cmsportal.nsf/
%28ynDK_FileContainerByKey%29/
SPLL6Z9CDE/$FILE/das%20code%20problem.pdf?Open
,
Stand 02.02.2012
4242
Schindler, Dominik (2005), Regressionstesten,
URL http://www.wummy.org/downloads/
regressionstestvortrag.pdf,
Stand 25.01.2012
SeleniumHQ (2012a), Selenium History,
URL http://seleniumhq.org/about/history.html,
Stand 21.02.2012
SeleniumHQ (2012b), Selenium Documentation,
URL http://seleniumhq.org/docs/book/
Selenium_Documentation.pdf,
Stand 27.02.2012
SeleniumHQ (2012c), Selenium Downloads,
URL http://seleniumhq.org/download/,
Stand 02.03.2012
Tomaske GbR (o.J. [ca.2012]), XPages,
URL http://www.xpages-support.de/index.html,
Stand 25.01.2012
W3C Recommendation (1999), XML Path Language (XPath),
URL http://www.w3.org/TR/xpath/
#section-Introduction,
Stand 29.02.2012
Young Aspirations (2011), Software Companies Ranking 2011,
URL http://www.risedream.com/blog/2011/05/10/
top-10-software-companies-ranking-2011/,
Stand 16.02.2012