Lohnt sich der Einkauf von Software Tests?

Agile Projektvorgehen wie Scrum und Methoden wie Continuous Integration (CI) führen zu veränderten Anforderungen im Software Testing: Die agile Welt praktiziert zum Beispiel zwei Sprints mit Neuentwicklungen und Tests innerhalb dieser Sprints sowie einem abschließenden dritten Sprint mit Integrations- und Regressionstests vor dem Deployment.

von Dieter Koenen, Manager Consulting & Testing Services bei Innobis

Ein Teil der Tests sowie die Bereitstellung von Testdaten kann durch den Einsatz von Testautomatisierung geleistet werden. Aber die zahlreichen Projekterfahrungen zeigen, dass für die Durchführung von manuellen Tests und die Bewertung von automatisiert durchgeführten Tests nicht ausreichend Mitarbeiter aus den Fachbereichen zur Verfügung stehen. Gründe sind z.B. Personalabbau, hohe Krankenstände, anstehende Ferienzeiten oder Mehrfachbelastungen von Key-Ressourcen. Dies wiederum führt zu Verschiebungen in der Projektplanung, einer verspäteten Bereitstellung von Software oder Software, die nicht ausreichend getestet und mit gravierenden und folgenreichen Fehlern ausgerollt wird. Damit verbunden sind finanzielle Schäden oder sogar Imageverlust.

Besonders für Banken kann das aufgrund der hohen regulatorischen Anforderungen weitreichende Konsequenzen haben.”

Genau hier setzen Software Testing Services externer Dienstleister an. Nachstehend wird untersucht, was Testing Services leisten können und unter welchen Umständen ihr Einkauf sinnvoll ist.

Die Testautomatisierung

Insbesondere agile Vorgehensweisen, Konzepte wie Continuous Integration oder Releasewechsel von Standardsoftware erfordern in kurzen Zeitfenstern umfangreiche und häufige Regressionstests.

Die mehrfache Wiederholung der Tests, die Möglichkeit zur Ausführung von Tests im Batch außerhalb der Regelarbeitszeiten sowie als Zusatznutzen der Testautomatisierung die Bereitstellung von Testdaten für manuelle Tests führen in der Regel zu einer schnellen Amortisierung von Investitionen.”

Oft sind weder das Know-how noch die Infrastruktur in den Häusern vorhanden. Hier bieten sich externe Services an, die von der Einführung der Testautomatisierung bis zur vollständigen und eigenverantwortlichen Durchführung aller Aktivitäten reichen können.

Das manuelle Testen

Es ist in der Regel nicht sinnvoll, alle Tests ausschließlich automatisiert auszuführen. Beispiele sind neue oder komplexe Funktionen, die das Fachpersonal selbst testen möchte oder Schnittstellen zu Drittsystem sowie der Abgleich von Dokumenten, für die die Testautomatisierung schlicht zu teuer ist.

Auf der anderen Seite scheitern genau an dieser Stelle oft Projektplanungen und Rollout- Termine, da aus verschiedensten Gründen nicht ausreichend Fachpersonal zur Verfügung steht.”

Auch diese Lücke kann durch den Einkauf von externen Services geschlossen werden. Das Spektrum reicht von der Ausführung einfacher Tests bis hin zur kompletten Durchführung aller manuellen Tests und der Vorlage der Ergebnisse bei den Fachabteilungen zur Prüfung der Ergebnisdokumentation. Voraussetzung sind gute bis sehr gute Prozess- und Anwendungskenntnisse des Auftragsnehmers.

Die Spezialtests

Neben funktionalen Tests spielen Themen wie Last- und Performance-Tests (z.B. Stresstests für Online-Portale), Security Tests (z.B. Penetration Tests) oder regulatorisch induzierte Tests und Zertifizierungen (z.B. Barrierefreiheit) eine immer wichtigere Rolle.

Nur wenige IT-Abteilungen verfügen über den Skill und die notwendigen Tools für diese Tests. Die oft einzige Alternative ist der Einkauf dieser Testing Services bei externen Dienstleistern.”

Die Beauftragung und Abwicklung können direkt, aber auch über einen Full-Service-Partner (siehe unten) erfolgen.

Das Testmanagement

Häufig wird, wenn intern wenig Know-how oder keine Ressourcen verfügbar sind, das Testmanagement extern eingekauft. Die reicht von der Testkonzeption, -planung und -vorbereitung über die Koordination der Tests bis hin zur Vorbereitung von Abnahmen (siehe unten). Wichtige Nebeneffekte können die interne Übernahme von Methoden und Verfahren oder von Templates z.B. für das Testkonzept in Nachfolge-Testvorhaben sein.

Die Vorbereitung von Abnahmen

Wesentlich für einen geordneten Rollout der Software ist eine dokumentierte und nachvollziehbare Abnahme und Freigabe der Tests durch Fachbereiche und IT. Dies gilt insbesondere für Banken bedingt durch die hohen regulatorischen Anforderungen z.B. durch die BaFin.

Der Prozess umfasst die Qualitätssicherung der Testdokumentation, das Aufbereiten der Abnahmeunterlagen, das Abstimmen von ggf. abnahmeverhindernden Fehlern mit Fachbereichen und IT, das Vorbereiten und Durchführen von Abnahme-Workshops sowie das Erstellen und Verfolgen der Unterzeichnung der Abnahme- und Freigabedokumenten.

Der externe Einkauf der Abnahmevorbereitungen lohnt sich vor allem dann, wenn das Testmanagement extern besetzt ist und die externen Berater ohnehin intensiv in die Tests involviert sind sowie entsprechende Tools, Templates und Verfahren einbringen.”

Testmanagement Full-Service

Neben dem Einkauf von einzelnen Services (siehe oben) gibt es die Option, das Testing komplett als Full-Service an einen externen Dienstleister auszulagern. Die Mitwirkungsleistungen von eigenen Mitarbeitern wird in der Testkonzeption vereinbart und ist in der Regel beliebig skalierbar.

Die Vorteile liegen auf der Hand:

Der Auftraggeber muss sich außer um die Sichtung der Testergebnisse und die Abnahme und Freigabe um nichts kümmern. Im Idealfall findet ein Transfer von Methodik, Verfahren und Vorlagen durch das externe Expertenteam statt.”

Erfolgsvoraussetzungen sind z.B. eine lange und vertrauensvolle Zusammenarbeit mit dem externen Dienstleister, entsprechende methodische und vor allem auch fachliche Erfahrungen des Auftragnehmers, ein dediziertes Rollenkonzept sowie die vertragliche Vereinbarung von Kommunikationswegen und Eskalationsinstanzen.

Wirtschaftliche Betrachtung

In Stein gemeißelte Aussagen über Kosten- und Nutzeneffekte sind schwierig. Die externe Beauftragung z.B. von Penetrationstests ist, da kein Know-how im Hause vorhanden und eine externe Begutachtung obligatorisch, alternativlos.

Am ehesten lässt sich die Frage für die Testautomatisierung beantworten. Investitionen amortisieren sich in der Regel spätestens nach dem vierten oder fünften Regressionstests. Schwieriger wird die Wirtschaftlichkeitsbetrachtung für das manuelle Testen. Zwar sind die Kosten für externe Berater in der Regel höher als die Verrechnungssätze für interne Mitarbeiter. Aber ungeplante Belastungen durch Projektverzögerungen oder Schäden durch fehlerhafte Software können erheblich höher liegen als Mehraufwendungen für externe Dienstleister.

In jedem Fall lassen sich die Kosten für die Testkonzeption auf den Dienstleister verlagern, da dieser erst nach einer Ausarbeitung der Rahmenbedingungen für den Test ein seriöses Angebot abgeben kann.”

Letztendlich profitiert der Auftraggeber auch vom Know-how-Transfer durch die externen Berater und kann damit seine externen Kosten mittelfristig reduzieren.

Fazit

Es lohnt sich immer dann über den Einkauf von externen Software Testing Services nachzudenken, wenn interne Ressourcen oder Skills nicht oder nicht ausreichend vorhanden sind. Es kann durchaus auch eine strategische Entscheidung sein, das Testing vollständig auszulagern und Kosten für die Planung und Verfügbarkeit von Ressourcen auf externe Dienstleister zu verlagern. Ein sinnvoller Einstieg kann z.B., da regelmäßig wiederkehrend, die Externalisierung von Releasewechseltests sein.

Wichtig sind in jedem Fall Vertrauen in die Kompetenz und Leistungsfähigkeit des Auftragnehmers.”

Und natürlich sind die internen fachlichen Mitarbeiter in die Ergebniskontrolle und die Abnahme einzubinden.Dieter Koenen, Innobis