PAYD: Generali testet Mobility-App in der Praxis – Bessere Smartphone-Software mithilfe der Crowd

Pay-As-You-Drive – ein heikles Thema. Auch bei der Generali. Um so wichtiger ist, dass die PAYD-App reibungslos funktioniert und von den Versicherten so einfach und intuitiv wie möglich genutzt werden kann. Ergänzend zur internen Qualitätssicherung setzte die Generali dabei auf die Methode des Crowdtestings, bei der die Anwendung von echten Nutzern in der realen Welt getestet wurde.

von Philipp Benkler, Gründer und Geschäftsführer Testbirds

Wer umsichtig und vorausschauend fährt, der zahlt weniger Geld für seine Autoversicherung: „Pay as you drive“ ist in vielen Ländern wie den USA oder Großbritannien bereits fest etabliert und auch hierzulande sind die sogenannten Telematik-Tarife mittlerweile auf dem Vormarsch. Die Höhe der Prämie hängt dabei von der Fahrweise des Versicherten ab. Vorsichtiges und risikobewusstes Agieren im Straßenverkehr soll belohnt werden, denn aus Sicht der Versicherer sind durch ein defensives Verhalten weniger Unfälle und Schäden zu erwarten.

Um die notwendigen Daten für die Berechnung der Versicherungsprämie zu erheben, gibt es zwei Möglichkeiten – entweder eine fest installierte Box im Fahrzeug oder eine Telematik-App für das Smartphone. Die Generali in Deutschland entschied sich bei ihrem neuen Telematik-Tarif Generali Mobility für eine flexible und smarte App-Lösung, bei der im Gegensatz zur Box für die Versicherten keine Anschaffungskosten anfallen. Bevor das neue Versicherungsmodell Anfang Juli an den Start gehen konnte, mussten zunächst die technischen Voraussetzungen geschaffen werden.

Generali Mobility – Wer sicher fährt, belohnt sich selbst

Herzstück des neuen Telematik-Tarifs ist eine Smartphone-App für Android (ab Version 4.0.3) und iOS (ab Version 8.0 auf iPhone 5) welche mittels GPS das Fahrverhalten des Versicherten misst und daraus einen individuellen Scorewert errechnet – von 0 bis 100 Punkten. Folgende Elemente fließen dabei in die Bewertung des Verhaltens ein:

1. Wahl der angemessenen Geschwindigkeit
2. Bremsen vor Knotenpunkten
3. Beschleunigung nach Knotenpunkten
4. Bremsen vor Kurven
5. Bremsen auf gerader Strecke
6. Beschleunigung auf gerader Strecke

Zudem wird berücksichtigt, auf welchem Straßenabschnitt (Straßentyp, Umfeld, Geschwindigkeitsbeschränkungen) sich der Fahrer bewegt. Der individuelle Scorewert wird erstmals berechnet, wenn das Fahrverhalten über die App auf mindestens 400 km aufgezeichnet wurde. Der so ermittelte Scorewert geht dann in die Prämienermittlung ein, hat aber auf die Höhe und Art der Schadenregulierung keinen Einfluss.

Um volle Datensicherheit und -schutz zu gewährleisten, sind persönliche Angaben und Vertragsinformationen von den Fahrdaten getrennt. Die Generali Mobility-App wird von dem externen Dienstleister MyDrive Solutions zur Verfügung gestellt, der Teil der internationalen Generali Gruppe ist. MyDrive Solutions kennt vom Kunden lediglich die Telematik-ID, welche keinen Rückschluss auf Personen- oder Vertragsdaten zulässt. MyDrive übermittelt an das Versicherungsunternehmen nur die Information, ob sich der Kunde mit seinen Zugangsdaten in der App angemeldet hat, den Scorewert, die Anzahl der Fahrten und die gefahrenen Kilometer sowie das Datum der letzten Aufzeichnung einer Fahrt. Das Versicherungsunternehmen kann daher kein Bewegungsprofil vom Kunden oder dem Fahrzeug erstellen.

Fahrstil verbessern

Die App erfasst aber nicht nur die gefahrenen Kilometer, Fahrten und den Scorewert, sie gibt dem Fahrer auch nach jeder Fahrt in Form von Smilies ein individuelles Feedback zu den Punkten „Vorausschauendes Fahren“, „Gelassenheit“ und „Geschwindigkeit“. Diese Rückmeldung soll ihm dabei helfen, seinen Fahrstil zu verbessern und damit das Unfallrisiko weiter zu verringern. Um die Nutzung der App für den Kunden so einfach wie möglich zu gestalten, ist diese mit einer Autostart-Funktion ausgestattet, die selbstverständlich auch ausgeschaltet werden kann. Die Aufnahme startet sobald eine Mindestgeschwindigkeit von 30 km/h erreicht ist und wird automatisch gestoppt, wenn das Fahrzeug 10 Minuten lang nicht bewegt wird.

Wie verhält sich die App außerhalb des Labors unter nicht idealtypischen Bedingungen? Läuft alles reibungslos? Wie zufrieden ist unser Kunde und ist die Anwendung für ihn leicht zu bedienen? Diesen Fragen wollten wir mithilfe von Crowdtesting auf den Grund gehen.“

Alexander Maurer, Generali Deutschland

Herausforderungen und Zielsetzung beim Testing

Um sicherzustellen, dass die App höchsten Qualitätsansprüchen genügt, reibungslos funktioniert und einfach zu bedienen ist, musste sie umfassend unter realen Bedingungen getestet werden. Folgende Fragestellungen standen dabei im Mittelpunkt:

1. Sind das Handling der App und die Inhalte für den Nutzer selbsterklärend oder werden weitere Anleitungen benötigt?
2. Wie steht es um die Kompatibilität mit verschiedenen Geräten und Betriebssystemen, insbesondere bei der Android-App?
3. Funktioniert die Anmeldung bzw. der Registrierungsprozess für den Neukunden?
4. Wird die Aufzeichnung mit der Autofunktion automatisch gestartet, wenn diese Funktion aktiviert ist? Kann die App auch manuell problemlos in Betrieb genommen werden?
5. Erkennt die App den Unterschied, wenn der Versicherte zu Fuß, mit dem Fahrrad oder mit dem Zug unterwegs ist?
6. Gibt es Verbindungsprobleme bei der Aufzeichnung der App? Werden die gefahrenen Kilometer richtig erfasst?
7. Werden alle Hinweise korrekt angezeigt, z.B. wenn kein GPS-Signal verfügbar ist oder die Akku-Leistung nicht ausreichend ist, um eine Fahrt aufzuzeichnen?
8. Wird die Nutzung der App durch die parallele Verwendung anderer Anwendungen beeinflusst?
9. Wie stark beeinträchtigt die App die Akkuleistung?
10. Gibt es Darstellungsfehler oder sonstige Fehlfunktionen?

Zur Klärung all dieser Fragen sollte die Telematik-App mithilfe des IT-Dienstleister Testbirds und seiner Crowd unter realen Bedingungen auf Herz und Nieren geprüft werden, um einen technisch reibungslosen Start des Telematik-Tarifs sicherzustellen.

Generali Mobility-App auf dem Prüfstand – Testdesign und Set-up

Mithilfe eines umfassenden Briefings von Seiten der Generali wurde von Testbirds das Testdesign erstellt. Dabei galt es, die Kriterien für die Testergruppe zu bestimmen und passende Personen auszuwählen. Voraussetzung für die Testteilnahme war dabei u.a. ein gültiger Führerschein und ein eigenes Fahrzeug, da die Anwendung so realitätsnah wie möglich im Einsatz auf der Straße getestet werden sollte. Zudem mussten unterschiedliche Betriebssysteme in den Test einbezogen werden. Bei der Android-App wurden außerdem verschiedene Hersteller berücksichtigt. Darüber hinaus wurden typische Anwendungsfälle definiert und für die Qualitätssicherung relevante Fragestellungen formuliert.

Die App wurde Testbirds von der Firma MyDrive Solutions zur Verfügung gestellt. Da die App noch nicht in den offiziellen Stores von Google und Apple verfügbar war, musste sie den Testern anderweitig zugänglich gemacht werden. Hierbei kam die Testbirds Distributionsplattform BirdFlightTM zum Einsatz, mithilfe derer Beta-Apps sicher und einfach over-the-air verteilt werden können. Die erforderlichen Anmeldedaten bestehend aus Telematik ID und Aktivierungscode wurden wiederum von Generali bereitgestellt. Für die Teilnahme am Test erhielten die Probanden eine Vergütung und wurden mit einem Pauschalbetrag für die entstehenden Benzinkosten entschädigt. Für jeden gefunden Fehler erhielten die Tester zudem einen Bonus.

Insgesamt nahmen 27 Probanden am Test teil, sieben davon waren weiblich, die übrigen 20 männlich. Das Alter der Testteilnehmer lag zwischen 20 und 59 Jahren, der Altersdurchschnitt bei 32,5 Jahren.

Neben den Mobilgeräten, mit denen sich die Tester zum Test anmeldeten, waren auch bisher gesammelte Erfahrungen im Bereich der Software-Qualitätssicherung ein wichtiges Kriterium. Sowohl erfahrene Tester als auch Testneulinge sollten am Projekt teilnehmen, um unterschiedliche Perspektiven einzubringen.

Der Test bestand aus drei aufeinanderfolgenden Teilen: Zunächst wurden die Teilnehmer anhand von vier Use Cases durch die Kernbereiche der Anwendung geführt. Dabei sollten die Tester sowohl mit dem Auto eine gewisse Strecke zurücklegen als auch mit öffentlichen Verkehrsmitteln und zu Fuß. Ein typisches Szenario wurde dabei etwa wie folgt beschrieben:

Führe verschiedene Fahrten über insgesamt mindestens 50 km sowohl innerorts als auch außerorts durch und dokumentiere die Ergebnisse, indem Du nach jeder Fahrt Screenshots von der Ergebnisansicht machst. Starte die Aufzeichnung der Fahrten manuell über den Menüpunkt „Aufnehmen”.

Dokumentiere Deine Fahrten bitte außerdem anhand eines Screenshots des Fahrten-Übersicht-Screens. Im Anschluss sollten die Tester in zehn teils offenen, teils geschlossenen Fragen ausführliches Feedback geben. Abschließend machten sich die Teilnehmer explorativ auf die Suche nach Fehlern.

Ergebnisse und Learnings

Während des Tests wurden von den Probanden verschiedene Fehler gefunden, die von den Projektverantwortlichen bei Testbirds entsprechend ihrem Schweregrad kategorisiert wurden – von „kritisch“ bis „niedrig“. Nur ein Fehler wurde dabei der schwerwiegendsten Kategorie „kritisch“ zugeordnet und weitere sechs der Kategorie „hoch“. Bei den meisten Bugs handelte es sich um Fehlfunktionen wie Fahrten, die nicht zugeordnet werden konnten, oder in der App doppelt dargestellt wurden.

Insgesamt zeigte sich, dass die Generali-App bereits vor dem Test ein hohes Qualitätsniveau besaß. Besonders positiv fiel auf, dass die Registrierung ohne Probleme funktionierte und keinerlei Verbindungsprobleme bei den Aufzeichnungen der Fahrten auftraten. Auch die Beeinträchtigung der Akkuleistung durch die Nutzung der App wurde von den meisten Testern als gering eingestuft. In punkto Benutzerfreundlichkeit fiel das Fazit der Tester ebenfalls sehr gut aus. Bis auf eine Ausnahme beurteilten alle Tester die App als selbsterklärend und intuitiv nutzbar.

Auf Basis des Feedbacks der Tester formulierten die Experten bei Testbirds eine Reihe von Handlungsempfehlungen, um die Anwendung bis zum Launch noch weiter zu verbessern. Optimierungspotenzial gab es beispielsweise bei der Autostart-Funktion. Zudem zeigte das Feedback der Tester, dass die Berechnung des Scorewerts und dessen Verwendung im Rahmen des Telematik-Tarifs noch transparenter kommuniziert werden sollte.

Der Test mit der Crowd hat uns sehr dabei geholfen, unsere App weiter zu optimieren und noch besser an die Bedingungen anzupassen, unter denen sie letztlich auch von unseren Kunden genutzt wird. Die Tester haben Fehler gefunden, die uns möglicherweise gar nicht aufgefallen wären. Dank der schnellen Umsetzung des Projekts konnten wir diese bis zum Launch noch erfolgreich beheben und so unserem hohen Qualitätsanspruch gerecht werden.“

Alexander Maurer, Generali Deutschlandaj