Algorithmen im Kundenservice: Wie trainiert man eine KI? Fallstudie ‘App Sparkasse’

Seit die Star Finanz die App Sparkasse lanciert hat, nutzen mehr als 13 Millionen Kunden die Anwendung, um ihre Finanzen zu verwalten – und die Zahl der Support-Anfragen steigt. Um diese zu bewältigen, setzt die Star Finanz auf Künstliche Intelligenz (KI). Bereits mehr als 30 Prozent der Anfragen werden heute automatisiert beantwortet. Doch was steckt genau dahinter und wie geht man bei der Einführung eines solchen KI-Projektes vor?

 von Oliver Krukemeyer, Leiter Kundenservice und Training bei Star Finanz

Zunächst das Ziel: Ein Teil der monatlich 1.500 Support-Anfragen, die 2021 über die App Sparkasse eingehen, soll automatisiert beantwortet werden. Heute sind es ungefähr 30 Prozent von ca. 4.500 Anfragen. Dies betrifft vor allem Kundenanfragen, die sich wiederholen, keine zu hohe Komplexität aufweisen und bei denen ein Standardsatz ausreicht, um den Nutzern weiterzuhelfen. Ein Beispiel sind Anfragen zu Kontosperrungen, die nicht in die Zuständigkeit der Star Finanz, sondern der einzelnen Sparkassen fallen. Hier werden Nutzer gebeten, sich an das zuständige Kreditinstitut zu wenden. Auch Fragen zu Funktionen der App lassen sich leicht mit einer standardisierten Formulierung beantworten, die beispielsweise eine Anleitung enthält. Auf diese Weise werden die Mitarbeiter entlastet und können sich auf komplexere Fragestellungen in der Kundenbetreuung konzentrieren. Gleichzeitig wird Kunden bei bestimmten Problemen rund um die Uhr geholfen – und zwar ohne Wartezeiten.

Die Aufgabe, die eingehenden Anfragen zuzuordnen, übernimmt ein auf Künstlicher Intelligenz (KI) basierender Algorithmus.”

Grundlage: Entscheidungsbäume

Künstliche Intelligenz (KI) kann viele Formen annehmen: von Produktempfehlungen auf Amazon über Gesichtserkennung bis hin zu den Plaudertaschen Alexa und Siri. Im vorliegenden Fall hat KI die Aufgabe, Anfragen von Usern richtig einzuordnen und diese entweder entsprechend zu beantworten oder an den Support weiterzuleiten. Dazu dient ein Algorithmus, der auf dem XGBoost-Modell basiert – einer Open-Source-Software, die zu den stärksten Algorithmen des maschinellen Lernens gehört und unter anderem für Problemstellungen der Klassifizierung verwendet wird. Im Mittelpunkt steht dabei eine Vielzahl von Entscheidungsbäumen, die kombiniert werden, um eine Vorhersage zu erzeugen.

Dafür analysiert die KI nach dem Prinzip des Natural Language Processing Textbausteine in den Anfragen, bei der Stichworte gewichtet und zudem Kombinationen berücksichtigt werden. Tauchen etwa Begriffe wie „Konto“ und „gesperrt“ oder andere zu diesem Thema gehörende Stichworte in einer Kundenanfrage auf, müsste der Algorithmus diesen Datensatz als Anfrage zur Kontosperrung einordnen und einen vorgegebenen Antworttext an den Nutzer schicken.

Die Maschine lernt, vom Menschen überwacht

Dazu muss der Algorithmus zunächst einmal trainiert werden, denn hierbei handelt es sich um die sogenannte „Supervised Learning“-Variante des maschinellen Lernens. Beim „überwachten Lernen“ sind die Daten bekannt – sowohl die Input- als auch die Output-Daten sind vorhanden – und bilden die Lerngrundlage für die zukünftige Datenverarbeitung.

Derjenige, der die KI trainiert, muss also zunächst die richtigen Antworten vorgeben, hier: Die Anfragen in sinnvolle Kategorien einordnen.”

Dazu werden in einem ersten Schritt 20.000 Anfragen analysiert und Cluster gebildet, die über Reverse-Engineering aus den teilweise standardisierten Antworten der Support-Mitarbeiter ermittelt werden. Das Resultat: 17 Kategorien, denen alle Daten zugeordnet sind. Anschließend werden die Daten – In- und Output – in den Algorithmus eingespeist und dieser zunächst getestet.

Die Zuordnung der Anfragen durch den Algorithmus muss durch den Verantwortlichen kontrolliert werden, der die Vorhersage des Algorithmus entweder korrigiert oder bestätigt. Falsch zugordnete Anfragen müssen nochmal manuell kategorisiert und eingespeist werden. Mit jeder Iteration wird das Leistungsniveau des Algorithmus besser, die Genauigkeit der Zuordnungen steigt. Gleichzeitig müssen die Ergebnisse hinterfragt werden, vor allem wenn die KI die Anfragen falsch zuordnet: Warum ist etwa eine Anfrage in Kategorie C und nicht A gelandet? Ist eine Anfrage nur falsch kategorisiert worden oder kann die KI sie nicht einordnen? Dann müssen gegebenenfalls die Kategorien überdacht werden. Nach etwa einem Dutzend Anläufen, die zudem jeweils aus mehreren Trainingsiterationen bestanden, wurden aus den 17 ursprünglichen Kategorien 21, wobei einerseits einige neue dazugekommen sind, andererseits aber auch Kategorien zusammengefasst wurden, zum Beispiel jene, die weniger als 50 Mal von der KI automatisiert beantwortet wurden.

Die Grenzen der KI

Auch wenn „Künstliche Intelligenz“ sehr eindrucksvoll klingt, sprechen wir hier nicht von einer KI, die selbständig Probleme löst oder jede Fragestellung beantworten kann. Das ist auch der Grund, warum die Zuordnungen durch den Algorithmus regelmäßig von Menschen geprüft werden müssen. Denn im Gegensatz zum unüberwachten Lernen („Unsupervised Learning“) erstellt die KI hier keine eigenen neuen Kategorien, und mit dem Aufkommen neuer Themen bei den Kundenanfragen müssen auch die Zuordnungen manuell überarbeitet, gegebenenfalls neue Kategorien erstellt und die KI darauf trainiert werden. Dies ist zwar aufwändiger als ein Algorithmus, der selbst lernt, jedoch ist das Risiko, dass der Algorithmus falsche Schlussfolgerungen zieht und unzutreffende Vorhersagen tätigt, deutlich geringer – ein wesentlicher Punkt beim Einsatz von KI im Kundenservice, denn der Kunde soll korrekte Antworten erhalten. Um dies zu gewährleisten, werden auch nur dort automatische Antworten versendet, wo die Treffsicherheit hoch ist. Neue Situationen bei den Kundenanfragen durch neue Funktionen in der App werden daher bewusst zunächst durch den menschlichen Supportagenten bearbeitet und erst anschließend automatisiert. Auf diese Weise wird ein gutes Kundenerlebnis gesichert.

Generell funktioniert die KI im Kundensupport nur bei Problemstellungen, die relativ eindeutig sind und bei denen ein Standardtext ausreicht, um sie zu beantworten. Dabei können die Antworten an den Kunden beliebig komplex sein – der entscheidende Faktor besteht darin, dass die KI sich bei der Antwortkategorie sicher ist. Dafür gibt es zwei Voraussetzungen: Einerseits muss für jede Kategorie eine ausreichende Menge an Anfragen/Daten vorliegen, die sich gleichen und demselben Cluster angehören – im vorliegenden Fall mindestens 50 Anfragen pro Kategorie. Denn je mehr Anfragen bzw. Daten für eine Klasse vorliegen, umso genauer kann der Algorithmus bei seiner Vorhersage sein. Gleichzeitig muss eine sinnvolle Kategorisierung möglich sein, um die Daten eindeutig zuzuordnen. Gibt es etwa zu viele verschiedene Kategorien – im vorliegenden Fall ergab sich eine Obergrenze von 50 Kategorien – stößt die Methodik an ihre Grenzen. Auch eine starke Ungleichverteilung bei den Klassen ist problematisch. Das ist auch der Grund, warum sich eine solche KI nur sehr schwer und mit einem hohen Aufwand auf Bereiche mit sehr vielfältigen und individuellen Anfragen anwenden lässt – in dem Fall sollte man sich fragen, ob der Aufwand und der Ertrag verhältnismäßig sind.

Effizienzsteigerung mit künstlicher Intelligenz

In ihrer aktuellen Ausgestaltung bieten KI und Maschinelles Lernen interessante Nutzungspotenziale.

Überall, wo Aufgaben repetitiv sind oder Angestellte geistig wenig beanspruchen, besteht die Chance, Prozesse zu verschlanken und Aufwand zu sparen.”

Bei der App Sparkasse werden inzwischen ungefähr 35 Prozent der Anfragen von der KI beantwortet. Angestellte des Kundenservice können sich so der individuellen Kundenberatung und Fragestellungen widmen, die Kreativität erfordern und anspruchsvoll sind. Bei jedem Projekt ist jedoch die wichtigste Frage: Wie sinnvoll ist KI im gegebenen Kontext und lohnt sich der Aufwand?

Für eine weitere Automatisierung ist es erfolgskritisch, dass die Supportagenten neue Sachverhalte strukturiert erfassen und beantworten. Auf diese Weise ließe sich ihre Arbeit sehr einfach zur Erweiterung des KI-Modells nutzen, denn so erhält man permanent neue Trainingsdaten – und zwar so, wie die KI sie braucht: qualitativ hochwertig. Ein weiterer Punkt ist die zukünftige automatische Erkennung von plötzlich auftretenden Problemen. Diese würde es dem Support ermöglichen, schneller zu reagieren – und im Best-Case-Szenario erhalten Kunden direkt eine automatische Antwort.Oliver Krukemeyer, Star Finanz