Risikosteuerung: analytische Prozesse und Prognose­modelle auf KI-Basis müssen überprüft werden

Durch den Einsatz von Künstlicher Intelligenz (KI) und Machine Learning (ML) sind analytische Prozesse und Prognosemodelle für die Risikosteuerung in den letzten Jahren stets mächtiger geworden. In der aktuellen Situation aber müssen alle Modelle überprüft werden, weil sich die Ausgangsvoraussetzungen geändert haben.

von Dr. Karla Schiller und Martin Baumann, Experian

Wie gut das gelingt, hängt wesentlich von den Feedbackzyklen ab, also den Zeiträumen, die vergehen, bis Änderungen an den Modellen messbare Resultate zeitigen, die als Input für mögliche weitere Änderungen dienen können. So können wir beispielsweise davon ausgehen, dass wir unsere Modelle im E-Commerce mit seinen kurzen Feedbackzyklen schneller und erfolgreicher anpassen können. Im Kreditwesen hingegen sieht die Situation ganz anders aus. Hier haben wir deutlich längere „Performanceperioden“ der Kunden in Bezug auf ihr Nutzungs- und Zahlungsverhalten, d.h. die durchschnittliche Zeit, bis es zu einem Ausfall kommt, ist länger. Zusätzlich tragen staatliche Schutzmaßnahmen dazu bei, dass sich Ausfälle, zu denen es auch ohne Corona gekommen wäre, nicht kurzfristig in den Daten wiederfinden.

Die aktuelle Ausnahmesituation sowie die Unterschiede zwischen E-Commerce und Kreditwesen sind hervorragend geeignet, die Möglichkeiten von KI und ML in der Risikosteuerung zu beschreiben, insbesondere das notwendige Zusammenspiel von künstlicher und menschlicher Intelligenz.”

Chancen des ML

Der Einsatz von KI und ML in der Analytik bietet u.a. einen grundlegenden Vorteil: Es ist möglich, deutlich mehr Datenquellen unterschiedlichster Art und Inhalte einfach und schnell für die Modellierung zu nutzen. Auf diese Art können z.B. Betrugsmuster effizient aufgedeckt werden: Zu den praktischen Beispielen gehört die Kontrolle der Tippgewohnheiten eines Kunden, um dessen Identität zu überprüfen. Ein ML-System kann bspw. anhand der Tippgeschwindigkeit analysieren, ob die Dateneingaben z.B. in einem Online-Shop von einer Person oder einer Software bzw. einem Roboter vorgenommen werden. Darüber hinaus kann es etwa feststellen, ob die eingegebenen Daten auf einem bekannten Gerät von dem zugeordneten Kunden stammen oder von einem potenziellen Betrüger. Eine weitere Möglichkeit bietet die Nutzung der im Internet angegebenen und verfügbaren (unstrukturierten) Daten, natürlich unter Berücksichtigung der jeweiligen datenschutzrechtlichen Vorgaben. Diese können Kreditgeber beispielsweise nutzen, um Informationen zu kleinen und mittelgroßen Unternehmen zu berücksichtigen. Hier haben sie anderenfalls häufig mit einer Informationsarmut zu kämpfen oder mit aufwändigen Informations- und Dokumentationsprozessen, die gut begründete Entscheidungen schwierig machen und die Kunden abschrecken.

Außerdem sind ML-Verfahren in der Lage, komplexe Zusammenhangsstrukturen zu nutzen. Das macht sie auf der einen Seite so mächtig, auf der anderen Seite aber auch in erster Instanz intransparent und wenig manuell nachjustierbar.”

Menschliche Expertise

Um besser zu sehen, welche Rolle die menschliche Erfahrung und Expertise auch beim Einsatz hochmoderner ML-Systeme spielt, betrachten wir zunächst den E-Commerce. Die Pandemie hat die Situation hier stark beeinflusst und den Trend vom Ladengeschäft zum Online-Handel weiter beschleunigt. Am Black Friday 2020 beispielsweise hat der Online-Handel in Deutschland 40 Prozent mehr Transaktionen verzeichnet als am selben Tag ein Jahr zuvor. (Die Angaben beziehen sich auf Transaktionen in Deutschland, die über die Systeme von Arvato Financial Solutions und Experian abgewickelt wurden, insgesamt 6.696.562 zwischen 0 Uhr am 27.11.20020 und 24 Uhr am 30.11.2020). Mit der Menge der Online-Bestellungen ist entsprechend auch die Anzahl der Online-Betrugsversuche gestiegen. Zudem kommt es in Zeiten erhöhter Einkäufe wie vor Weihnachten auch zu Zahlungsausfällen aus nicht-betrügerischen Gründen. Die Konsequenzen dieser gestiegenen Betrugsversuche und Zahlungsausfälle stellen sich schnell ein. Besonders häufig kommen Betrugsversuche bei der Zahlung auf Rechnung vor, die sich allgemein in Deutschland nach wie vor großer Beliebtheit erfreut. Selbst bei dieser Zahlart ist ein Ausfall im Vergleich zum Kreditwesen sehr schnell zu erkennen. Das heißt, dass KI- und ML-Systeme kurzfristig Feedback erhalten. Die Systeme können die Regeln anpassen und schnell beurteilen, wie gut die veränderten Strategien z.B. bei der Betrugskontrolle und Zahlungsmittelsteuerung funktionieren.

Im Kreditwesen liegt der Fall deutlich anders. Hier dauert es im Schnitt mindestens sechs Monate, eher ein Jahr oder noch länger, bis es zu einem Kreditausfall kommt. Banken können sicher sein, dass sie ihre Risikomodelle aufgrund der aktuellen Krise anpassen müssen. So geht eine aktuelle Studie von McKinsey davon aus, dass sich Banken auf eine ganze Reihe schwerer Jahre einstellen müssen.

KI- und ML-Systeme sind in dieser Situation allerdings nur bedingt hilfreich, weil ihnen die (Feedback-) Daten fehlen, um die Modelle anzupassen. Hier ist menschlicher Sachverstand noch wichtiger als im Fall des E-Commerce, er ist unabdingbar.”

Es beginnt das, was wir als „Puzzle-Arbeit der Experten“ bezeichnen oder auch als „Königsdisziplin der Analytik“.

Im beschriebenen Fall müssen sich Experten mit viel Erfahrung Gedanken machen, wie sie das Vakuum an verwertbaren Daten füllen können. Hierzu suchen sie beispielsweise nach Daten, die kurzfristigere Rückschlüsse erlauben und fragen sich etwa, inwiefern die Entwicklungen bei geduldeten Überziehungen von Girokonten auf Hypotheken oder Autokredite übertragbar sind. Auch außerhalb der Branche werden sie verwertbaren Input aufspüren und untersuchen, inwiefern Daten und beobachtbare Muster aus dem E-Commerce auf das Bankwesen übertragbar sind. Oder wie sieht es mit der Reaktion von Konsumenten im Beitreibungsprozess aus? Sind diese Entwicklungen übertragbar? So suchen sie peu à peu Puzzlestücke zusammen, deren Nutzbarkeit sie nur durch lange Erfahrung und Marktwissen beurteilen können, die in vielen Jahren entstanden ist. Auch im besten Fall werden die Puzzlestücke am Ende kein komplettes Bild ergeben, was nicht verwundert, ist doch anfangs nicht einmal klar, was die Randstücke und was die Stücke für den Himmel sind. Nur mit technischen Hilfsmitteln, ohne den menschlichen Faktor, hätten aber nicht einmal diese Puzzlestücke gefunden werden können.

Gemeinsam geht‘s

Die menschliche Expertise ist aber nicht nur in den beschriebenen außergewöhnlichen Situationen unverzichtbar. Auch in der Alltagsroutine der Analytik ist ein sehr gutes Zusammenspiel von KI-Systemen und Expertenwissen notwendig. Das gilt schon für den oben beschriebenen Fall des E-Commerce. Auch wenn heutige KI-Systeme genügend Input erhalten, um Strategien sinnvoll anpassen zu können, sollten menschliche Experten kontrollieren, worin diese Anpassungen bestehen und ob tatsächlich alle Anpassungen zielführend sind.

Die Kontrolle der KI-Systeme ist eine wichtige Funktion menschlicher Experten. So können wir zwar durch Einsatz von KI bspw. die Trennschärfe deutlich verbessern, d.h. wie gut ein Ratingsystem gute von schlechten Kunden trennen kann. Besonders spannend ist in diesem Fall aber die Frage, wie die KI diese Verbesserungen erzielt. Nur wenn die Experten verstehen, wie die künstliche Intelligenz diese Verbesserungen erzielt hat, können sie entscheiden, ob man entsprechende Anpassungen auch in anderen Bereichen anwenden kann und ob die KI nicht bei veränderten Randbedingungen mit derselben Präzision in die Irre führt. Hier helfen Erklärbarkeitsansätze weiter, die in der letzten Zeit zunehmend an Bedeutung und Leistungsfähigkeit gewonnen haben.

Diese Erklärbarkeit beim Einsatz von KI und ML wird zurecht von Aufsichtsbehörden wie auch von der Gesellschaft generell erwartet. Aktuell wird auf diesem Feld viel geforscht. Es stehen aber auch schon verschiedene Ansätze zur Verfügung. So hat sich bspw. die Anwendung sogenannter „Surrogatmodelle“ bewährt, oder auch der aus der Spieltheorie stammende SHAP (Shapley Additive exPlanations) Ansatz. Über die Erklärbarkeit soll damit auch die Fairness der verwendeten Modelle gewährleistet werden.

Im Zusammenspiel zwischen künstlicher und menschlicher Intelligenz spielt die KI somit häufig die Rolle eines hermeneutischen Hilfsmittels.”

Indem menschliche Experten verstehen, wie künstliche Intelligenz Prozesse optimiert, können sie aus diesem Verständnis allgemeine Regeln ableiten. Diese erlauben ihnen dann wiederum, bessere Systeme zu entwerfen und auch die KI selbst in einer Art Feedbackschleife aus menschlicher und künstlicher Intelligenz weiter zu optimieren.Dr. Karla Schiller und Martin Baumann, Experian