KI unentdeckt per Shortcut Learning trainieren? Ein folgenschweres Risiko für Banken & Versicherer!

Deep Learning hat ein Problem: Shortcut Learning – das Phänomen kann zu einem Verlust der Problemlösefähigkeit von maschinellen Lernverfahren führen! Insbesondere der Einsatz von KI-basierten Verfahren in kritischen Anwendungsbereichen, wie dem Finanz- und Bankensektor, birgt dadurch folgenschwere Risiken, mit denen sich Unternehmen und Organisationen dringend stärker befassen müssen – und was Kühe damit zu tun haben.

von Dr. Kevin Yam, DPS-Gruppe 

Anschaulich lässt sich das Phänomen des Shortcut Learnings an der Bilderkennung von Kühen illustrieren. Trainiert man ein tiefes neuronales Netz, zumeist ein sogenanntes faltendes neuronales Netz, mit Beispielbildern von Kühen in einem typischen Kontext, also in der Regel auf oder vor einer grünen Wiese, so kann es passieren, dass das neuronale Netz nicht etwa die generischen äußeren Eigenschaften von Kühen erkennt, sondern einfach nur einen Zusammenhang zwischen der Farbe Grün und Kühen herstellt. Wird anschließend eine, auf einem derartigen neuronalen Netz basierende, Bilderkennungssoftware mit einer Kuh vor einem blauen Hintergrund konfrontiert, so wird diese wahrscheinlich nicht als solche erkannt werden. Hingegen würde eine Katze vor einer grünen Wandtapete, wohl möglich, fälschlicherweise als Kuh identifiziert werden.

Die KI hat also eine Abkürzung, oder Englisch einen Shortcut, genommen und anstatt der Fähigkeit zur wirklichen Bilderkennung nur eine Scheinkausalität, aufgrund einer vorhandenen Korrelation in den Trainingsdaten, erlernt.”

Dieses in der vergleichenden Psychologie und den Neurowissenschaften bereits bekannte Phänomen stellt künstliche Intelligenz zunehmend vor Herausforderungen. Allgemeiner könnte man Shortcut Learning als eine Anomalie bezeichnen, die unter sehr allgemeinen und eher unspezifischen Umständen auftritt, wenn ein Modell auf Basis von Maschinellem Lernen zwar einfach zu erkennende, aber irrelevante Zusammenhänge erlernt und diese fälschlicherweise verallgemeinert.

Vereinfacht gesprochen wählt das Modell den Weg des geringsten Widerstandes, verliert aber dadurch seine Fähigkeit zur Problemlösung in realen Anwendungsszenarien.”

Gravierende Folgen für Banken

Insbesondere Finanzdienstleister und Banken haben besonders hohe regulatorische Anforderungen zu erfüllen und der Einsatz von KI-gestützter Software birgt häufig ein enormes finanzielles Schadenspotenzial. Im günstigsten Fall wird eine unbrauchbare KI in der frühen Testphase verworfen und als Fehlinvestition verbucht. Zwar können hierdurch hohe finanzielle Schäden entstehen, da nicht nur die direkten Entwicklungskosten berücksichtigt werden müssen, sondern oftmals auch Kosten, die durch eine strategische Fehlplanung entstanden sind, insbesondere wenn Pilotprojekte innerhalb einer organisationsweiten KI-Strategie betroffen sind.

Im ungünstigeren Fall wird eine, z.B. durch Shortcut Learning, fehlgeleitete KI in Betrieb genommen bzw. in den Markt gebracht, was insbesondere in kritischen Anwendungsfällen mit wenig Fehlertoleranz, wie beispielsweise der Kreditvergabe, der Finanzberatung oder dem Risikomanagement, verheerende Folgen nach sich ziehen kann.”

Von entscheidender Bedeutung sind dabei nicht nur die konkreten Entscheidungen oder Handlungsempfehlungen, die eine KI trifft, sondern auch die Datengrundlage, auf der die KI trainiert und entwickelt wird. Letztlich muss eine transparente Entscheidungslogik der KI gewährleistet und mögliche modell-bedingte Fehlerquellen, wie das Erlernen von Shortcuts, muss konsequent auf fehlerhafte Daten zurückgeführt und im nächsten Schritt ausgeschlossen werden können. Die Anforderungen an ein adäquates Risikomanagementsystem werden hierbei, insbesondere durch die geplanten Initiativen zu einem europäischen Gesetz zur künstlichen Intelligenz, zukünftig weiter erhöht werden.

Es braucht bessere Risikomanagementsysteme

Um nachhaltige Vermeidungsstrategien und Risikomanagementsysteme entwickeln und erfolgreich implementieren zu können, muss sich die fortlaufende wissenschaftliche Diskussion zukünftig noch stärker auf praktische und unternehmerische Aspekte ausweiten. Hierbei wird die sorgfältige Reflexion von Erkenntnissen über die technologie- und modellbedingten Entstehungsgründe von Shortcut Learning zwar eine entscheidende Bedeutung haben, aber genauso wichtig werden die Konzeption und Umsetzung von Maßnahmen zur Anpassung von Management und Organisation im Rahmen von KI-Projekten sein.

Ein erster konkreter Handlungsstrang wäre der Aufbau einer eigenen Wissensbasis, die Unternehmen und Organisationen dazu befähigen soll, Projekte im Bereich der Entwicklung von KI-Anwendungen besser, in Hinblick auf Risikomanagement und Umsetzung von Qualitätsstandards, zu strukturieren und fachspezifisches Domänenwissen und technisches Best-Practice-Knowhow miteinander zu verknüpfen.”

Dr. Kevin Yam, DPS-Gruppe