KI darf keine Kredite vergeben – aber auch keine verweigern! Das Problem mit dem AI Act …

Mit dem AI Act will die EU regeln, wo KI eingesetzt werden darf und wo nicht. Klingt vernünftig, bremst in der Praxis allerdings den besonders spannenden Anwendungsfall der automatisierten Entscheidungsfindung. Zukünftig sollte es keine Generalverbote geben, sondern eine technische Trennschärfe zwischen kritischen Szenarien, die reguliert werden müssen, und unkritischen Einsatzbereichen, die freie Innovationsentfaltung erlauben.

von Florian Breuer,
Senior Solution Engineer bei d.velop

Die Nutzung von KI und besonders maschinellem Lernen für die Entscheidungs­findung im Finanzsektor steht oft in der Kritik. Beispielsweise bemängelt die BaFin fehlende Nachvollziehbarkeit der Entscheidungen und Risiken für Diskriminierung. Außerdem seien Kunden oft nicht über die automatisierten Entscheidungsprozesse informiert.

Besonders das Diskriminierungsrisiko sollten Institute sehr ernst nehmen, da die Anfälligkeit von KI dafür bereits aus anderen Zusammenhängen bekannt ist.”

Die KI-Nutzung im Finanzsektor ganz zu verdammen wäre allerdings angesichts der rasanten Entwicklung der digitalisierten Welt nicht mehr praktikabel. Vielmehr geht es darum, die Technologie verantwortungsvoll einzusetzen – eine Zielsetzung, die auch der EU AI Act verfolgt. Diese Verordnung verfolgt eine risikobasierte Einstufung von KI-Anwendungen, anhand derer bestimmte Nutzungsarten verboten oder stark reguliert werden können. Neben den sektorspezifischen, oft risikobehafteten Einsatzmöglichkeiten fallen auch bei Banken und Versicherungen standardisierte Büroarbeiten an, wo KI ein großes Automatisierungspotenzial bietet und freier eingesetzt werden kann.

Einschränkungen durch den AI Act

Zu den Anwendungsfällen, die durch die EU-Gesetzgebung als „Hochrisiko“ klassifiziert werden, gehören:

1.Kreditwürdigkeitsprüfung: Diese Systeme bewerten die Kreditwürdigkeit von Kunden und sind aufgrund ihrer potenziellen Auswirkungen auf Menschen, wie Gefahr von Diskriminierung, als Hochrisiko eingestuft.

2.Risikobewertung in der Versicherung: KI-Systeme, die zur Bewertung von Risiken in der Lebens- und Krankenversicherung eingesetzt werden, müssen strenge Anforderungen an Transparenz und Fairness erfüllen.

3.Betrugserkennung und Anti-Geldwäsche: Systeme zur Erkennung von Betrug und zur Bekämpfung von Geldwäsche sind ebenfalls als Hochrisiko klassifiziert und unterliegen daher besonderen Auflagen.

4.Automatisierte Handelsplattformen: KI-basierte Systeme, die für den automatisierten Handel an Finanzmärkten verwendet werden, müssen sicherstellen, dass sie keine Marktmanipulationen oder andere schädliche Aktivitäten fördern.

In diesem Bereichen gelten daher strenge Auflagen.

So müssen Finanzinstitute für Hochrisiko-KI-Systeme, wie sie etwa bei der Kreditwürdigkeitsprüfung in Banken zum Einsatz kommen, sicherstellen, dass Entscheidungen, die durch KI-Systeme getroffen werden, nachvollziehbar und erklärbar sind.”

Aufgrund des Black-Box-Problems bei tiefen neuronalen Netzen kann dies allerdings eine Herausforderung darstellen. Die „Explainability“ eines solchen Systems wird beispielsweise durch transparente Score-Zusammensetzungen gefördert. Beim Beispiel der Kreditvergabe könnte etwa a priori festgelegt werden, dass das Einkommen einer Person das Ergebnis zu 40 Prozent beeinflusst, der Schuldenstand zu 20 Prozent und so weiter. Potenziell diskriminierende Faktoren wie Geschlechtsidentität können von der Bewertung ausgeschlossen werden. Weiterhin können Visualisierungstechniken wie SHAP eingesetzt werden, die zeigen, welche anderen Faktoren das Ergebnis wie beeinflusst haben.

Zudem muss die regulatorische Aufsicht über die genutzten Systeme gegeben sein.

Die Verantwortung und potenzielle Haftung verbleiben beim Institut.”

Allein aus diesem Grund sollten Banken und andere Finanzdienstleister sicherstellen, dass KI-basierte Entscheidungen immer noch einmal von Mitarbeitern überprüft werden. Außerdem ist ein solcher „Human-in-the-Loop“-Ansatz auch vom AI Act gefordert. Dies bedeutet in der Praxis, dass ein KI-Tool lediglich Vorschläge unterbreitet, die ein menschlicher Mitarbeiter, zunächst prüfen, dann bestätigen oder abändern und schließlich begründen können muss. Bei allen KI-Systemen sollte stets ein Manual-Override-Modus implementiert werden. Zusätzlich sollte eine spezialisierte AI-Governance-Stelle eingerichtet werden, die in regelmäßigen Abständen prüft, ob trotz aller Vorsichtsmaßnahmen nicht doch durch Bias beeinflusste Entscheidungen vorkommen.

Potenziale von KI im Büroalltag

Künstliche Intelligenz ermöglicht signifikante Effizienzsteigerungen, indem sie repetitive und zeitaufwändige Prozesse im Büroalltag automatisiert. Dank Dokumenten­management­systemen (DMS) mit KI-Integration können Unternehmen viel einfacher und effizienter mit großen Datenmengen umgehen.

KI-Systeme können beispielsweise Dokumente automatisch klassifizieren, relevante Daten extrahieren und Finanzberichte effizient zusammenfassen. Diese Fähigkeiten erleichtern es Banken und Versicherungen, Unternehmensbilanzen oder Policen schneller zu analysieren und fundierte Entscheidungen zu treffen. Dies hat für Kunden Vorteile, da beispielsweise Rechnungen einer Autowerkstatt in einem KFZ-Schadensfall schneller analysiert werden können. Außerdem sparen Angestellte dadurch Arbeitszeit ein, die sie beispielsweise für bessere Betreuung der Kunden nutzen können.

Auch im Bereich der Compliance-Prozesse ist KI eine wertvolle Unterstützung für die eigenen Mitarbeiter.

Die automatische Überprüfung regulatorischer Anforderungen reduziert nicht nur den manuellen Aufwand, sondern verbessert auch die Einhaltung gesetzlicher Vorschriften.”

Fehler, die durch menschliche Nachlässigkeit entstehen könnten, lassen sich durch die präzise Analyse großer Datenmengen minimieren.

Auch generative KI findet zunehmend Anwendung im Finanzsektor.

Die Integration von Large Language Models (LLMs) ermöglicht eine tiefere Analyse von Finanzdokumenten und eine optimierte Kundenkommunikation.”

Beispielsweise können Chatbots und virtuelle Assistenten automatisierte, aber dennoch personalisierte Antworten auf Kundenanfragen liefern und damit den Service erheblich verbessern. Vorsicht sollte allerdings bei Investitionsempfehlung geboten sein. Finanzinstitute sollten entweder direkt unterbinden, dass eigene Chatbots Empfehlungen gegenüber Kunden aussprechen oder zumindest auf eine rein informative Natur derartiger Angaben hinweisen.

In internen Prozessen erlaubt es KI, Dokumentenversionen effizient zu vergleichen, sodass Änderungen und Unterschiede in Verträgen und Policen schnell erkannt werden.”

Diese Funktionen sind insbesondere bei umfangreichen und komplexen Dokumentenbeständen von großem Nutzen. Durch Abfragen in natürlicher Sprache können Mitarbeiter gesuchte Informationen sehr schnell extrahieren, auch wenn es sich um umfassende Vertragswerke handelt.

Trotz der zahlreichen Vorteile von KI bleibt die menschliche Entscheidungsverantwortung unerlässlich.”

Während KI-Systeme immense Datenmengen analysieren und strukturieren können, sollte stets eine Prüfung durch Mitarbeiter stattfinden, um Fehler zu vermeiden und Haftungsrisiken vorzubeugen.

Fazit

Gerade in einer Branche wie dem Finanzwesen, wo einzelne Entscheidungen großen Einfluss auf das Leben von Menschen haben können, sollte der KI-Einsatz sinnvoll abgewogen werden.

In Bereichen in denen Risiken für unfaire oder diskriminierende Entscheidungen bestehen, sollte streng reguliert werden. Anderseits sollten wir die Potenziale neuer Technologien nicht durch Überregulierung beschneiden und damit die europäische Wettbewerbsfähigkeit beschneiden.”

Die Abgrenzung in einen streng regulierten Hochrisikobereich ist daher sinnvoll: So bleiben Kernbereiche des Finanzsektors vor möglicherweise schädlichen Einflüssen geschützt, während Unternehmen darum herum erweiterte Freiheiten haben, um Innovationen mit KI zu realisieren.Florian Breuer, d.velop