KI im Blindflug: Wenn schlechte Daten KI-Projekte torpedieren

Versicherungsvorstände wünschen sich, dass Entscheidungen datengetrieben getroffen werden. Der Einsatz von KI verspricht dabei viele Vorteile. Und doch versanden viele KI-Projekte, nicht zuletzt wegen schlechter Datenqualität. Kein Wunder, wenn Kunden ihre Anliegen unstrukturiert ins Unternehmen einsteuern. Wer einen KI-Blindflug vermeiden will, muss sie in die richtigen Bahnen lenken. Gleichzeitig gilt es zu verhindern, dass die KI ein unkontrolliertes Eigenleben führt.

von Christian Ott, Director Global Solution Design Insurance bei SPS

Mit Blick auf generative KI-Projekte, wie sie viele Versicherer momentan anstoßen, rechnet das IT-Beratungsunternehmen Gartner damit, dass bis Ende 2025 mindestens 30 Prozent nach der Konzeptionsphase aufgegeben werden. Einer der wesentlichen Gründe dafür ist laut der Studie vom Juli 2024 die Qualität der Daten. Brancheninsider, die von SPS Germany und den Versicherungsforen Leipzig im Rahmen des Whitepapers „Industrieller Einsatz von KI in der Versicherung“ befragt wurden, können das bestätigen.

Ein wesentlicher Aspekt sind unvollständige und inkonsistente Daten, die durch unzureichende Datenmanagementprozesse entstehen. Versicherer werden daher ihre Kunden gezielter in andere Meldewege steuern und unstrukturierte Daten nutzbar machen müssen, etwa durch automatisches Klassifizieren und Taggen, durch natürliche Sprachverarbeitung (NLP) oder mithilfe von Qualitätssicherungsmaßnahmen, zum Beispiel durch spezialisierte Outsourcing-Anbieter.

Konfidenz-Niveaus schwierig zu ermitteln

Die Qualität der Daten bemisst sich nicht zuletzt nach deren Aktualität und Korrektheit.

Werden KI-Modelle mit fehlerhaften oder veralteten Angaben gespeist, spricht man vom Garbage-in-Garbage-out-Prinzip, was nichts anderes heißt als: Falsche Daten führen zu falschen Ergebnissen.”

Die Sammlung von Echtzeitdaten und die Implementierung effektiver Rückkopplungsschleifen ist unerlässlich, um sicherzustellen, dass die Modelle auf dem neuesten Stand bleiben und präzise Entscheidungen treffen.

Es geht nicht nur darum, ausreichend Daten zu haben, sondern vor allem die richtigen Daten, die nicht durch ältere, verzerrte Informationen beeinflusst sind.”

Dr. Eva Hörster, Leiterin des Data Science Teams bei der HUK-Coburg

Performance Monitoring hilft gegen Garbage aus der Black Box

Und wie kann man erkennen, ob die KI „Garbage“ produziert? Konfidenz-Niveaus von Entscheidungen sind oft schwierig zu ermitteln; das sogenannte „Black-Box-Problem“. Dies ist besonders heikel im Schadenmanagement, wo Fehlentscheidungen zu finanziellen Verlusten führen können und das Kundenvertrauen beeinträchtigen. Zentraler Bestandteil der Qualitätssicherung von KI-Modellen ist das Performance Monitoring. Folgende Ansätze spielen hier eine Rolle:

Explainable AI zielt darauf ab, die Entscheidungsprozesse transparenter zu machen.”

Tools wie LIME (Local Interpretable Model-agnostic Explanations) und SHAP (SHapley Additive exPlanations) können verwendet werden, um die Einflüsse verschiedener Eingabedaten auf die Entscheidungen eines Modells aufzuzeigen.

Laut einer Studie von Gartner ist Explainable AI eine der Top-Prioritäten für Unternehmen, um das Vertrauen in die KI-Modelle zu erhöhen.”

Ein weiterer Ansatz ist Retrieval-Augmented Generation. Sie zielt darauf ab, Halluzinationen bei großen Sprachmodellen zu minimieren. Dem LLM werden dazu gezielt relevante Informationen aus einer externen Datenbank zur Verfügung gestellt und in den Antwortprozess der KI integriert. Dadurch wird die Genauigkeit erhöht, da das Modell direkt auf zuverlässige Quellen zugreift.

KI braucht Kontrolle

Entscheidend sind kontinuierliche Überprüfung und Validierung der Modelle. Dies kann durch regelmäßige Tests mit neuen und durch Backtesting mit historischen Daten erfolgen.

Während der Implementierung prüfen wir täglich 10 bis 15 Schadensfälle und beobachten genau, was passiert. Dieser Prozess dauert vier Wochen. Die Mitarbeitenden melden regelmäßig ihre Beobachtungen, und wir nehmen auch Stichproben.”

Karin Brandl, Leiterin Schaden Komposit bei der ERGO Versicherung

Auch die Kombination von KI-Modellen mit traditionellen regelbasierten Systemen kann helfen. Solche Hybridmodelle nutzen die Stärken beider Ansätze und ermöglichen eine bessere Nachvollziehbarkeit der Entscheidungen.

Du kannst Generative AI mit deterministischen Vorgaben steuern, was auch als ein Qualitätsmechanismus funktioniert. Das bedeutet, du kannst der KI vorschreiben, in bestimmten Fällen genau nach festgelegten Regeln vorzugehen, sodass sie nicht davon abweicht.”

Simon Moser, CEO von Muffintech

Zusammenspiel von Mensch und Technologie entscheidend

Mit den genannten Ansätzen kann die Black-Box-Problematik adressiert werden. Sicher ist aber:

Menschliche Expertise bleibt unverzichtbar.”

Die Implementierung solider Datenmanagement-Praktiken, einschließlich Datenbereinigung, Datenintegration und Daten-Governance, ist entscheidend, um sicherzustellen, dass die Daten für KI-Anwendungen geeignet sind. Dafür sind technische Verfahren allein nicht ausreichend.

Eine effiziente Lösung bietet den Versicherern z. B. die Zusammenarbeit mit Outsourcing-Providern. Neben skalierbaren Plattformen besitzen sie die Möglichkeit, Near- oder Offshore-Lösungen für die menschliche Qualitätssicherung einzusetzen, was zu Kosteneinsparungen und in vielen Fällen überhaupt erst zu positiven Business Cases für einzelne KI-Projekte führt.

Durch die Auslagerung von Prozessen können Versicherer teure interne Prozesse vermeiden und ihre Betriebskosten senken.”

So sieht SPS in seinen Kundenprojekten mit KI-Lösungen eine hohe Stückkosten-Degression. Spezialisierte Dienstleister können ihre Kapazitäten zudem schnell anpassen, zum Beispiel wenn Prozessvolumen schwanken, sei es durch dynamisches Wachstum oder bei saisonalen Schadenverläufen mit entsprechenden Peaks. Eine Fähigkeit, die besonders wichtig ist, wenn KI-Projekte von der Pilotphase in den operativen Betrieb übergehen.Christian Ott, SPS