Insiders Technologies: Benchmarking von LLMs für Versicherungen

Insiders Technologies, Anbieter von Software für Intelligent Automation (IA), bietet ein Tool zur Auswahl von Large Language Modellen (LLMs) für Versicherer. Der Benchmark soll die Leistung einzelner LLMs basierend auf spezifischen Anforderungen aus dem Inputmanagement von Versicherungen vergleichen.

In der Januar-Ausgabe des Benchmarks wurden laut Insiders Technologies 15 Modelle getestet.  Darunter unter anderem verschiedene GPT-Versionen von OpenAI, mehrere Claude-Varianten von Anthropic, verschiedene Modelle des europäischen Anbieters Mistral, LLAMA von Meta, Gemini von Google sowie auch das Private LLM von Insiders Technologies.

US-Anbieter haben bei LLMs die Nase vorn

Das aktuelle LLM Benchmarking zeige: Die bekannten US-amerikanischen Anbieter hätten aufgrund ihrer Rechenleistung und der Menge an Trainingsdaten die Nase vorn. Auf Platz 1 im Gesamtranking landet demnach Claude 3.5 Sonnet von Anthropic, gefolgt von GPT-4o von OpenAI und Gemini 1.5 Pro von Google. Aufgrund seiner hohen Standards beim Datenschutz sei das Private LLM von Insiders Technologies für die Verarbeitung besonders sensibler Informationen aus der Versicherungswirtschaft geeignet.

Wie Insiders Technologies mitteilt, habe es ein breites, standardisiertes Testfeld aus typischen Anwendungsfällen und praxisnahen Testdaten aus der Versicherungswirtschaft geschaffen. Die Anwendungsfälle in der Testmenge beinhalteten unter anderem:

• Adress- und Namensänderungen
• Prämienrechnungen
• Schadensberichte
• SEPA-Mandate
• Medizinische Dokumente

Damit würden sie eine Vielzahl an gängigen Geschäftsprozessen abbilden.

Mit dem LLM-Benchmarking für Versicherungen liefert Insiders Technologies eine unverzichtbare Entscheidungsgrundlage für den Einsatz von LLMs in der Versicherungswirtschaft. Versicherungen haben einen teilweise sehr spezifischen Bedarf und die Wirtschaftlichkeit einer Lösung entscheidet sich immer im Detail. Da ist die Transparenz durch den LLM Benchmark Gold wert.“

Rolf Zielke, Executive Consultant bei Insiders Technologies

Eine spezielle Anwendung von Insiders Technologies ermögliche die Nutzung der jeweils aktuell besten LLMs. Auch in Kombination zur Lösung spezifischer Anwendungsfälle. Mit den Detailkenntnissen aus dem Benchmarking könne das Unternehmen so konkrete Empfehlungen für den Einsatz bestimmter Technologien in bestimmten Use Cases aussprechen.

Bei der Frage nach dem besten Large Language Model gehe es allerdings nicht nur um Rechenleistung, betont Insiders Technologies. Gerade im Versicherungs- und Finanzbereich müssten Unternehmen häufig zwischen Leistung und Sicherheit abwägen. Hinzu kämen individuelle Vorgaben in Bezug auf Kosten, Geschwindigkeit und dem Grad der Dunkelverarbeitung. Oft bringe die Kombination von Deep-Learning-Verfahren, die auf dem aktuellen technischen Stand sind, und modernen LLMs den gewünschten Erfolg.

Die Januar-Ausgabe 2025 des LLM-Benchmarkings für Versicherungen gibt es hier zum Nachlesen.dw