Confidential AI: Lokale KI‑Integration – effiziente App-Optimierung ohne externe Abhängigkeiten

Wann immer es nicht xAI sein muss, sollte zumindest Confidential AI zum Einsatz kommen, denn: Künstliche Intelligenz ist eine latente Gefahr für die Datensouveränität von Unternehmen. Wer sich dieser Gefahr nicht aussetzen will, muss Strategien und Taktiken für den sicheren und zugleich produktiven Umgang mit KI entwickeln. Andrea Wörrlein (CEO VNC) erklärt die wichtigsten Parameter von Confidential AI.

von Andrea Wörrlein, VNC

Künstliche Intelligenz und Confidential Computing stehen in einem scheinbar unauflösbaren Spannungsverhältnis: Einerseits stellt KI eine latente Bedrohung für Confidential Computing dar, andererseits kann sie bei dessen Umsetzung helfen.

Das Zauberwort zur Auflösung dieses Widerspruchs lautet Confidential AI. Es beschreibt ein Konzept für den Umgang mit KI, das die größten Unsicherheitsfaktoren identifiziert und handhabbar macht.”

Daten und Datensouveränität stehen dabei an erster Stelle. Zusätzlich kann KI dadurch gezielt und sicher für die Optimierung von Kollaborations- und Kommunikations-Apps eingesetzt werden.

Die fünf wichtigsten Elemente sind dabei:

Dezentrale LLMs: Üblicherweise laufen Large Language Models (LLMs) auf den proprietären Hyperscaler-Plattformen der Anbieter. Was dort mit den Daten passiert, bleibt im Ungewissen. Daher ist es sinnvoll, die LLMs über entsprechende Toolkits (etwa Intel OpenVINO) auf eigene Plattformen herunterzuladen. Sowohl die Daten als auch die Applikationen bleiben so im eigenen Rechenzentrum und sind vor unbefugtem Zugriff geschützt.

Local AI für die App-Optimierung: Abgespeckte Modelle dieser LLMs können direkt in Applikationen in dafür ausgelegten Software-Stacks integriert werden. Die Einbindung von KI-Funktionen wie intelligenten Assistenten ist so ohne Umwege und jederzeit transparent möglich. Über modulare Plattformen stehen sie zudem potenziell allen Anwendungen in gleicher Form modulübergreifend zur Verfügung.

Training der Modelle über lokale Knowledge Base: LLMs werden in der Regel mit Big Data trainiert. Durch die lokale Nutzung von LLMs können sie zusätzlich durch Abfragen auf die eigene Datenbasis schnell, gezielt und praxisnah weiter trainiert und optimiert werden. Dadurch sind sie auch jederzeit transparent und auditierbar.

Beschleunigung durch Indizierung: Zusätzlich kann der Zugriff auf die lokale Knowledge Base durch die Indizierung der Datenbestände beschleunigt werden. Abfragen erfolgen dann nicht mehr auf die gesamte Datenbasis, sondern nur noch auf die Indizes. Das erhöht die Schnelligkeit, Verfügbarkeit und Treffergenauigkeit – und damit die Produktivität.

Open Source: Open Source ist der natürliche Feind proprietärer Systeme. Um Abhängigkeiten (Vendor Lock-in) von vornherein auszuschließen, sollten für Confidential Computing nicht nur chronisch intransparente anbieterspezifische KI-Plattformen (PaaS) gemieden werden, sondern auch auf der Software-Ebene (SaaS) sollte Open Source für KI-Anwendungen die erste Wahl sein.

Confidential AI gibt Unternehmen und Anwendern die Souveränität über ihre eigenen Daten und Applikationen zurück. Künstliche Intelligenz kann so sicher, gezielt, unabhängig und praxisnah zur Steigerung der Produktivität wie auch der Arbeitszufriedenheit eingesetzt werden.Andrea Wörrlein, VNC