Wie Banken vom strukturierten Management ihrer analytischen Modelle profitieren

Die Aufsichtsbehörden in Europa und Amerika schauen zunehmend genauer hin, wenn es darum geht, die in Banken eingesetzten Modelle zur Risikoprognose zu überprüfen. Dabei umfasst der Erklärungsbedarf nicht nur die Nutzung von prädiktiven Modellen in der Kreditentscheidung (Use Test). Im Mittelpunkt stehen immer mehr die Nachvollziehbarkeit, Relevanz und Qualität der eingesetzten Modelle. So obliegt es den Banken, den Entwicklungsprozess lückenlos nachvollziehbar zu gestalten und hohen Transparenzanforderungen zu entsprechen.

von Dr. Marc Drobe, FICO

Neben der Modellentwicklung sind für Transparenzanforderungen die Validierung, Implementierung und Nutzung sowie der Prozess der Modellüberwachung und –anpassung detailliert zu dokumentieren und zu erklären. Das führt dazu, dass analytische Ressourcen zunehmend und zu einem hohen Maß mit der Informationsbeschaffung und
-aufbereitung belastet sind.

Aufsichtsbehörden fordern immer mehr Auskünfte und Details, wenn sie Modelle zur Risikoprognose überprüfen. Um diesen wachsenden Anforderungen zu begegnen, führen viele fortschrittliche Institute formelle Modellmanagementprozesse ein, die den kompletten analytischen Entwicklungszyklus abbilden. Während aber die Anforderungen und Best Practice-Prozesse relativ gut verstanden werden und weit verbreitet sind, ist die Implementierung und Sicherstellung der Konsistenz über verschiede Bereiche und Teams von Analytikern hinweg immer noch eine große Herausforderung.

Prädiktive Modelle sind schwerfällig

Prädiktive Modelle werden in Banken, insbesondere im Retailgeschäft, zunehmend auch genutzt, um Portfolios aktiv zu steuern, Erträge und Margen zu optimieren und die Kundenbindung zu steigern. Mit steigender Anzahl der eingesetzten Modelle, die vielfach verteilt über verschiedene Abteilungen und Entwicklungsteams sind, steigen auch die Anforderungen an die Modellüberwachung. Diese kann jedoch nicht immer mit der schnellen Weiterentwicklung der Modelle mithalten. Butler Analytics hat im Artikel „The Regulatory Opportunity in Financial Services“ sogar festgestellt, dass „manche Banken schlichtweg nicht wissen, wie viele Modelle sie einsetzen.“ Teils werden die Informationen zu einzelnen Modellen an so vielen unterschiedlichen Stellen im Unternehmen vorgehalten, dass es nur mit großem Aufwand möglich ist, Audits vorzubereiten oder regulatorische Anfragen zu beantworten. Laut dem Butler-Bericht müssen beispielsweise die Mitarbeiter im Bereich Modellbildung einer großen US-Bank 80 Prozent ihrer Arbeitszeit darauf verwenden, regulatorischen Vorgaben nachzukommen – statt dringend benötigte neue Modelle zu entwickeln.

Auch wenn der geschilderte Fall ein Extrem darstellen mag, muss jede Bank einen Weg finden, mit den Auswirkungen der gestiegenen Zahl von Anfragen durch Aufsichtsbehörden auf die Produktivität und Leistungsfähigkeit seiner Analytik-Teams umzugehen. Denn wenn diese Teams sowohl die Modellentwicklung als auch das Zusammenstellen von Berichten leisten müssen, werden wertvolle Analytik-Ressourcen für Compliance-Aufgaben abgezogen. Prozesse, die für die Bank signifikante Mehrwerte schaffen könnten, bleiben dabei auf der Strecke. Wie also können Banken es schaffen, ihre aufsichtsrechtlichen Vorgaben zu erfüllen, ohne dabei die operative Arbeit an den Modellen so zu vernachlässigen, dass ihnen dadurch Wettbewerbsnachteile entstehen?

Strukturierte und unstrukturierte Daten aus Modellentwicklung und -einsatz vorhalten

Die dafür notwendigen effizienten und transparenten Prozesse können mit dem Einsatz moderner Modellmanagement- Systeme implementiert werden, die eine zentrale Modellverwaltung mit automatisierten und konfigurierbaren Prozessen verbindet. Im Kern dieser Lösungen steht die zentrale Speicherung aller mit der Entwicklung und dem Einsatz von Modellen verbundenen Informationen. Mit der Implementierung von standardisierten Workflows wird sichergestellt, dass über den Gesamtprozess entstehende strukturierte und unstrukturiere Daten aus Modellentwicklung und -einsatz verfügbar sind.

In der Modellentwicklung und zur Erfüllung regulatorischer Anforderungen ist es notwendig, folgende Informationen vorzuhalten:
1. Details zum Zweck des Modells
2. zu den untersuchten Daten und deren Quellen
3. zu Kernannahmen
4. zu angewendeten Ausschlusskriterien für die Entwicklungsdaten
5. zu Einzelvariablenanalysen
6. zu Segmentierungen
7. sowie zu den Modellvariablen und deren Gewichtung.

Darüber hinaus ist der Einsatz der Modelle sowie ihre Funktionsfähigkeit und Qualität zu überwachen: Wo werden Modelle zur Unterstützung welcher Entscheidungen eingesetzt? Wie gut ist die Prognosequalität des Modells? Welchen Beitrag liefern die einzelnen Modellvariablen? Diese zeitintensive, wiederkehrende Arbeit der Validierung und Beurteilung von Modellen kann weitestgehend automatisiert werden, so dass gleiche Kriterien angewendet werden und damit eine konsistente Beurteilung des kompletten ‚Modellinventars‘ möglich ist.

Die Ergebnisse der automatisierten Modellvalidierung und -bewertung werden im Rahmen eines Model Management-Systems in einem ‚Cockpit‘ zur Verfügung gestellt. So ist es möglich, Auffälligkeiten ohne Verzug zu erkennen und rechtzeitig geeignete Maßnahmen einzuleiten. Durch die zentrale Vorhaltung aller Informationen können Fragen zu Modellentwicklung und -Einsatz sowohl gegenüber dem eigenen Management als auch gegenüber Regulatoren effizient und umfänglich beantwortet werden.

Mit automatisierten Prozessen das Dilemma der Analytik-Teams überwinden

Analytik-Teams stecken oft in einem Dilemma: Zunächst dauert es, bis sich analytische Modelle für die Steuerung eines Portolios durchgesetzt haben und allgemein akzeptiert werden. Dann aber möchten viele vom Mehrwert analytischer Modelle profitieren, beispielsweise indem sie ihre Kunden besser verstehen – ein wichtiges Unterscheidungsmerkmal der Bank im Wettbewerbsumfeld.

Schließlich kommt es auf die Schnelligkeit bei der Entwicklung analytischer Modelle einerseits und die lückenlose Dokumentation andererseits an. Denn Regulatoren hinterfragen analytische Modelle in immer größerer Detailtiefe. Fragen wie „Wann wurde das Modell weiterentwickelt? Warum wurde eine Variable hinzugefügt?“ und „Wie wurde diese berechnet?“ stehen dabei im Vordergrund.

Die obere Inforgrafik zeigt dies am Beispiel eines analytischen Modells zum Kundenverhalten: Die neue Variable ist hier die Geschwindigkeit von getätigten Käufen im Verhältnis zur Geschwindigkeit von Geldabhebungen am Bankautomaten. Diese Variable ist prädiktiv für das spezifische Kundenrisiko und wird deswegen in das Scoring-Modell über das Kundenverhalten eingefügt. Die Veränderung wird im System dokumentiert, so dass Aufsichtsbehörden zweifelsfrei nachvollziehen können, wann diese Variable eingefügt und wie sie entwickelt wurde beziehungsweise welche Vorhersagekraft sie hat.

Entscheidend für die Effizienz ist dabei, dass der Prozess standardisiert abläuft und die Daten sowie die Dokumentation für alle Beteiligten zentral zur Verfügung stehen. Die nächste Abbildung (unten) erläutert diesen Prozess. Das Model Management Tool überprüft alle eingesetzten Modelle kontinuierlich. Kommt bei einer dieser automatischen Überprüfungen heraus, dass bestimmte Ergebnisse aus dem Rahmen fallen, erhält der Modell Manager einen Warnhinweis. Beispiele dafür sind die Vorhersagekraft eines Modells, die bestimmte Leistungskennzahlen nicht mehr erreicht, oder eine stark veränderte Verteilung gegenüber den Entwicklungsdaten. Der Modellmanager initiiert den erforderlichen Prozess (1), indem er den Leiter des Analytik-Teams informiert, der die Aufgabe innerhalb seines Teams weitergibt (2,3). Der verantwortliche Modellentwickler überarbeitet das Modell schließlich (4). Wichtig ist dabei: Sobald im Verlauf der Bearbeitung ein Prozessschritt abgeschlossen ist, informiert das System automatisch das Team, das als nächstes aktiv werden muss.

Fazit

Automatisierte Prozesse bei der Verwaltung analytischer Modelle beziehungsweise Model Management Tools helfen, das Dilemma von Analytik-Teams zu überwinden: einerseits die eingeforderte Schnelligkeit bei der Entwicklung analytischer Modelle zu erfüllen und andererseits die erforderliche lückenlose Dokumentation auf möglichst effiziente Art und Weise zu ermöglichen.aj