Governance für KI: Agenten müssen richtig geführt werden

Agentic AI ist die jüngste und aktuell wohl spannendste Evolutionsstufe Künstlicher Intelligenz. Dabei bearbeiten KI-Agenten spezifische Aufgabengebiete oder Rollen innerhalb einer Prozesskette. In einer Multi-Agenten-Umgebung werden dafür die komplexen Bearbeitungsschritte in kleinere, überschaubare Teilaufgaben aufgelöst, die jeweils ein speziell darauf angepasster KI-Agent automatisiert bearbeitet. Das kann beispielsweise die Erfassung relevanter Dokumente aus verschiedenen Quellen sein, die Extraktion von kritischen Informationen oder der mit Abgleich mit regulatorischen Vorgaben, wie etwa DSGVO- oder Compliance-Richtlinien. All diese von den spezialisierten Agenten erbrachten Teillösungen werden dann auf einer höheren Ebene von einem Chef-Agenten, dem sogenannten Orchestrator, für die Lösung der Gesamtaufgabe zusammengeführt.

Agenten sind für viele Branchen im Einsatz

Durch diese neue Form der automatisierten, KI-gestützten Arbeitsteilung können Geschäftsprozesse sehr viel schneller, effizienter und vor allem flexibler gestaltet werden. KI-Agenten können dynamisch auf Veränderungen reagieren und mit Ausnahmen umgehen. Und nicht zu vergessen sind die Lernfähigkeiten von KI-Agenten. Sie lernen ständig in Echtzeit aus Fehlern und sind in der Lage, Abläufe selbstständig zu optimieren. Agentic AI ermöglicht so neue Stufen und Einsatzszenarien für die Automatisierung von Prozessen und Prozessketten und verspricht dadurch erhebliche Effizienzgewinne.

Dabei darf allerdings nicht übersehen werden, dass der Einsatz von KI-Agenten oder -Agentensystemen auch eine Reihe von Risiken birgt. Unternehmen müssen daher sicherstellen, dass die Agenten weder diskriminierende Entscheidungen treffen, noch Sicherheitslücken aufreißen und zudem ihre Entscheidungsgrundlagen transparent, nachvollziehbar und auditierbar sind. Der zentrale regulatorische Rahmen ist dabei der EU AI Act. Er unterscheidet zwischen verschiedenen Risikostufen und verpflichtet Unternehmen und Organisationen zur Einhaltung von strikten Sicherheits- und Transparenzstandards. Daher müssen sie sich effektive interne Governance-Vorgaben geben, um diese Anforderungen zu erfüllen.

Governance-Vorgaben für Agentic AI

Ein Governance-Regelwerk für Agentic AI muss eine Reihe elementare Dimensionen erfüllen. Die erste betrifft die Erklärbarkeit (Explainable AI). Es muss sichergestellt sein, dass KI-Modelle jeder Komplexitätsstufe verständlich bleiben, sei es für das Unternehmen und die Nutzer selbst, aber auch für Aufsichtsbehörden und andere Kontroillinstanzen. Nur so wird es möglich, die zweite Forderung nach Transparenz und Nachvollziehbarkeit zu erfüllen. Der dritte Punkt klärt die Themen Fairness und Bias-Kontrolle. Es muss ausgeschlossen sein, dass KI-Modelle aufgrund von Algorithmen oder Trainingsdaten Vorurteile („Bias“) verstärken oder diskriminierende Entscheidungen treffen.

Da KI-Agenten mit großen Mengen sensibler Daten arbeiten, müssen zudem Datenschutz und Sicherheit gewährleistet sein. Richtlinie dafür sind die Datenschutzvorgaben der DSGVO. Gleichzeitig müssen Maßnahmen gegen Angriffe auf KI-Modelle getroffen werden, um die Cybersicherheit zu gewährleisten. Zudem müssen die KI-Modelle auditierbar sein, damit ihre Funktionsweise überprüft werden kann und sich für jeden Zeitpunkt nachweisen lässt, dass sie regelkonform und ethisch vertretbar arbeiten. Und letztlich sind Verantwortlichkeit und Auditierbarkeit zu regeln. Unternehmen müssen klar definieren, wer für Fehler oder Schäden durch KI-Entscheidungen haftet.

Menschliche Kontrolle der KI-Agenten

Mit diesen fünf Punkten werden auch die Voraussetzungen für den vielleicht wichtigsten, übergeordneten Punkt geschaffen: Die menschliche Kontrolle der KI-Agenten. Agentische Netzwerke besitzen zwar eingebaute, selbstgesteuerte Überwachungsmechanismen. Damit allein ist aber die Erfüllung der beschriebenen fünf elementaren Governance-Vorgaben nicht gesichert. Kein Unternehmen kann sich bei Verstößen darauf berufen. Daher ist der Mensch als übergeordnete Instanz im Unternehmen als „Human in the Loop“ unverzichtbar. Der wiederum kann seine Aufgaben nur dann wirklich erfüllen, wenn die vorgenannten Anforderungen erfüllt sind. Ohne Transparenz und Nachvollziehbarkeit beispielsweise steht er auf verlorenem Posten.

Fahrplan zu robusten Governance-Regelungen

Ähnlich wie bei den wichtigsten Elementen einer Governance-Regelung für den Einsatz von KI-Agenten gilt auch bei deren Umsetzung die Regel „Fünf plus Eins“. Dabei gilt der erste Schritt der Definition Governance-Richtlinien. Hier werden die internen Verantwortlichkeiten für KI-Systeme geklärt und die internen Standards gemäß EU AI Act und DSGVO festgelegt. Danach sind Risikoanalyse und -management zu implementieren. Sie identifizieren Hochrisiko-Anwendungen und legen kontinuierliche Monitorings für Bias, Sicherheit und Datenschutz fest. Dafür sind im dritten Schritt Transparenz- und Erklärbarkeitsmaßnahmen umzusetzen und Mechanismen für die Nachvollziehbarkeit von KI-Modellen in die Agentic AI zu implementieren. Dazu gehört auch die Dokumentation von KI-Entscheidungen für Audits und Regulierungsbehörden.

All diese Governance-Richtlinien und Maßnahmen müssen von einer internen Kontrollinstanz regelmäßig evaluiert und aktualisiert werden. Zudem darf die regelmäßige Schulung und Sensibilisierung der Mitarbeitenden für eine tragfähige Governance-Kultur nicht vergessen werden. Und letztlich sind auch für den „Human in the Loop“ die Voraussetzungen zu schaffen. Dazu gehört unter anderem die Definition von Eingriffsmechanismen bei Fehlentscheidung und die Verantwortung bei Entscheidungen.

KI-Governance in der Praxis 

Klare rechtliche Regeln und interne Governance-Vorgaben sind auch deshalb dringend nötig, da Agentic AI einen regelrechten Boom in verschiedensten Branchen ausgelöst hat. So erreicht die aus prädiktiver KI bekannte vorausschauende Wartung (Predictive Maintenance) in Produktionsunternehmen mit Agentic AI ein neues Flexibilitäts- und Effizienzniveau, da sie sich jetzt automatisiert an veränderte Bedingungen adaptieren lässt. Für tiefgreifende sicherheitskritische Entscheidungen aber sind menschliche Kontrollinstanzen unverzichtbar.

Im Gesundheitswesen hat Agentic AI bei medizinischen Diagnosesystemen ein prädestiniertes Einsatzgebiet. Explainable AI ist hier entscheidend, um sicherzustellen, dass Ärzte und Patienten die Empfehlungen der KI verstehen und nachvollziehen können. Dazu sollten KI-Modelle regelmäßig mit echten medizinischen Daten validiert werden, um ihre Genauigkeit sicherzustellen.

Im Bankenwesen dagegen steht die Vermeidung von Bias-Verzerrungen im Vordergrund, etwa bei KI-gestützten Kreditwürdigkeitsprüfungen. Um das zu vermeiden, kann ein Bias-Agent eingesetzt werden, dessen Entscheidungen in kritischen Fällen zusätzlich ein „Human in the Loop“ prüft.

Vertrauen in KI-gestützte Systeme stärken

Robuste, gleichzeitig flexible und ständig aktualisierte Governance-Vorgaben sind für die Nutzung von Agentic AI essenziell. Sie sind die Voraussetzung dafür, Risiken zu minimieren und das Vertrauen in KI-gestützte Systeme zu stärken. Nur durch die Einhaltung regulatorischer Vorgaben und ethischer Standards ist es möglich, Transparenz, Fairness und Sicherheit jederzeit zu gewährleisten. Und auch unter Wettbewerbsgesichtspunkten ist ein strukturierter Governance-Ansatz mit klaren Verantwortlichkeiten, regelmäßigen Audits und menschlicher Kontrolle ein Aushängeschild für den verantwortungsvollen Umgang mit Agentic AI.

Florian Lauck-Wunderlich

ist Head of AI and Advanced Analytics Consulting EMEA bei Pegasystems.