Die neue Ausgangslage: Von KI-Systemen zu KI-Ökosystemen
Der AI Act unterscheidet grundsätzlich zwei Rollen:
- Provider: entwickeln und stellen KI-Modelle oder Systeme bereit
- Deployer: setzen diese in konkreten Anwendungsfällen ein
Mit GPAI-Modellen wie großen Sprachmodellen entsteht jedoch eine neue Schicht. Modelle werden zur universellen Infrastruktur, auf der andere Systeme aufbauen. KI-Agenten gehen noch einen Schritt weiter. Sie nutzen Modelle aktiv, treffen eigenständig Entscheidungen und interagieren mit Tools und Datenquellen. Damit verschiebt sich der Fokus von statischen Systemen hin zu laufzeitgetriebenem Verhalten.
GPAI-Modelle: Die Basis moderner KI-Anwendungen
Pflichten auf Seiten der Provider
Anbieter von GPAI-Modellen müssen sicherstellen, dass ihre Technologie verantwortungsvoll nutzbar ist. Dazu gehören die folgenden Verantwortlichkeiten:
Technische Dokumentation:
- Beschreiben von Architektur und Trainingsansätzen
- Aufzeigen bekannter Limitationen und Risiken
- Hinweisen auf geeignete Einsatzbereiche
Transparenz für nachgelagerte Akteure:
- Informationen, die es Developern ermöglichen, Systeme compliant zu bauen
- Unterstützung bei Evaluierung und Testing
Risikomanagement:
- insbesondere bei Modellen mit hoher Reichweite oder systemischem Einfluss
Urheberrechtskonformität:
- Offenlegung von Trainingsdaten-Kategorien
- Information zum Umgang mit geschützten Inhalten
Entscheidend: Diese Pflichten beziehen sich auf das Modell selbst, nicht immer auf konkrete Anwendungen.
Pflichten auf Seiten der Deployer
Für Unternehmen beginnt die eigentliche Verantwortung erst beim Einsatz:
- Bewertung des konkreten Use Cases
- Einordnung in Risikokategorien
- Umsetzung regulatorischer Anforderungen im Betrieb
Das bedeutet:
Auch wenn ein Modell „AI Act-konform“ ist, kann seine Nutzung nicht-konform sein. Die entsprechende Due-Diligence-Prüfung liegt in der Verantwortung des Deployers.
KI-Agenten: Wenn Systeme eigenständig handeln
KI-Agenten verändern die Perspektive grundlegend. Sie sind nicht nur Interfaces zu Modellen, sondern aktive Akteure innerhalb von (Geschäfts-)Prozessen.
Typische Eigenschaften:
- Zielorientiertes Verhalten (Planen und Ausführen)
- Nutzung externer Tools (APIs, Datenbanken, Services)
- iterative Entscheidungsprozesse
- dynamisches Verhalten je nach Kontext
Damit entstehen neue Herausforderungen für Compliance.
Das zentrale Problem: Kontrolle entsteht zur Laufzeit
Der AI Act basiert auf der impliziten Annahme, dass das Verhalten eines Systems weitgehend vorab definiert ist. Bei KI-Agenten ist das jedoch nur eingeschränkt der Fall. Entscheidungen entstehen dynamisch, Verhalten ist situationsabhängig und Ergebnisse sind nicht vollständig deterministisch. Das führt zu einer entscheidenden Verschiebung, denn nicht mehr nur die Entwicklung bestimmt das Systemverhalten – sondern der Betrieb und ein dynamisches Umfeld.
Provider vs. Deployer: Eine neue Form der geteilten Verantwortung
In traditionellen KI-Systemen ist die Rollenverteilung klar: Während der Provider für das Modell, das Training und die Architektur verantwortlich ist, liegen die Anwendung, die Integration und den Betrieb des KI-Systems in Verantwortung des Deployers.
Bei agentenbasierten Systemen entsteht eine hybride Verantwortung:
Bereich | Hauptverantwortung |
Modellverhalten | Provider |
Zieldefinition | Deployer |
Tool-Zugriff | Deployer |
Systemgrenzen | Beide |
Konkrete Entscheidungen | emergent |
Das führt zu einer zentralen Erkenntnis: Die Kontrolle wird zur entscheidenden Größe – nicht nur die Entwicklung.
Was bedeutet das konkret für Unternehmen?
Anbieter von GPAI-Modellen oder Agentenplattformen müssen ihre Systeme so gestalten, dass sie sicher betrieben werden können.
Wichtige Maßnahmen sind:
- die Bereitstellung von Sicherheitsmechanismen (Guardrails, Filter),
- die klare Dokumentation von Fähigkeiten und Grenzen,
- die Unterstützung bei Risikoanalysen sowie
- der Einsatz von Tools zur Evaluation von Modell- und Agentenverhalten.
Ziel ist es, die Grundlage für Compliance entlang der gesamten Nutzungskette zu schaffen.
Für Deployer liegt der Schwerpunkt auf dem kontrollierten Einsatz. Hierbei gelten die folgenden Anforderungen:
1. Use-Case-basierte Risikoanalyse
- Welche Auswirkungen hat der Einsatz auf Menschen oder Entscheidungen?
- Handelt es sich um ein Hochrisiko-System (z. B. HR, Kreditvergabe)?
Diese Einordnung bestimmt den Umfang der erforderlichen Maßnahmen.
2. Governance des Agentenverhaltens
- Welche Ziele erhält der Agent?
- Welche Handlungsspielräume hat er?
- Welche Tools darf er nutzen?
Die Beantwortung dieser kritischen Fragen definiert indirekt das Verhalten des Systems.
3. Human Oversight
- kritische Aktionen sollten freigegeben werden
- Eskalationsmechanismen müssen vorhanden sein
- Menschen müssen eingreifen können
Autonomie bedeutet nicht Kontrollverlust. Der Mensch ist als Kontroll- und Leitinstanz führend im Zusammenspiel mit dem System.
4. Monitoring und Logging
- Welche Entscheidungen wurden getroffen?
- Warum wurden sie getroffen?
- Welche Daten wurden genutzt?
Nachvollziehbarkeit ist ein zentraler Bestandteil von Compliance. Ohne diese Transparenz ist eine regulatorische Bewertung kaum möglich.
5. Prompt- und Policy-Management
In agentenbasierten Systemen ersetzen Prompts teilweise klassische Programmierung:
- sie definieren Verhalten
- sie steuern Entscheidungslogik
Deshalb sollten sie wie Code behandelt werden:
- einzelne Zwischenstände und Anpassungen müssten versioniert werden
- jede dieser Versionen muss getestet und bewertet werden
Praxisbeispiele
Beispiel 1: Customer Support Agent
Ein KI-Agent beantwortet automatisiert Kundenanfragen und greift auf interne Dokumentation zu.
Bewertung:
- in der Regel kein Hochrisiko-System
- Fokus auf Transparenz und Nutzerinformation
Umsetzung:
- klare Antwortleitlinien
- Eskalation bei Unsicherheit
- Logging von Interaktionen
Hier liegt der Fokus auf Qualität und Kontrolle, weniger auf strengen regulatorischen Anforderungen.
Beispiel 2: Recruiting-Agent im HR
Ein Agent bewertet Bewerbungen, führt Interviews und trifft Vorauswahlentscheidungen.
Bewertung:
- Hochrisiko-System gemäß AI Act
Anforderungen:
- umfassendes Risikomanagement
- Dokumentation der Entscheidungslogik
- Sicherstellung von Fairness und Nicht-Diskriminierung
- verpflichtende menschliche Kontrolle
Wichtig:
Die Verantwortung liegt hier klar beim Unternehmen als Deployer – auch wenn die technische Basis extern ist.
Zentrale Erkenntnisse für die Praxis
1. Kontrolle schlägt Komplexität
Entscheidend ist nicht, wie leistungsfähig ein Modell ist, sondern wie gut sein Verhalten im Einsatz kontrolliert werden kann.
2. Verantwortung ist verteilt – aber nicht beliebig
Auch wenn mehrere Akteure beteiligt sind, bleibt die Verantwortung klar zugeordnet. Der Provider ist dafür verantwortlich, mit dem Modell eine sichere Grundlage zu liefern. Der Deployer ist zuständig für den verantwortungsvollen Einsatz.
3. KI-Agenten erfordern neue Governance-Modelle
Klassische Software-Governance reicht nicht aus. Notwendig sind Laufzeitkontrollen, dynamische Risikoanalysen und ein kontinuierliches Monitoring.
4. Compliance ist ein Architekturthema
Regulatorische Anforderungen lassen sich nicht nachträglich „draufsetzen“. Sie müssen Teil des Designs sein. Hierfür entscheidend sind die Systemarchitektur, API-Strukturen, Datenflüsse und Entscheidungsprozesse.
Fazit: Wer Agenten baut, gestaltet Verantwortung
Der Einsatz von GPAI-Modellen und KI-Agenten eröffnet enorme Chancen, birgt gleichzeitig aber auch neue regulatorische Anforderungen.
Für technisch orientierte Entscheider gilt:
- Der AI Act ist kein Hindernis, sondern ein Designrahmen.
- Compliance entsteht nicht durch Dokumente, sondern durch Systemgestaltung.
- Der Deployer wird zur zentralen Instanz der Kontrolle.
Am Ende entscheidet nicht das Modell über die Regulierung – sondern das, was Unternehmen daraus machen.
Gerne unterstützen wir Sie bei der Einhaltung der Anforderungen des AI Acts und der Bewertung Ihrer KI-Agenten. Details zu unseren Beratungsangeboten finden sie unter Beratung.
