Umfang der menschlichen Aufsicht
Hochriskante KI-Systeme müssen während ihres gesamten Lebenszyklus eine wirksame menschliche Aufsicht ermöglichen.
Gemäß Art. 14 (3) müssen Aufsichtsmaßnahmen entweder vom Anbieter in das System integriert oder vom Betreiber (wie vom Anbieter vorgesehen) umgesetzt werden. Das erforderliche Maß an menschlicher Aufsicht hängt von den inhärenten Risiken, dem Grad der Autonomie und dem spezifischen Anwendungskontext des hochriskanten KI-Systems ab.
Die menschliche Aufsicht muss Folgendes gewährleisten:
- Verständnis der relevanten Fähigkeiten und Grenzen.
- Fähigkeit zur Überwachung während des Betriebs.
- Verhinderung von Automation Bias.
- Korrekte Interpretation der Ergebnisse.
- Fähigkeit, zu entscheiden, die Ergebnisse nicht zu verwenden, zu ignorieren, zu überschreiben oder umzukehren.
- Eingreifen in den Betrieb (z. B. Drücken der „Stopp-Taste“).
Sonderfall: Fernidentifizierung mittels biometrischer Daten
Der AI Act sieht eine verstärkte Aufsicht für bestimmte risikoreiche biometrische Identifizierungssysteme vor (Anhang III Nr. 1 Buchstabe a), d. h. Maßnahmen oder Entscheidungen auf der Grundlage einer Identifizierung dürfen nur getroffen werden, wenn sie von mindestens zwei zuständigen Personen separat überprüft wurden (Art. 14 Abs. 5). Ausnahmen gelten jedoch für die Bereiche Strafverfolgung, Migration, Grenzkontrolle und Asyl, in denen die Anwendung dieser Anforderung nach Unionsrecht oder nationalem Recht als unverhältnismäßig angesehen wird.
Vom Anbieter umgesetzte Aufsichtsmaßnahmen
Art. 14 verpflichtet Anbieter, Hochrisiko-KI so zu konzipieren und zu entwickeln, dass natürliche Personen deren Einsatz wirksam überwachen können, unter anderem durch eine geeignete Mensch-Maschine-Schnittstelle.
Anbieter müssen Beschränkungen einbauen, die das System nicht außer Kraft setzen kann, und sicherstellen, dass die Überwachenden über die erforderlichen Fähigkeiten und Befugnisse verfügen. Das System sollte Menschen dabei anleiten, wann und wie sie eingreifen müssen, um Risiken zu vermeiden.
Die menschliche Aufsicht ist eine der externen Risikokontrollen, die im Rahmen des Risikomanagementsystems (Art. 9) und des Qualitätsmanagements (Art. 17) des Anbieters umgesetzt und überprüft werden müssen. Durch die Festlegung der entsprechenden Informationen in der Gebrauchsanweisung (Art. 13) sollen die Betreiber in die Lage versetzt werden, ihre Aufgabe der menschlichen Aufsicht wahrzunehmen.
Die Bewertung der menschlichen Überwachungsmaßnahmen einschließlich der damit verbundenen technischen Maßnahmen muss Teil der technischen Dokumentation des KI-Systems sein (Anhang IV Nr. 2 (e)).
Vom Betreiber umgesetzte Aufsichtsmaßnahmen
Die Betreiber müssen Personen benennen, die über die erforderliche Kompetenz, Ausbildung und Befugnisse verfügen, um den Betrieb zu überwachen und geeignete technische und organisatorische Maßnahmen zu ergreifen, um sicherzustellen, dass das risikoreiche KI-System gemäß den Gebrauchsanweisungen verwendet wird (Art. 26 Abs. 2), Art. 14 Abs. 3).
Die Überwachung aus Sicht des Betreibers umfasst die folgenden Aufgaben:
- Betrieb des Systems gemäß den Gebrauchsanweisungen (Art. 26 (1))
- Umsetzung von Aufsichtsmaßnahmen (Art. 26 (3))
- Sicherstellung, dass die Eingabedaten für den beabsichtigten Zweck relevant und ausreichend repräsentativ sind (Art. 26 (4))
- Aussetzung der Nutzung bei Auftreten von Risiken oder Fehlfunktionen (Art. 26 (5))
Wie ein neuer Standard Ihnen dabei hilft, die Anforderungen an die menschliche Aufsicht zu erfüllen
Die Norm EN 18229‑1 “AI Trustworthiness Framework - Part 1: Logging, transparency and human oversight” befindet sich derzeit in der Entwicklung und soll im Rahmen des AI Acts harmonisiert werden. Sie wird Orientierungshilfen zu folgenden Themen enthalten:
- Wechselwirkung zwischen menschlicher Aufsicht und Risikomanagement
- Technische Umsetzung in das KI-System
- Vom Betreiber implementierte Kontrollmaßnahmen
- Spezifische Anforderungen an Systeme zur biometrischen Fernidentifizierung
- In der Gebrauchsanweisung bereitzustellende Informationen (z. B. technische und organisatorische Maßnahmen sowie Kompetenzanforderungen für bestimmte Personen des Betreibers)
Zusammenfassung
Die menschliche Aufsicht sollte als Bindeglied zwischen technischer Leistungsfähigkeit und dem Schutz der Grundrechte betrachtet werden. Anbieter und Betreiber von KI-Systemen mit hohem Risiko müssen bei der Umsetzung von Maßnahmen zur menschlichen Aufsicht eng zusammenarbeiten.
Anbieter müssen die technische Umsetzung von Beginn des Entwicklungsprozesses an berücksichtigen. Betreiber müssen sicherstellen, dass die benannten Personen kompetent sind und sich ihrer hohen Verantwortung für die sichere Anwendung des KI-Systems bewusst sind.
Biometrische Identifizierungssysteme erfordern eine strengere Aufsicht: Es dürfen keine Maßnahmen auf der Grundlage einer Identifizierung ergriffen werden, es sei denn, zwei Personen überprüfen diese unabhängig voneinander, es sei denn, dies wird nach bestimmten Unions- oder nationalen Rechtsvorschriften als unverhältnismäßig angesehen.
