Wichtige Verpflichtungen
Der AI Act definiert einen Betreiber gemäß Art. 3 (4) als „natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“.
Die Verantwortlichkeiten der Betreiber von KI-Systemen mit hohem Risiko sind in Art. 26 zusammengefasst:
- Es müssen technische und organisatorische Maßnahmen getroffen werden, um sicherzustellen, dass das KI-System ausschließlich gemäß seiner Gebrauchsanweisung verwendet wird (Art. 26 (1)).
- Die menschliche Aufsicht (technisch umgesetzt durch den Anbieter) muss natürlichen Personen übertragen werden, die über die erforderliche Kompetenz (gemäß Art. 4), Ausbildung und Befugnisse verfügen (Art. 26 (2)).
- Die vom Betreiber kontrollierten Eingabedaten müssen für den vorgesehenen Zweck des KI-Systems relevant und ausreichend repräsentativ sein (Art. 26 (4)).
- Der Betrieb des KI-Systems muss auf der Grundlage der Gebrauchsanweisung überwacht werden. Bei Risiken für die Gesundheit, Sicherheit oder Grundrechte von Menschen verlangt Art. 72, dass der Lieferant, der Händler und die zuständige Marktüberwachungsbehörde unverzüglich informiert werden und das System nicht mehr verwendet wird (Art. 26 (5)).
Gemäß Art. 73 muss zunächst der Anbieter über jeden schwerwiegenden Vorfall informiert werden, gefolgt von den Importeuren, Händlern und der Marktüberwachungsbehörde. Ist der Anbieter nicht erreichbar, muss die Meldung direkt an die Marktüberwachungsbehörde gesendet werden (Art. 26 (5)). Diese Verpflichtung gilt nicht für sensible operative Daten von Betreibern von KI-Systemen, bei denen es sich um Strafverfolgungsbehörden handelt. - Soweit die vom KI-System automatisch generierten Protokolle dem Zugriff der Nutzer unterliegen, müssen sie gemäß den gesetzlichen Bestimmungen zum Schutz personenbezogener Daten mindestens sechs Monate lang gespeichert werden (Art. 26 (6)).
- Die Transparenz bei der Verwendung von KI-Systemen mit hohem Risiko muss gewährleistet werden, indem die Arbeitnehmervertreter und die betroffenen Arbeitnehmer darüber informiert werden, dass sie der Verwendung solcher Systeme unterliegen (Art. 26 (7)).
- Eine Datenschutz-Folgenabschätzung gemäß Art. 35 der Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung) oder Art. 27 der Richtlinie (EU) 2016/680 (Datenschutz in Strafsachen) muss auf der Grundlage der Transparenzinformationen in der Gebrauchsanweisung durchgeführt werden (Art. 26 (9)).
Besondere Verpflichtungen für einzelne Sektoren und Anwendungsfälle von KI-Systemen
Finanzinstitute als Betreiber halten die Überwachungs- und Protokollierungspflichten gemäß Art. 26 (5) bzw. 26 (6) ein, sofern sie die Vorschriften über interne Governance-Regelungen, -Prozesse und -Mechanismen gemäß dem einschlägigen Finanzdienstleistungsrecht befolgen.
Ein EU-Organ oder eine andere Einrichtung muss sich gemäß Art. 49 (3) als Betreiber eines Hoch-Risiko KI-Systems im Sinne von Anhang III, mit Ausnahme der in Nummer 2 aufgeführten Anwendungsfälle, in der neuen europaweiten Datenbank registrieren lassen. Ist ein Hoch-Risiko KI-System nicht gemäß Art. 71 in der EU-Datenbank registriert, darf die EU-Institution es nicht verwenden und muss den Anbieter oder Händler entsprechend informieren (Art. 26 (8)).
Die Verwendung eines KI-Systems zur nachträglichen biometrischen Identifizierung im Rahmen einer gezielten Suche nach einer Person, die einer Straftat verdächtigt oder wegen einer Straftat verurteilt wurde, bedarf der Genehmigung einer Justiz- oder Verwaltungsbehörde (Art. 26 (10)). Darüber hinaus führt dieser Absatz die Verpflichtung ein, die Verwendung dieser Systeme zu dokumentieren.
Betreiber von in Anhang III aufgeführten Hoch-Risiko KI-Systemen, die zur Entscheidungsfindung oder -unterstützung in Bezug auf natürliche Personen eingesetzt werden, müssen diese über die Verwendung dieser Systeme informieren (Art. 26 (11)).
Öffentliche Einrichtungen und private Einrichtungen, die öffentliche Dienstleistungen erbringen, sind als Anbieter von Hoch-Risiko KI-Systemen verpflichtet, eine Grundrechte-Folgenabschätzung durchzuführen. Gleiches gilt für Banken und Versicherungsunternehmen, wenn sie solche Systeme für Bonitätsprüfungen oder Risikobewertungen und Preisgestaltungen im Zusammenhang mit Kranken- und Lebensversicherungen einsetzen (Art. 27 (1)).
Fazit
Insgesamt legt der AI Act den Betreibern eine erhebliche Verantwortung auf, um die sichere, rechtmäßige und transparente Nutzung von KI-Systemen mit hohem Risiko zu gewährleisten. Über die Einhaltung der Zweckbestimmung des Systems und die Gewährleistung einer qualifizierten menschlichen Aufsicht hinaus müssen die Betreiber die Anwendung überwachen, Daten sorgfältig verwalten und Maßnahmen ergreifen, wenn Risiken auftreten. Die Europäische Kommission wird voraussichtlich im Jahr 2026 Leitlinien veröffentlichen, welche die praktische Durchführung bestimmter Verpflichtungen der Betreiber klarstellen werden.
Sektorspezifische Pflichten und Meldepflichten verstärken die Rechenschaftspflicht zusätzlich, während Verpflichtungen wie die Transparenz gegenüber betroffenen Personen und die Verpflichtung zur Durchführung von Datenschutz- und Grundrechte-Folgenabschätzungen den starken Fokus des Gesetzes auf den Schutz von Menschen unterstreichen. Diese Maßnahmen sollen sicherstellen, dass risikoreiche KI-Systeme verantwortungsbewusst und unter Beachtung der Grundrechte eingesetzt werden.
