EU AI Act: Neue Regeln für KI-Systeme

Anwendungsbereich und Zielgruppen des AIA 

Die EU-Verordnung 2024/1689 (Artificial Intelligence Act, AIA) schafft einen einheitlichen und horizontal geltenden Rechtsrahmen für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz (KI) in der EU. Im Zusammenhang mit dem Anwendungsbereich (Art. 2 AIA) wird der Begriff „Anbieter“ verwendet: „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“ (Art. 3 (3) AIA). Weiterhin wird der „Betreiber“ definiert als „natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“ (Art. 3 (4) AIA).

Auch Händler, Einführer, Betreiber oder sonstige Dritte können zu Anbietern werden, wenn sie beispielsweise wesentliche Änderungen an einem bereits in Verkehr gebracht oder in Betrieb genommenen Hochrisiko-KI-System vornehmen. Näheres regelt Art. 25 AIA. 

Schrittweiser Geltungsbeginn definiert den Fahrplan 

Die verschiedenen Teile des AIA gelten schrittweise in der EU (Art. 113 AIA):

• Kapitel I (Allgemeine Bestimmungen) und Kapitel II (Verbotene Praktiken) ab 2. Februar 2025,
• Abschnitt 4 (Notifizierende Behörden und notifizierte Stellen) im Kapitel III (Hochrisiko-Systeme), Kapitel V (KI-Modelle mit allgemeinem Verwendungszweck), Kapitel VII (Governance) und Kapitel XII (Sanktionen) mit Ausnahme von Art. 101 AIA (Geldbußen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck) sowie Art. 78 AIA (Vertraulichkeit) ab 2. August 2025, 
• die meisten weiteren Bestimmungen ab 2. August 2026 und 
• Art. 6 (1) AIA (Einstufungsregeln für KI-Systeme mit hohem Risiko) und die einhergehenden Verpflichtungen ab 2. August 2027.  

HR-KI, die vor dem Geltungsbeginn des AIA in Verkehr gebracht oder in Betrieb genommen wurden, müssen nur dann den Bestimmungen des AIA entsprechen, wenn „diese Systeme danach in ihrer Konzeption erheblich verändert wurden“ (Art. 111 (2)).  

Was ist ein KI-System? 

Gemäß Art. 3 (1) AIA ist ein KI-System definiert als „ein maschinengestütztes System, das in unterschiedlichem Maße für den autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“. Diese Definition wird seitens der EU Kommission im Dokument „Commission Guidelines on the definition of an artificial intelligence system established by Regulation (EU) 2024/1689 (AI Act)“ erläutert.

Risiko-basierte AIA-Ansatz 

KI-Systeme werden im AIA folgendermaßen eingeteilt: 

• Nicht-akzeptables Risiko gemäß Art. 5 AIA in Bezug auf acht verbotene Praktiken, die im Dokument „Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act)“ erläutert werden 
• Hohes Risiko gemäß Art. 6 AIA, die einem Konformitätsbewertungsverfahren durch Dritte unterliegen, Beispiel: Medizinprodukt  
• Begrenztes Risiko mit speziellen Auflagen zur Transparenz (Art. 50 AIA), Beispiel: Chatbot 
• Minimales oder kein Risiko, für die Anbieter freiwillige Verhaltenskodizes (Art. 95 AIA) einhalten sollen, Beispiel: Videospiel oder Spamfilter 

Sonderfall „KI-Systeme mit allgemeinem Verwendungszweck“ 

Bei einem KI-System mit allgemeinem Verwendungszweck (General Purpose AI, GPAI) handelt es sich um „ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen“ (Art. 3 (66) AIA). Der Abschnitt 2 im Kapitel V AIA enthält allgemeine Verpflichtungen für Anbieter von GPAI, nämlich die Erstellung einer technischen Dokumentation, die Bereitstellung von Informationen für andere Anbieter, die ein GPAI in ihr eigenes KI-System integrieren möchten, die Erstellung einer Urheberrechtspolitik auf der Grundlage der einschlägigen Rechtsvorschriften und die Veröffentlichung einer Zusammenfassung der verwendeten Trainingsdaten. Darüber hinaus sind für GPAI mit systemischen Risiken Bewertungen einschließlich Angriffstests, Cybersicherheitsmaßnahmen, Selbstbewertung und Minderung systemischer Risiken sowie die Meldung schwerwiegender Vorfälle vorgeschrieben.  

Hoch-Risiko KI-Systeme 

Die Zuordnung eines zu den HR-KI erfolgt unter den folgenden Voraussetzungen:  

1. Art. 6 (1) AIA: Das KI-System ist ein eigenständiges Produkt oder die Sicherheitskomponente eines Produktes im Anwendungsbereich der in Anhang I genannten EU- Harmonisierungsrechtsakte und erfordert unter diesen ein Konformitätsbewertungsverfahren durch Dritte oder 

2. Art. 6 (2) AIA: Das KI-System fällt unter die in Anhang III genannten Anwendungen und bildet keine Ausnahme gemäß Art. 6 (3). 

KI-Kompetenz als Basis für die sichere Entwicklung und Anwendung von Hoch-Risiko KI-Systeme

Seit dem 2. Februar 2025 sind sowohl Anbieter als auch Betreiber von HR-KI zum Aufbau von ausreichender KI-Kompetenz (AI literacy) verpflichtet (Art. 4 AIA). Diese wird in Art. 3 (56) AIA definiert als „Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden“. Insbesondere sollten Betreiber sicherstellen, dass „die Personen, denen die Umsetzung der Betriebsanleitungen und die menschliche Aufsicht […] übertragen wurde, über die erforderliche Kompetenz verfügen, insbesondere über ein angemessenes Niveau an KI-Kompetenz, Schulung und Befugnis, um diese Aufgaben ordnungsgemäß zu erfüllen“ (Erwägungsgrund 91). Im Living Repository of AI Literacy Practices des EU AI Office finden sich Beispiele für verschiedene Sektoren zum Umfang und zur Art des Kompetenzaufbaus. 

Was müssen Anbieter von Hoch-Risiko KI-Systemen jetzt tun? 

Anbieter von HR-KI unterliegen grundsätzlich den Bestimmungen von Art. 16 AIA. Die folgende Tabelle listet Anforderungen im Einzelnen auf:  

Als Basis für die Sicherheit und Leistungsfähigkeit von HR-KI müssen ein Risikomanagement- und ein Qualitätsmanagementsystem etabliert, fortlaufend weiterentwickelt und aufrechterhalten werden (Art. 9 und 17 AIA).  

Die technische Dokumentation zum Nachweis der Einhaltung der gesetzlichen Anforderungen muss den Anforderungen in Anhang IV AIA genügen und über einen bestimmten Zeitraum bereitgehalten werden (Art.11, 18). Für KMU und Start-ups ist eine vereinfachte Bereitstellung der technischen Dokumentation gemäß Anhang IV AIA vorgesehen (Art. 11 (1)).  

Anbieter von HR-KI haben die Möglichkeit, die Umsetzung der Bestimmung des AIA in ihr existierendes Qualitätsmanagementsystem und die vorhandene technische Dokumentation zu integrieren (Art. 8 (2) AIA, Art. 11 (2)).  

Art. 10 AIA legt Daten- und Daten-Governance-Anforderungen fest und Art. 15 AIA bezieht sich im Wesentlichen auf die Entwicklung sowie technische Bewertung von KI-Systemen. Ein besonderes Augenmerk müssen Anbieter darauf richten, dass das Risiko durch „möglicherweise verzerrter Ausgaben […] beseitigt oder so gering wie möglich gehalten wird und sichergestellt wird, dass auf solche Rückkopplungsschleifen angemessen mit geeigneten Risikominderungsmaßnahmen eingegangen wird“ (Art. 15 (4) AIA).  

Um die Rückverfolgbarkeit der Systemfunktionen (Prozesse und Ereignisse) und die Überwachung nach dem Inverkehrbringen zu gewährleisten muss eine „automatische Aufzeichnung von Ereignissen […] während des Lebenszyklus“ (Protokollierung) implementiert werden (Art. 12 AIA).  

In Art. 13 AIA sieht der Gesetzgeber umfangreiche Transparenzpflichten vor. Für „KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind“, wird außerdem gefordert, dass die „betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren“ (Art. 50 (1) AIA). Die Nennung der KI-Technologie als sog. Operating Principle in der Zweckbestimmung dürfte diese Anforderung erfüllen. Zur Erfüllung der Transparenzpflichten wurde kürzlich eine Vorgehensweise veröffentlicht (Prinz, 2024).  

Die in Art. 14 AIA vorgesehene menschliche Aufsicht bezieht sich auf die technische Implementierung durch den Anbieter, wohingegen die damit verbundenen Betreiberpflichten in Art. 26 AIA geregelt sind.  

Der Gesetzgeber sieht für die gesamte Dokumentation bestimmte Aufbewahrungsfristen für den Anbieter vor (Art. 18 AIA). Dies gilt auch für die automatisch erzeugten Protokolle (Art. 19 (1) AIA). 

Die Anbieterpflichten für KI-Systeme enden nicht mit dem Inverkehrbringen, sondern sie setzen sich im Rahmen der Überwachung nach dem Inverkehrbringen und der Vigilanz fort. Dementsprechend fordert Art. 72 AIA die Erstellung eines Plans zur Überwachung nach dem Inverkehrbringen sowie die Meldung schwerwiegender Vorkommnisse und Fehlfunktionen durch den Anbieter gegenüber den zuständigen Behörden (Art. 73 AIA).  

Konformitätsbewertung als Gate Keeper 

Die Konformitätsbewertung von HR-KI ist in Art. 43 AIA geregelt und hängt in ihrer Ausprägung stark vom Anwendungsfall ab: 

Das Ziel: EU-Konformitätserklärung 

HR KI Anbieter stellen eine schriftliche maschinenlesbare, physische oder elektronisch unterzeichnete EU-Konformitätserklärung aus und wird die Verantwortung für die Konformität mit dem AIA übernommen (Art. 47 (1,4) AIA). Für HR-KI gemäß Art. 6 (1) stellt der Anbieter eine einzige EU-Konformitätserklärung aus, „die sich auf alle für das Hochrisiko-KI-System geltenden Rechtsvorschriften der Union bezieht". Die Erklärung enthält „alle erforderlichen Informationen zur Feststellung der Harmonisierungsrechtsvorschriften der Union, auf die sich die Erklärung bezieht“ (Art. 47 (3) AIA).  

Normen als Hilfestellung

Mit der Anwendung von harmonisierten Normen wird eine Konformitätsvermutung hinsichtlich der jeweiligen gesetzlichen Anforderungen ausgelöst (Art. 40 (1) AIA). Außerdem behält sich die EU-Kommission den Erlass gemeinsamer Spezifikationen vor (Art. 41 AIA). Der veröffentlichte „Standardisation request to the European Committee for Standardisation and the European Committee for Electrotechnical Standardisation in support of Union policy on artificial intelligence“ wird die Erstellung von den entsprechenden Normen sicherstellen. Unter der Federführung des Joint Technical Committee 21 (JTC 21) von CEN und CENELEC werden derzeit in fünf Arbeitsgruppen Normen zur Anwendung unter dem AIA entwickelt. Zu den wichtigsten derzeit entwickelten Normen gehören AI Trustworthiness Framework, Risikomanagement, Qualitätsmanagement und Konformitätsbewertung.  

Welche Aufgaben haben Betreiber von Hoch-Risiko KI-Systemen?

Die Pflichten für Betreiber von HR-KI fasst der Art. 26 AIA zusammen. So müssen diese „geeignete technische und organisatorische Maßnahmen [ergreifen], um sicherzustellen, dass sie solche Systeme entsprechend der den Systemen beigefügten Betriebsanleitungen […] verwenden“ (Absatz 1). Dies umfasst auch die Verantwortung dafür, dass „die Eingabedaten der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen und ausreichend repräsentativ sind“ sofern diese der Kontrolle des Betreibers unterliegen (Absatz 4). Basierend auf der technischen Implementierung durch den Anbieter müssen die Vorgaben zur menschlichen Aufsicht umgesetzt werden (Absatz 2). Im Rahmen der Marktüberwachung und Vigilanz haben Betreiber Meldepflichten hinsichtlich schwerwiegender Vorfälle gegenüber Anbietern, Einführern, Händlern und Marktüberwachungsbehörden (Absatz 5). Damit geht auch die Verpflichtung einher, automatisch erzeugte Protokolle - sofern diese ihrem Zugriff unterliegen - zumindest für sechs Monaten aufzubewahren (Absatz 6). Weitere Anforderungen beziehen sich u.a. auf die Unterrichtung von Arbeitnehmervertretern und betroffenen Arbeitnehmern über die Verwendung des HR-KI (Absatz 7) und die Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 (Absatz 9). 

Betreiber von HR-KI gemäß Art. 6 (2) AIA – mit Ausnahme des in Anhang III Nr. 2 aufgeführten Bereichs – führen „eine Abschätzung der Auswirkungen, die die Verwendung eines solchen Systems auf die Grundrechte haben kann, durch“ (Art. 27 (1) AIA). 

Dazulernende KI-Systeme sind kein No-Go in der EU

Im Falle einer wesentlichen Änderung wird HR-KI „einem neuen Konformitätsbewertungsverfahren unterzogen, unabhängig davon, ob das geänderte System noch weiter in Verkehr gebracht oder vom derzeitigen Betreiber weitergenutzt werden soll“ (Art. 43 (4) AIA). Weiterhin heißt es: „Bei Hochrisiko-KI-Systemen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen, gelten Änderungen des Hochrisiko-KI-Systems und seiner Leistung, die vom Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab festgelegt wurden und in den Informationen der technischen Dokumentation gemäß Anhang IV Nummer 2 Buchstabe f enthalten sind, nicht als wesentliche Veränderung“. Die Festlegung der Änderungen des HR-KI und seiner Leistung zum Zeitpunkt der ursprünglichen Konformitätsbewertung, sowie die Identifikation damit einhergehender Risiken, könnte ähnlich dem Predetermined Change Control Plan (PCCP) der FDA erfolgen.  

Die Medizintechnik als Leitsektor für den AIA

Die Erfahrung mit dem Inverkehrbringen von KI-Systemen ist vor allem in der Medizintechnik sehr ausgeprägt und sie kann deshalb als Leitsektor für den AIA angesehen werden. Auf dem EU-Markt sind mehr als 100 CE-gekennzeichnete KI-Systeme für die Radiologie verfügbar (Stand: März 2025) und die US-amerikanische Food and Drug Administration (FDA) hat sogar mehr als 1000 KI-basierte Medizinprodukte für den US-amerikanischen Markt zugelassen (Stand: Dezember 2024).  

Maßgeblich für den EU-Markt sind derzeit die Anforderungen aus dem gemeinsamen Fragenkatalog „Artificial Intelligence (AI) in Medical Devices“ von IG-NB und Team-NB. Deshalb sollten auch Anbieter von HR-KI aus anderen Sektoren die Anforderungen des Fragenkatalogs jetzt schon konsequent umzusetzen, um damit für den AIA gerüstet zu sein (AIA Ready). Weiterhin hat die Medical Device Coordination Group (MDCG) die Guideline 2025-6 mit FAQs zur Wechselwirkung zwischen MDR/IVDR und AIA veröffentlicht.  

Insbesondere hinsichtlich des Risikomanagements, der Qualitätsmanagements und der technischen Dokumentation von KI-Systemen bestehen in der hochregulierten Medizintechnik-Branche jetzt schon tiefgreifende Erfahrungen. 

KI-Reallabore als „Spielwiese“

Die Einrichtung von KI-Reallaboren soll es Anbietern ermöglichen, KI-Systeme für einen bestimmten Zeitraum zu entwickeln, zu trainieren, zu testen und zu validieren, bevor sie auf den Markt gebracht werden (Art. 57 AIA). Damit sollen Innovation und Wettbewerbsfähigkeit gefördert und der Marktzugang für Start-ups sowie kleine und mittlere Unternehmen (KMU) erleichtert werden. Darüber hinaus können die Anbieter unter bestimmten Bedingungen ihre Systeme unter realen Bedingungen außerhalb der KI-Reallabore testen. Zu diesen Bedingungen gehört die Erteilung einer Genehmigung durch die zuständige nationale Behörde auf der Grundlage eines vom Anbieter vorab vorgelegten Testplans. Künftige Durchführungsrechtsakte der Europäischen Kommission werden voraussichtlich die Bedingungen festlegen, unter denen reale Testeinrichtungen in den einzelnen Mitgliedsstaaten eingeführt werden (Art. 58 AIA).  

So bereiten sich Anbieter und Betreiber auf den AIA vor

Sowohl Anbieter als Betreiber von KI-Systemen müssen jetzt schon bei ihrem Personal Kompetenzen aufbauen, die den jeweiligen Kenntnissen, der Berufserfahrung und der Ausbildung entsprechen. 

Die Sicherheit von KI-Systemen liegt in der gemeinsamen Verantwortung von Anbietern und Betreibern, so dass eine frühzeitige und intensive Kooperation zu empfehlen ist. 

Insbesondere Anbieter von HR-KI müssen den erhöhten Aufwand in der technischen Dokumentation und dem Qualitätsmanagement zügig sowohl in Bezug auf organisatorische und finanzielle Ressourcen berücksichtigen. Vorzugsweise wendet der Anbieter den Ansatz Compliance-by-Design an, d.h. die regulatorischen Anforderungen werden frühzeitig in den Entwicklungsprozess integriert. Zukünftig erscheinende einschlägige Guidelines und Normen sollten kontinuierlich analysiert und implementiert werden. 

Betreiber von HR-KI sollten sich vor allem auf die Etablierung von internenn Prozesse zur Anwendung sowie Marktüberwachung und Vigilanz von HR-KI fokussieren.