Konzeptionelle Technologie anhand einer Illustration von kuenstlicher Intelligenz

kras99 / stock.adobe.com

19.10.2021 Fachinformation

Neue Herausforderungen für KI-basierte Medizinprodukte: EU Artificial Intelligence Act (AIA)

Welche Anforderungen kommen mit dem neuen Entwurf des AIA der EU-Kommission auf uns zu?

Am 21.04.2021 veröffentlichte die EU-Kommission einen Entwurf für den Artificial Intelligence Act (kurz: AIA, Gesetz über Künstliche Intelligenz), welcher einen einheitlichen Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz schaffen soll. Dieses wäre die erste EU-Verordnung dieser Art zur übergreifenden Regulierung von Produkten basierend auf Künstlicher Intelligenz (KI)-Technologie. Von ein paar Ausnahmen abgesehen, würde sie für die meisten KI-Systeme gelten, also auch im Bereich der Medizin. Im Folgenden geben wir einen Überblick zu den geplanten Inhalten und erläutern, welche Auswirkungen der AIA für Medizinprodukte-Hersteller in der jetzigen Form haben würde.

Übersicht zum Inhalt

Der AIA gliedert sich in 12 übergeordnete Titel mit 10 untergeordneten Kapiteln und 85 Artikeln sowie 9 Anhänge:

Titel I (Art. 1-4): Gegenstand und Anwendungsbereich der Verordnung sowie Begriffsbestimmungen
Titel II (Art. 5): Liste verbotener KI-Praktiken
Titel III (Art. 6-51): Spezifische Vorschriften für KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen
Titel IV (Art. 52): Spezifische Manipulationsrisiken bestimmter KI-Systeme
Titel V (Art. 53-55): Maßnahmen zur Innovationsförderung
Titel VI (Art. 56-59): Vorgaben für die Leitungsstrukturen auf Unionsebene und nationaler Ebene
Titel VII (Art. 60): Einrichtung einer unionsweiten Datenbank für eigenständige Hochrisiko-KI-Systeme
Titel VIII (Art. 61-68): Beobachtungs- und Meldepflichten für die Anbieter von KI-Systemen ohne ein hohes Risiko
Titel IX (Art. 69): Grundlagen zur Schaffung von Verhaltenskodizes für Anbietern von KI-Systemen
Titel X (Art. 70-72): Vertraulichkeit und Sanktionen
Titel XI (Art. 73-74): Befugnisübertragung und Ausschussverfahren
Titel XII (Art. 75-85): Schlussbestimmungen

Hinweise:

Der Gesetzestext beginnt in der deutschen PDF-Datei erst ab Seite 20.
Die insgesamt 89 Erwägungsgründe zu Beginn des Gesetzestextes enthalten überwiegend Erläuterungen zum Sinn und Zweck dieses Verordnungsentwurfes und werden von Juristen auch zu Interpretationszwecken herangezogen.

Wichtige Inhalte und Neuerungen im Detail

Im Art 2 AIA wird der Anwendungsbereich definiert:

Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind,
Nutzer von KI-Systemen, die sich in der Union befinden sowie
Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird.

In den weiteren Absätzen finden sich Einschränkungen des Anwendungsbereichs, z. B. für militärische Zwecke. Im Zusammenhang mit dem Anwendungsbereich wird nicht der Begriff „Hersteller“ sondern der Begriff „Anbieter“ verwendet, und dieser ist im Art. 3 (2) AIA wie folgt definiert: „Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt, um es unter ihrem eigenen Namen oder ihrer eigenen Marke – entgeltlich oder unentgeltlich – in Verkehr zu bringen oder in Betrieb zu nehmen.“ Weiterhin wird der „Nutzer“ (Art. 3 (4) AIA) definiert als „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“. Folglich sind sowohl Hersteller von KI-basierten Medizinprodukten als auch Nutzer wie Kliniken vom AIA betroffen.

Wesentlichen Einfluss auf die Anforderungen an die Produkte und deren Anbieter hat die Klassifizierung als Hochrisiko-KI-Systeme, welche die folgenden Bedingungen erfüllen müssen (Art. 6 AIA):

das KI-System soll als Sicherheitskomponente eines unter die in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder ist selbst ein solches Produkt und
das Produkt, dessen Sicherheitskomponente das KI-System ist, oder das KI-System selbst als Produkt muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.

Unter Punkt 11 und 12 von Anhang II AIA sind die Verordnungen (EU) 2017/745 (MDR) und 2017/746 (IVDR) aufgelistet. Somit ist die erste Anforderung für Medizinprodukte inkl. In-vitro-Diagnostika (IVD) erfüllt. Im weiteren Verlauf des Blog-Beitrags wird nur auf Anforderungen der MDR im Vergleich mit dem AIA eingegangen.

Aufgrund der neuen Klassifizierungsregeln in der MDR, wird Software zukünftig weitestgehend den Risikoklassen IIa und höher zugeordnet. Dies hat ein Konformitätsbewertungsverfahren unter Beteiligung Benannter Stellen zur Folge und damit wäre auch die zweite Bedingung erfüllt. Zusammenfassend werden auch Produkte mit mittlerem Risiko gemäß MDR den Hochrisiko-KI-Systemen im AIA zugeordnet. Darüber hinaus werden die in Anhang III AIA genannten KI-Systeme ausdrücklich als Hochrisikosysteme eingestuft. Die folgende Abbildung stellt die Klassifizierung in der Übersicht dar:

Klassifizierung von KI-basierten Produkten

VDE

Art. 8-15 AIA legen die Anforderungen an Hochrisiko-KI-Systeme fest. Für einige Anforderungen des AIA sind in der MDR teilweise oder vollständige Entsprechungen zu finden. Einzelne Anforderungen des AIA sind hingegen neu. Einzelheiten sind der folgenden Abbildung zu entnehmen:

VDE

Art. 10 AIA legt Daten-Governance– und Datenverwaltungsverfahren fest und überschneidet sich inhaltlich teilweise mit den Anforderungen an Daten aus dem Fragenkatalog „Künstliche Intelligenz bei Medizinprodukten“ der Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland (IG-NB). Deshalb ist es umso wichtiger, die Anforderungen des Fragenkatalogs als Anbieter (Hersteller) konsequent umzusetzen und damit auch für den AIA gerüstet zu sein. Nähere Informationen zum Fragenkatalog finden Sie in unserem separaten Beitrag. Bei KI-basierten Medizinprodukten muss die technische Dokumentation zum Nachweis der Einhaltung der gesetzlichen Anforderungen sowohl Anhang IV AIA als auch den Anhängen II und III MDR entsprechen. Anbieter von Hochrisiko-KI-Systemen müssen eine „automatische Aufzeichnung von Vorgängen und Ereignissen (Protokollierung) während des Betriebs“ einbauen, welche bestimmte Mindest-Daten speichert (Art. 12 AIA).

Art. 16-29 AIA legen die Pflichten für Anbieter und Nutzer von Hochrisiko-KI-Systeme sowie von anderen Beteiligten (Bevollmächtigte, Einführer und Händler) fest. Auch hier finden sich für einige Anforderungen des AIA in der MDR teilweise oder vollständige Entsprechungen. Einzelne Anforderungen sind hingegen neu. Einzelheiten sind der folgenden Abbildung zu entnehmen:

VDE

Ähnlich wie im regulatorischen Lebenszyklus der Medizinprodukte, enden auch für KI-Systeme die Anbieterpflichten nicht mit dem Inverkehrbringen, sondern sie setzen sich im Rahmen der Überwachung nach dem Inverkehrbringen und der Vigilanz fort. Dementsprechend fordert Art. 61 AIA die Erstellung eines Plans zur Überwachung nach dem Inverkehrbringen sowie die Meldung schwerwiegender Vorkommnisse und Fehlfunktionen durch den Anbieter gegenüber den zuständigen Behörden (Art. 62 AIA).

Mit der Anwendung von harmonisierten Normen (Art. 40 AIA) durch den Anbieter von KI-Systemen wird eine Konformität mit den jeweiligen gesetzlichen Anforderungen angenommen (Konformitätsvermutung). Eine entsprechende Regelung findet sich auch in Art. 5 MDR. Außerdem behält sich die EU-Kommission den Erlass gemeinsamer Spezifikationen vor (Art. 40 AIA), wie wir es bereits aus der MDR kennen.

Grundsätzlich müssen Anbieter von Hochrisiko-KI-Systemen ein Konformitätsbewertungsverfahren gemäß Anhang VI AIA (auf der Grundlage einer internen Kontrolle) oder Anhang VII AIA (auf der Grundlage der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation durch eine Benannte Stelle) durchlaufen (Art. 43 (1)). Die Anwendung des weniger aufwendigen ersten Verfahrens ist dem Anbieter von Hochrisiko-KI-Systemen nur gestattet, wenn er harmonisierte Normen und ggf. gemeinsame Spezifikationen einhält. Handelt es sich beim Hochrisiko-KI-System allerdings um ein Medizinprodukt muss der Hersteller die einschlägigen Konformitätsbewertungsverfahren gemäß MDR durchlaufen (Art. 43 (3)). Weiterhin wäre die beteiligte Benannte Stelle auch befugt, die Konformität von diesen Hochrisiko-KI-Systemen mit den AIA-Anforderungen zu überprüfen.

In Bezug auf kontinuierlich-lernende Systeme ist Art. 43 (4) AIA interessant, denn darin heißt es: „Bei Hochrisiko-KI-Systemen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen, gelten Änderungen des Hochrisiko-KI-Systems und seiner Leistung, die vom Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab festgelegt wurden und in den Informationen der technischen Dokumentation gemäß Anhang IV Nummer 2 Buchstabe f enthalten sind, nicht als wesentliche Änderung.“ Dies widerspricht der Auffassung der IG-NB, welche im zuvor genannten Fragenkatalog eine Zertifizierung dieser Systeme gänzlich ausschließt und ähnelt dem Regulierungsansatz der FDA.

Für Hochrisiko-KI-Systeme als Medizinprodukt stellt der Anbieter eine einzige EU-Konformitätserklärung aus, „die sich auf alle für das Hochrisiko-KI-System geltenden Rechtsvorschriften der Union bezieht [Beispiel: im Fall von einer Software als Medizinprodukt auf MDR sowie AIA]. Die Erklärung enthält alle erforderlichen Angaben zur Feststellung der Harmonisierungsrechtsvorschriften der Union, auf die sich die Erklärung bezieht“ (Art. 48 (3) AIA).

Vor dem Inverkehrbringen oder der Inbetriebnahme unterliegen nur Hochrisiko-KI-Systeme gemäß Art. 6 (2) AIA einer Registrierungspflicht (Art. 51 AIA) in einer neu aufzubauenden EU-Datenbank (Art. 60 AIA). Medizinprodukte sind davon nicht betroffen, da sie über die EUDAMED registriert werden.

Für bestimmte KI-Systeme bestehen außerdem Transparenzpflichten (Art. 52 AIA). Auf Medizinprodukte angewendet, dürfte vor allem Absatz 1 dieses Artikels einschlägig sein, nämlich „dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich“. Die Nennung der KI-Technologie als sog. Operating Principle in der Zweckbestimmung eines Medizinproduktes dürfte diese Anforderung erfüllen.

Maßnahmen zur Innovationsförderung

Offensichtlich hat die EU-Kommission selbst erkannt, dass die Anforderungen des AIA Innovationen im Bereich der KI-Systeme verhindern können. Als Gegenmaßnahme sieht Art. 53 AIA die Einrichtung von KI-Reallaboren vor, die für eine begrenzte Zeit kontrollierte Testumgebungen für innovative Technologien bieten sollen. Möglichweise möchte die EU Kommission damit auch dem Umstand entgegenwirken, dass wegen der hohen Datenschutzanforderungen oftmals ausreichende Datenmengen fehlen, um ein hochqualitatives KI-System entwickeln zu können. Art. 55 AIA enthält zudem Maßnahmen zur Reduzierung des Verwaltungsaufwands für KMU und Start-ups.

Anwendbarkeit auf Legacy Produkte und weiteres Gesetzgebungsverfahren

Die Schlussbestimmungen von Art. 83 (2) AIA regeln, dass Hochrisiko-KI-Systeme, die vor dem Geltungsbeginn des AIA in Verkehr gebracht oder in Betrieb genommen wurden, nur dann den Bestimmungen des AIA entsprechen müssen, „wenn diese Systeme danach in ihrer Konzeption oder Zweckbestimmung wesentlich geändert wurden“.

Zum Zeitpunkt der Veröffentlichung dieses Blog-Beitrags fanden Beratung des Rats der EU zum vorliegenden Verordnungsentwurf statt und die erste Lesung im EU-Parlament war noch nicht erfolgt. Der aktuelle Stand des Gesetzgebungsverfahren ist hier einsehbar.

Zusammenfassung und Empfehlungen

Wenn der vorliegende Entwurf für den AIA in dieser oder nur leicht veränderten Form angenommen wird, müssen auch Medizinproduktehersteller mit einem nochmals erhöhten regulatorischen Aufwand rechnen.

Wir empfehlen Medizinprodukteherstellern, die Entwicklung diese Gesetzesvorhabens weiter zu beobachten und frühzeitig die Anpassung der regulatorischen Prozesse im Unternehmen anzugehen. Hierbei sind wir gerne unterstützend tätig.