Verordnung der Europäischen Union zur Regulierung der Entwicklung von KI-Technologie
ulf mine / stock.adobe.com; KI-generiert
08.08.2026 Fachinformation

Künstliche Intelligenz (KI)-Medizinprodukte: Welche zusätzlichen Anforderungen gelten?

Hersteller von KI-Medizinprodukten müssen spezifische Anforderungen u.a. an Risikomanagement, Datenqualität, Transparenz und Cybersicherheit erfüllen.

Kontakt
VDE Health

KI-basierte Medizinprodukte unterliegen grundsätzlich denselben Anforderungen wie andere Medizinproduktsoftware. Der Einsatz von KI bringt jedoch besondere Risiken mit sich, die Hersteller bereits heute etwa im Risikomanagement, bei Datenqualität und klinischer Bewertung, bei menschlicher Kontrolle, Cybersicherheit und Marktüberwachung berücksichtigen müssen. Hinzu kommen bereits anwendbare Vorgaben des AI Act sowie datenschutzrechtliche Anforderungen. Der Beitrag zeigt, welche zusätzlichen Pflichten schon heute gelten und wie bestehende regulatorische Prozesse dafür zu ergänzen sind.
 

AI Act: Welche Anforderungen gelten schon jetzt?

Für KI-Medizinprodukte gelten bereits heute einzelne Vorgaben des AI Act. Seit dem 2. Februar 2025 müssen Anbieter und Betreiber insbesondere für eine angemessene KI-Kompetenz der beteiligten Personen sorgen (Art. 4) und prüfen, ob eine verbotene KI-Praxis nach vorliegt (Art. 5).

Die erforderliche KI-Kompetenz muss dabei rollen- und risikobezogen beurteilt werden. Relevante Schulungsinhalte sind beispielsweise Systemgrenzen und Fehlermöglichkeiten, Anforderungen an Eingabedaten, die richtige Interpretation der Ergebnisse sowie Risiken einer unkritischen Übernahme von KI-Empfehlungen. Die Maßnahmen sollten nachvollziehbar dokumentiert werden.

Bei der Prüfung verbotener KI-Praktiken sind neben der medizinischen Zweckbestimmung auch nichtmedizinische Zusatzfunktionen, weitere vom Anbieter vorgesehene Einsatzmöglichkeiten und vernünftigerweise vorhersehbare Fehlanwendungen zu berücksichtigen. Besondere Aufmerksamkeit erfordern etwa Systeme zur Verhaltensbeeinflussung, Emotionserkennung oder biometrischen Kategorisierung.

Werden allgemeine KI-Modelle in ein Medizinprodukt eingebunden, können außerdem die seit dem 2. August 2025 anwendbaren Vorschriften zu General-Purpose-AI-Modellen relevant sein. Unabhängig von den Pflichten des Modellanbieters bleibt der Medizinproduktehersteller für Sicherheit, Leistung und Konformität des Endprodukts verantwortlich.

Dazu kommen die Transparenzpflichten in Art. 50 des AI Acts, die seit dem 2. August 2026 gelten. Je nach Ausgestaltung eines Medizinprodukts können Informationspflichten etwa bei der Interaktion mit KI-Systemen oder mit Blick auf die Kennzeichnung KI-generierter Inhalte entstehen. Auch hier muss eine produktspezifische Überprüfung erfolgen.

Der Digital Omnibus, ein EU-Gesetzgebungspaket zur Vereinfachung von Digitalvorschriften, ändert (u.a.) den Anwendungsbeginn der umfassenden Hochrisikoanforderungen für produktintegrierte KI-Systeme, zu denen auch Medizinprodukte (> Klasse I) und IVD (> Klasse A) zählen, auf den 2. August 2028. Die bereits geltenden Pflichten entfallen nicht.

Die Verschiebung entbindet Hersteller somit nicht von den bereits anwendbaren Vorschriften. Sie schafft aber zusätzliche Vorbereitungszeit für die nach jetzigem Stand später hinzutretenden Anforderungen an Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungen, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit.
 

KI-spezifisches Risikomanagement

Das Risikomanagement nach Art. 10 Abs. 2 und Anhang I Abschnitt 3 MDR bzw. IVDR muss auch Gefährdungen erfassen, die aus Datenabhängigkeit und probabilistischem Modellverhalten entstehen. Dazu gehören verzerrte oder ungeeignete Trainingsdaten, mangelnde Repräsentativität, Überanpassung, fehlerhafte Ergebnisse außerhalb der Trainingsverteilung, unterschiedliche Leistung in Patientengruppen sowie Daten- und Konzeptdrift. Ebenso berücksichtigt werden sollten Abhängigkeiten von Drittmodellen und Risiken der Mensch-KI-Interaktion, insbesondere Übervertrauen und Automation Bias.

Risikokontrollmaßnahmen können Eingabe- und Plausibilitätsprüfungen, definierte Einsatz- und Leistungsgrenzen, Warnungen, menschliche Kontrollen (Human Oversight) und die Überwachung der realen Modellleistung umfassen. Bewertet werden muss stets das vollständige Medizinprodukt im klinischen Arbeitsablauf, nicht nur das Modell. ISO 14971 liefert den etablierten Risikomanagement-Prozessrahmen, und MDCG 2025-6 ordnet die komplementäre Anwendung von MDR/IVDR und AI Act ein. ISO/TS 24971-2 unterstützt bei der Anwendung von ISO 14971 auf Machine-Learning-Medizinprodukte (Datenmanagement, Bias, Modelldrift, Retraining und kontinuierliches Lernen). Sie gilt allerdings nicht für Produkte mit großen Sprachmodellen oder generativer KI. KI-spezifische Prüffragen bietet außerdem der IG-NB/Team-NB-Fragebogen „Artificial Intelligence in Medical Devices“.

Für jede wesentliche KI-Gefährdung sollten Auslöser, betroffene Personengruppen, Schadensmechanismus und geeignete Kontrollen nachvollziehbar beschrieben werden. Dazu gehört auch die Frage, ob eine statistisch gute Gesamtleistung relevante Schwächen in kleinen oder besonders vulnerablen Gruppen verdeckt. Restrisiken dürfen nicht allein durch allgemeine Warnhinweise adressiert werden, wenn sie durch Datenwahl, Modellgestaltung oder eine technische Begrenzung wirksamer reduziert werden können.
 

Daten-Governance und Repräsentativität

Bei (medizinischen) KI-Systemen sind Daten ein wesentlicher Teil des Entwicklungs- und Evidenzkonzepts. Hersteller sollten festlegen und dokumentieren, wie Daten erhoben, ausgewählt, bereinigt, annotiert, aufgeteilt, versioniert und freigegeben werden. Insbesondere Herkunft, Vollständigkeit, Aktualität, Labelqualität, mögliche Verzerrungen und die Rückverfolgbarkeit zwischen Datensatz, Modell- und Produktversion müssen geprüft werden.

Die Datensätze müssen Zweckbestimmung, Zielpopulation und Anwendungskontext angemessen abbilden. Relevante klinische und demografische Untergruppen sowie Unterschiede zwischen Standorten, Geräten und Untersuchungsprotokollen müssen einbezogen werden. Eine exakte statistische Kopie der Gesamtbevölkerung ist nicht erforderlich, aber eine belastbare Begründung, dass relevante Variationen und Risikogruppen so erfasst sind, dass Aussagen zur vorgesehenen Zielpopulation möglich werden. Aus methodischer Sicht müssen Training, Optimierung und unabhängige Prüfung getrennt und Data Leakage ausgeschlossen werden.

Die genannten Datenanforderungen leiten sich aus den Anforderungen an Sicherheit, Leistung, Risikomanagement und klinischer bzw. leistungsbezogener Evidenz der MDR bzw. IVDR ab. Die Leitlinie MDCG 2020-1 beschreibt Anforderungen und Methoden zur klinischen Bewertung bzw. Leistungsbewertung von Medizinprodukte-Software nach MDR und IVDR und erläutert den Nachweis von wissenschaftlicher Validität, technischer Leistungsfähigkeit und klinischer Leistungsfähigkeit. Der IG-NB/Team-NB-Fragebogen konkretisiert Aufbau und Art der Dokumentation zu KI-Datensätzen und KI-Datenmanagement.

Die Daten-Governance sollte außerdem Regeln für Ausschlüsse, Korrekturen und spätere Ergänzungen von Datensätzen enthalten. Bei Verwendung synthetischer Daten sollten ihr Erzeugungsverfahren, ihr Anteil und ihre Eignung für den jeweiligen Nachweis begründet werden. Etwaige Datenlücken müssen mit Blick auf Risikomanagement und Post-Market-Surveillance dokumentiert werden.
 

Verifikation, Validierung und klinische Evidenz

Klassische Softwaretests sind für KI basierte Medizinprodukte nicht ohne weiteres geeignet. Die Verifikation muss zeigen, dass System und Modell die spezifizierten Anforderungen erfüllen, während die Validierung die Eignung des vollständigen Produkts im Sinne der Zweckbestimmung belegen muss. Untersucht werden müssen insbes. Reproduzierbarkeit, Kalibrierung, Unsicherheit und Robustheit bei variierenden Eingaben sowie die Leistung in klinisch relevanten Untergruppen. Entsprechende Metriken und Akzeptanzkriterien müssen klinisch begründet und aus Zweckbestimmung und Risikomanagement abgeleitet sein.

Zu unterscheiden sind die Leistung des Modells, die Leistung des vollständigen Produkts und dessen klinischer Nutzen im Zusammenspiel mit den Anwendern. Interne Testdaten allein genügen häufig nicht, um die Generalisierbarkeit nachzuweisen. Je nach Anwendungsfall können daher unabhängige externe Validierungen, multizentrische Datensätze, klinische Prüfungen bzw. Leistungsstudien sowie Untersuchungen der Mensch-KI-Interaktion erforderlich sein. Besondere Aufmerksamkeit verdienen die Auswirkungen falsch positiver und falsch negativer Ergebnisse sowie mögliche Leistungsunterschiede zwischen Patientengruppen.

Die Auswahl der Kennzahlen muss zur klinischen Fragestellung passen. Einzelne Gesamtkennzahlen können insbes. bei seltenen Erkrankungen, unausgewogenen Klassenverteilungen oder unterschiedlichen Fehlerrisiken ein verzerrtes Bild vermitteln. Daher sollten je nach Anwendungsfall Sensitivität, Spezifität, positive und negative Vorhersagewerte, Kalibrierung, statistische Unsicherheit sowie klinisch relevante Endpunkte gemeinsam bewertet werden. Die hierfür maßgeblichen Leistungs- und Akzeptanzkriterien sollten bereits vor Beginn der Validierung festgelegt werden, um eine nachträgliche Auswahl besonders günstiger Kennzahlen zu vermeiden.

Rechtsgrundlagen sind insbesondere Art. 61 und Anhang XIV MDR beziehungsweise Art. 56 und Anhang XIII IVDR sowie die Softwareanforderungen aus Anhang I. MDCG 2020-1 ist die zentrale Auslegungshilfe für klinische beziehungsweise leistungsbezogene Evidenz von Medizinproduktsoftware. IEC 62304 bleibt der Prozessrahmen für Entwicklung und Pflege von Medizinproduktsoftware einschließlich der darin vorgesehenen Verifikationsaktivitäten.

Für IVD ist zusätzlich die Dreiteilung des Leistungsnachweises nach Anhang XIII IVDR von Bedeutung, d.h. wissenschaftliche Validität, analytische Leistung und klinische Leistung. In Bezug auf KI muss dabei vor allem die analytische Leistung über Probenkollektive, Präanalytik und Messplattformen hinweg abgesichert werden. Bei Companion Diagnostics kommt das Konsultationsverfahren mit der zuständigen Arzneimittelbehörde hinzu und bei Klasse-D-Produkten die Einbindung eines EU-Referenzlaboratoriums.
 

Menschliche Kontrolle und Transparenz

Anwender müssen KI-Ausgaben richtig einordnen und bei Bedarf verwerfen oder übersteuern können. Benutzeroberfläche und Gebrauchsinformation sollten daher Systemgrenzen, erforderliche Eingabequalität, relevante Unsicherheiten, bekannte Fehlermuster und notwendige Kontrollschritte verständlich vermitteln. Warnungen müssen handlungsorientiert sein. Bei ungeeigneten Eingaben oder Situationen außerhalb des validierten Bereichs sollte das System dies kenntlich machen.

Die Gebrauchstauglichkeitsbewertung muss KI-typische Interaktionsrisiken einbeziehen, etwa unkritische Übernahme, Fehlinterpretation von Wahrscheinlichkeiten, falsches Vertrauen in scheinbar präzise Ergebnisse oder systematische Nichtbeachtung zutreffender Warnungen. Eine vollständige Offenlegung des Algorithmus ist dafür nicht notwendig, entscheidend ist die für eine sichere Nutzung erforderliche Transparenz. Die Anforderungen folgen aus den Usability- und Informationspflichten in Anhang I MDR/IVDR. IEC 62366-1 bietet den Prozessrahmen, der IG-NB/Team-NB-Fragebogen ergänzt KI-spezifische Prüfpunkte.
 

Robustheit und KI-spezifische Cybersecurity

Robustheit bezeichnet bei KI insbesondere die Fähigkeit, auch bei variierenden, unvollständigen oder unerwarteten Eingaben innerhalb eines definierten Bereichs verlässlich zu funktionieren. Daher sollten Abweichungen von der Trainingsverteilung, Veränderungen von Datenquellen sowie Ausfälle oder Änderungen externer Modelle und Dienste geprüft werden. Dies gilt auch für nicht validierte Situationen, die erkannt und zurückgewiesen werden müssen.

Zusätzlich zu allgemeinen Softwareschwachstellen müssen KI-spezifische Angriffe einbezogen werden, etwa manipulierte Trainingsdaten, täuschende Eingaben, Modell- oder Datenextraktion und unberechtigte Änderungen von Modellparametern. Bei Cloud- oder API-basierten Modellen kommen Verfügbarkeit und unbemerkte Updates hinzu. Erforderlich sind Bedrohungsanalysen, Integritäts- und Zugriffskontrollen, sichere Updates, Tests relevanter Angriffsszenarien und eine Software- und Modellstückliste. Anhang I MDR/IVDR bildet die Rechtsgrundlage. MDCG 2019-16 Rev. 1 und IEC 81001-5-1 sind die wichtigsten normativen Cybersecurity-Referenzen. Der IG-NB/Team-NB-Fragebogen adressiert die zusätzlichen KI-Angriffsszenarien.
 

Datenschutz bei Entwicklung und Betrieb

Werden personenbezogene Daten für Training, Validierung, Betrieb oder Marktüberwachung verarbeitet, müssen Rollen und Rechtsgrundlagen für jeden Zweck gesondert bestimmt werden. Da Gesundheitsdaten besondere Kategorien personenbezogener Daten darstellen, erfordert ihre Verarbeitung grundsätzlich sowohl eine Rechtsgrundlage nach Art. 6 DSGVO als auch die Erfüllung eines Ausnahmetatbestands nach Art. 9 Abs. 2 DSGVO. Zudem ist zu beachten, dass die spätere Nutzung von Behandlungsdaten für Training, Validierung oder Produktverbesserungen eines KI-Systems nicht automatisch von der ursprünglichen Datenerhebung gedeckt ist und datenschutzrechtlich gesondert zu bewerten sein kann.

KI-spezifische Spannungsfelder entstehen zwischen repräsentativen Datensätzen und Datenminimierung sowie zwischen Logging zur Rückverfolgbarkeit und Speicherbegrenzung. Datenschutz durch Technikgestaltung, Pseudonymisierung, Zugriffsbeschränkungen und zweckbezogene Löschfristen sollten daher frühzeitig in Daten- und Systemarchitektur berücksichtigt werden. Eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO ist erforderlich, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen verursacht. Art. 22 ist relevant, wenn eine ausschließlich automatisierte Entscheidung rechtliche oder ähnlich erhebliche Wirkungen entfaltet.
 

Drittmodelle, Werkzeuge und Modelländerungen

Vortrainierte Modelle, externe Datensätze, Cloud-Dienste und Open-Source-Komponenten verlagern die Herstellerverantwortung nicht. Hersteller müssen Herkunft, Version, Leistungsgrenzen, bekannte Anomalien, Cybersecurity, Lizenzbedingungen, Updatepolitik und verfügbare technische Informationen kontrollieren. Verträge sollten Änderungen, Schwachstellen, Abkündigungen und erforderliche Mitwirkungsrechte abdecken. Fehlen ausreichende Entwicklungsnachweise, kann eine Komponente nach IEC 62304 als SOUP zu behandeln sein.

Auch Werkzeuge für Annotation, Training und Modellbewertung müssen risikobasiert für den eigenen Verwendungszweck validiert werden, wenn ihr Fehler die Produktqualität oder regulatorische Nachweise beeinflussen kann. EN ISO 13485 enthält hierfür die relevanten Vorgaben zu ausgelagerten Prozessen, Lieferanten und Software als Teil des QMS. Der IG-NB/Team-NB-Fragebogen adressiert hier die Besonderheiten von KI-Entwicklungswerkzeugen und Drittmodellen.

Retraining und Modellupdates sind Produktänderungen im Sinne des QMS. Vor Freigabe einer neuen Modellversion sollten Daten, Trainingsverfahren, Akzeptanzkriterien und Auswirkungen auf Risikoprofil, klinische Evidenz und Gebrauchsinformation bewertet werden. Modell-, Daten-, Software- und Produktversion müssen rückverfolgbar verknüpft sein.
 

KI-spezifische Überwachung nach dem Inverkehrbringen

Die Post-Market-Surveillance (PMS) muss neben den üblichen Verfahren der Beschwerdebearbeitung und Vigilanz die fortlaufende Überwachung der Produktleistung unter realen Einsatzbedingungen sicherstellen. Zu bewerten sind insbes. Abweichungen von validierten Leistungskennzahlen, falsch positive und falsch negative Ergebnisse, Leistungsunterschiede zwischen Untergruppen, Daten- und Konzeptdrift sowie Änderungen der Einsatzumgebung, externer KI-Komponenten oder angeschlossener Geräte. Darüber hinaus sollten Nutzerfeedback, Hinweise auf Automation Bias und Fehlinterpretationen der Systemausgaben systematisch ausgewertet werden.

Der PMS-Plan sollte KI-spezifische Datenquellen, Leistungskennzahlen, Überwachungsintervalle und Schwellenwerte festlegen. Werden relevante Abweichungen festgestellt, müssen deren Ursachen und Auswirkungen auf Sicherheit und Leistung bewertet werden. Ggf. müssen Risikomanagement, klinische bzw. Leistungsbewertung, Produktdokumentation, Gebrauchsinformation oder das Modell aktualisiert werden. MDCG 2025-10 beschreibt die proaktive Datenerhebung und Rückkopplung in QMS-Prozesse. Der IG-NB/Team-NB-Fragebogen ergänzt KI-spezifische Überwachungsaspekte.
 

Was kommt ab dem 2. August 2028 durch den AI Act hinzu?

Die Hochrisikoanforderungen sind in Kapitel III Abschnitt 2 AI Act geregelt. Risikomanagementsystem (Art. 9), Daten und Daten-Governance (Art. 10), technische Dokumentation nach Anhang IV (Art. 11), automatische Protokollierung (Art. 12), Transparenz und Betriebsanleitung (Art. 13), menschliche Aufsicht (Art. 14) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15). Dazu kommen das Qualitätsmanagementsystem (Art. 17) und die Beobachtung nach dem Inverkehrbringen (Art. 72).

Die Konformitätsbewertung erfolgt gemäß Art. 43 Abs. 3 nach MDR bzw. IVDR, d. h. die entsprechende Benannte Stelle nach MDR bzw. IVDR prüft die AI-Act-Anforderungen mit, sofern sie auch für den AI Act notifiziert ist. Ein "separates" AI-Act-Verfahren entsteht also nicht, und auch eine gemeinsame Konformitätserklärung nach Art. 47 ist vorgesehen.

Modelländerungen, die der Hersteller bereits bei der ersten Konformitätsbewertung festgelegt und in der technischen Dokumentation beschrieben hat, gelten nicht als wesentliche Änderung (Art. 43 Abs. 4). Die Meldung schwerwiegender Vorfälle nach Art. 73 ist für Medizinprodukte auf grundrechtsbezogene Vorfälle beschränkt. Davon nicht betroffen sind die Vigilanzmeldungen nach MDR/IVDR.
 

Normen und Leitlinien in der Erarbeitung

CEN-CENELEC JTC 21 ist das zuständige Normungskomitee für die Erarbeitung von Normen zur Unterstützung der Umsetzung des AI Act. Im Mittelpunkt stehen insbesondere die mit dem AI Act zu harmonisierenden Normen zu den Hochrisikoanforderungen. Die EN 18286:2026 zum KI-Qualitätsmanagementsystem (Art. 17 AI Act) wurde als erste Norm in diesem Kontext veröffentlicht. Besonders weit vorangeschritten sind außerdem prEN 18228 zum KI-Risikomanagement als Unterstützung zu Art. 9 AI Act, prEN 18282 zu Cybersicherheitsanforderungen an KI-Systeme mit Bezug zu Art. 15 AI Act sowie prEN 18229-1 zum Logging als Teil des AI Trustworthiness Framework mit Bezug zu Art. 12 AI Act. Sind die Normung in einzelnen Bereichen nicht rechtzeitig verfügbar, kann die Kommission nach Art. 41 AI Act gemeinsame Spezifikationen erlassen.

Auf Seiten der Medizinprodukte können ISO/TS 24971-2 zum Risikomanagement für Machine-Learning-Medizinprodukte, IEC 62366-3 zur Gebrauchstauglichkeit KI-basierter Medizinprodukte und IEC PAS 63621 zum Datenmanagement ergänzend genannt werden. Ebenfalls als ergänzend nutzbar können ISO/IEC 42001 zum KI-Managementsystem, ISO/IEC 23894 zum KI-Risikomanagement und die Normenfamilie ISO/IEC 5259 zur Datenqualität in Betracht gezogen werden. Der IG-NB/Team-NB-Fragebogen berücksichtigt in der aktuellen Fassung die Anforderungen des AI Act ausdrücklich noch nicht, daher ist eine Aktualisierung angekündigt.


FAQ

Gelten die vollständigen Hochrisikoanforderungen des AI Act bereits für KI-Medizinprodukte?

Nein. Bereits anwendbar sind vor allem die Vorgaben zur KI-Kompetenz, Transparenzpflichten und die Verbote bestimmter KI-Praktiken. Der Digital Omnibus verschiebt den Anwendungsbeginn der umfassenden Hochrisikoanforderungen für produktintegrierte KI-Systeme auf den 2. August 2028.

Ist jedes KI-Medizinprodukt automatisch ein Hochrisiko-KI-System?

Nein. Entscheidend ist insbes., ob das KI-System selbst ein reguliertes Produkt oder dessen Sicherheitsbauteil ist und ob die Konformitätsbewertung nach MDR beziehungsweise IVDR die Beteiligung einer unabhängigen dritten Stelle erfordert.

Darf ein bereits zertifiziertes Modell erneut trainiert werden?

Ja, aber ein Retraining ist als Produktänderung zu lenken. Vor Freigabe müssen Auswirkungen auf Sicherheit, Leistung, klinische Evidenz, Risikomanagement und technische Dokumentation bewertet und die neue Version verifiziert und validiert werden.

Lernt ein KI-Medizinprodukt nach dem Inverkehrbringen weiter?

Zu unterscheiden sind hier statische Modelle, kontrollierte Modellupdates nach einem erneuten Training und adaptive Systeme, die sich während des Betriebs selbständig verändern. Bei kontrollierten Updates muss der Hersteller jede neue Modellversion vor ihrer Freigabe verifizieren und validieren.

Welche zusätzlichen Anforderungen gelten für adaptive oder kontinuierlich lernende KI-Systeme?

Der Hersteller muss den zulässigen Änderungsraum vorab festlegen und unter anderem geeignete Lern- beziehungsweise Betriebsdaten, Leistungsgrenzen, Überwachungsmechanismen, Abbruchkriterien und Rückkehrmöglichkeiten zu einer freigegebenen Modellversion definieren. Zudem muss nachweisbar bleiben, dass das veränderte Produkt innerhalb seiner Zweckbestimmung sowie seines validierten Sicherheits- und Leistungsbereichs arbeitet.

Welche besonderen Risiken entstehen beim Einsatz generativer KI in einem Medizinprodukt?

Generative KI kann plausibel wirkende, aber sachlich falsche oder nicht reproduzierbare Inhalte erzeugen. Zusätzlich sind hier die Abhängigkeit von Eingaben und Kontext, unzulässige Datenoffenlegung, Prompt Injection sowie Änderungen externer Basismodelle besonders relevant. Der Hersteller muss den zulässigen Ausgaberaum begrenzen und eine angemessene menschliche Prüfung medizinisch relevanter Ergebnisse sicherstellen.
 

Fazit

Auch vor Anwendung der vollständigen Hochrisikovorgaben des AI Act verlangen MDR, IVDR und DSGVO eine KI-spezifische Ausgestaltung bestehender Prozesse. Im Mittelpunkt stehen Daten und Repräsentativität, belastbare und generalisierbare Evidenz, menschliche Kontrolle, Robustheit, Drittmodelle, kontrollierte Modelländerungen und eine Daten-/Konzeptdrift berücksichtigende Marktüberwachung. Hersteller sollten diese Punkte jetzt systematisch in QMS und technische Dokumentation integrieren und zugleich auf die absehbaren AI-Act-Anforderungen ausrichten.

Der VDE unterstützt Hersteller dabei, regulatorische Prozesse auf KI-spezifische Aspekte auszurichten. Sprechen Sie uns gerne an, wenn Sie den Handlungsbedarf für Ihr KI-Medizinprodukt bestimmen und die Vorbereitung auf den AI Act angehen möchten.


Dieser Beitrag dient ausschließlich der allgemeinen Information und stellt keine Rechtsberatung dar. Sämtliche Inhalte wurden vor Veröffentlichung fachlich geprüft und werden regelmäßig auf Aktualität, Vollständigkeit und Richtigkeit überprüft. Trotz sorgfältiger Erstellung und Qualitätskontrolle können Fehler, Unvollständigkeiten oder zwischenzeitlich eingetretene Änderungen der Rechtslage nicht ausgeschlossen werden.