Next-level Cybersecurity bei Künstliche Intelligenz (KI)-basierter Software als Medizinprodukt

“Sicherheit” umfasst nicht nur die Betriebssicherheit (Safety), sondern auch die Informationssicherheit (Security). 2019 hat die Medical Device Coordination Group (MDCG) das Dokument „Guidance on Cybersecurity for Medical Devices“ (MDCG 2019-16) mit den folgenden Schlüsselanforderungen veröffentlicht:

1. Informationssicherheit wird als gemeinschaftliche Aufgabe aller Stakeholder angesehen.
2. Anforderungen bestehen sowohl vor als auch nach dem Markteintritt (defense in depth product strategy during life-cycle).
3. Hersteller sollen die potenzielle Ausnutzung von Schwachstellen, die sich aus dem vernünftigerweise vorhersehbaren Missbrauch ergeben können, vorhersehen und bewerten.
4. Basierend auf dieser Bewertung sind Maßnahmen gegen das Ausnutzen dieser Schwachstellen zu ergreifen.
5. Risiken aus der Produktsicherheit und der Informationssicherheit sollen zusammen auch in Hinblick auf deren Wechselwirkung betrachtet werden.

Zunächst unterscheiden sich die grundlegenden Schutzmaßnahmen bei KI-basierter Software nicht von denen klassischer Software, um die übergeordneten Schutzziele Datenvertraulichkeit, Datenintegrität und Datenverfügbarkeit zu erreichen. Konkret handelt es sich beispielsweise um Maßnahmen gegen Denial-of-Service-Angriffe (Verlust der Datenverfügbarkeit) und Malware.

Es existieren aber auch spezielle Bedrohungen bei KI-basierter Software, die in den technischen Besonderheiten begründet sind und sich entweder gegen das Modell oder die Datensätze richten. Im Folgenden werden wir Ihnen einige Beispiele erläutern.

Bedrohungen der Informationssicherheit erkennen

Wie oben dargestellt ist die schwierige Aufgabe, Bedrohungen im Vorfeld, d. h. vor Auslieferung oder bevor ein Angreifer eine potentielle Schwachstelle erkennt und ausnutzt, zu erkennen.

Diese Vorgehensweise wird Bedrohungsmodellierung / Bedrohungsanalyse (Threat Modeling / Threat Analysis) genannt und ist bei der Betrachtung der Informationssicherheit ein etabliertes Verfahren.

Vorgehensweise

Threat Modeling beschreibt ein systematisches Vorgehen, um potenzielle Bedrohungen, etwa strukturelle Schwachstellen oder das Fehlen geeigneter Schutzmaßnahmen, zu erkennen.

Dazu ist die Kenntnis des Angreiferprofils ebenso notwendig wie die Eigenschaften des betrachteten Systems, die wahrscheinlichsten Angriffsvektoren und die von einem Angreifer am meisten begehrten Assets (die zu schützenden Werte).

Die Bedrohungsmodellierung beantwortet Fragen wie “Was sind die wichtigsten Bedrohungen?”, “Wo bin ich am anfälligsten für Angriffe?” und “Was kann ich tun, um mich gegen diese Bedrohungen zu schützen?”.

Die Bedrohungsmodellierung bzw. die Bedrohungsanalyse wird in einschlägigen Standards und Technical Reports zur Betrachtung der Security empfohlen (u. a.: IEC TR 60601-4-5, Medical electrical equipment – Part 4-5: Guidance and interpretation – Safety-related technical security specifications).

Ein etabliertes Modell (aber nicht das Einzige!) ist das von Microsoft entwickelte „STRIDE“, dessen Abkürzung für Sicherheitsbedrohungen in sechs Kategorien steht:

• Spoofing (Identitätsverschleierung, z. B. zur Erhöhung von Rechten)
• Tampering (Manipulation) 
• Repudiation (Nichtanerkennung / Verleugnung)
• Information disclosure (unerlaubte Veröffentlichung von Informationen)
• Denial of Service
• Elevation of Privilege (Erhöhung von Rechten)

Anwendung auf KI-basierte Systeme

Dieses Modell kann – und sollte! – auf KI-basierte Systeme angewendet werden.

Beantworten Sie dabei die Frage (beispielsweise anhand der oben genannten Kategorien): “Was kann in diesem KI-basierten System, mit dem wir arbeiten und auf dessen Ergebnisse wir uns verlassen (möchten), schiefgehen?”

Wie eine solche Bedrohungsanalyse aussehen könnte zeigen wir Ihnen in folgenden Beispielen.

Model Poisoning

Adversarial Attacks

Adversarial Attacks bestehen vereinfacht gesagt darin, dass die Eingabedaten so verfälscht werden, dass es zu einem fehlerhaften Verhalten des KI-Modells kommt. Beispiele sind Aufnahmen von Muttermalen und der Netzhaut sowie Thorax-Röntgenaufnahmen, in welche für das menschliche Auge unsichtbare Bildstörungen eingebracht wurden. In allen Fällen kamen die jeweiligen Modelle fälschlicherweise zu einer Krankheitsdiagnose, obwohl die Bilder eigentlich befundfrei waren (Ma, X.et al. 2019). Der Zugriff auf die Input-Daten ist keineswegs unwahrscheinlich, wie sich durch ungeschützte PACS-Server in der Vergangenheit gezeigt hat. Dennoch setzen solche Angriffe auch eine genaue Kenntnis der typischerweise verborgenen internen Netzwerktopologie von Produktionssystemen voraus. Ren und Co-Autoren haben kürzlich zahlreiche mögliche Schutzmaßnahmen, wie das Adversarial Training, aufgezeigt.

Generative Adversarial Network (GAN) based Attacks

Dreidimensionale CT-Bilder können durch einen Angreifer mittels eines GAN automatisiert so verändert werden, dass entweder Strukturen hinzugefügt oder entfernt werden (Mirsky, Y. et al. 2019). Selbst ein Radiologe ist dann nicht in der Lage, diese Manipulationen erkennen zu können. Der Zugriff auf die Input-Daten kann über eine Malware auf dem PC des Radiologen geschehen, wenn kein direkter Zugriff auf den PACS-Server möglich ist.

Data Poisoning

Beim Data Poisoning werden die Trainings-Daten für das KI-Modell manipuliert, so dass die Leistungsfähigkeit des Produktes negativ beeinflusst wird. Dieses Angriffsszenario setzt aber voraus, dass es sich um ein kontinuierlich lernendes System handelt, die im Bereich der Medizinprodukte aber zurzeit nicht zertifizierbar sind. Als mögliche Schutzmaßnahme hat sich das Filtering etabliert, um Datenanomalien zu erkennen.

Model Stealing

Beim Model Stealing wird eine hohe Anzahl von Input-Daten an die KI-basierte Software geschickt, um die Output-Daten (z. B. eine Diagnose) zum Trainieren eines zweiten KI-Modells zu verwenden. Es findet also eine Art Replikation des ursprünglichen KI-Modells statt.

Datenschutz

Datenschutz und Informationssicherheit gehen Hand-in-Hand und können nicht getrennt betrachtet werden. Gesundheitsdaten werden in Europa gemäß der EU-Datenschutzgrundverordnung als besonders schützenswert erachtet. Hersteller können den Schutz über Maßnahmen wie differentiellen Datenschutz sowie durch Anonymisierung und Pseudonymisierung der Output-Daten realisieren (Kaissis et al. 2020).

Empfehlungen

Hersteller sollten die Informationssicherheit zusammen mit der Produktsicherheit im Risikomanagement für ihr Produkt betrachten.

Die oben dargestellte Bedrohungsanalyse ist dabei ein Teil des Risikomanagement-Prozesses. Sie lässt sich auf die „konventionelle Fragestellungen der Informationssicherheit“ ebenso wie auf KI-basierte Software anwenden.

Für in Verkehr gebrachte Produkt gilt es außerdem, neue Bedrohungen im Rahmen der Überwachung fortwährend zu identifizieren und zu analysieren. Gegebenenfalls sind neue Schutzmaßnahmen über den Change-Management-Prozess zu realisieren.