Der allgemeine Begriff Bias wird im Zusammenhang mit KI/ML im Technical Report ISO/IEC TR 29119-11:2020 als „Measure of the distance between the predicted value provided by the ML model and a desired fair prediction“ definiert. Es gibt jedoch zahlreiche unterschiedliche Bias-Arten, die teilweise auch spezifisch für die jeweils eingesetzte KI-Technologie sind (vgl. Entwurf BS 34971IAAMI CR 34971 Guidance on the Application of ISO 14971 to Artificial Intelligence and Machine Learning). Deshalb betrachten wir an dieser Stelle beispielhaft die Definitionen der folgenden Bias-Arten:
- Automation Bias: When a human decision maker favors recommendations made by an automated decision-making system over information made without automation, even when the automated decision-making system makes errors (Quelle: Google Machine Learning Glossary).
- Prediction Bias: A value indicating how far apart the average of predictions is from the average of labels in the dataset. Not to be confused with the bias term in machine learning models or with bias in ethics and fairness (Quelle: Google Machine Learning Glossary).
- Selection Bias: Errors in conclusions drawn from sampled data due to a selection process that generates systematic differences between samples observed in the data and those not observed (Quelle: Google Machine Learning Glossary).
- Sampling Bias: Form of selection bias. Data is not collected randomly from the target group (Quelle: Google Machine Learning Glossary).
- Coverage Bias: Form of selection bias. The population represented in the dataset does not match the population that the machine learning model is making predictions about (Quelle: Google Machine Learning Glossary).
Bias im Fragenkatalog
Im Fragenkatalog findet sich hingegen lediglich eine Anforderung, welche Bias explizit nennt:
- Hat der Hersteller Faktoren gelistet und diskutiert, die einen “Bias” der Validierungs- und Testdaten verursachen könnten? (Nr. 7 im Abschnitt „3. Datenmanagement a) Sammlung der Trainings-, Validierungs- und Testdatensätze)
Diese Anforderung ist also sehr allgemein und differenziert auch nicht zwischen verschiedenen Bias-Arten! In unserer Beratungs-Praxis werden wir deshalb häufig gefragt, an welchen Stellen der TD und im Rahmen welcher Prozesse Bias adressiert werden soll. Darauf gehen wir im folgenden Abschnitt anhand der o. g. Beispiele ein.
Bias in der technischen Dokumentation
Automation Bias bezieht sich auf den Gebrauch des Produktes durch den Anwender und sollte deshalb im Prozess zur Gebrauchstauglichkeit basierend auf der Norm EN 62366-1 behandelt werden. Konkret wird das Vorhandensein von Automation Bias während der summativen Evaluation in Hinsicht auf die Akzeptanz von Systemoutputs untersucht und im Validierungsbericht dokumentiert. Wir arbeiten hierzu mit unserer Checkliste zur Gebrauchstauglichkeit von KI-basierter Medizinprodukte-Software, die diesen und weitere Aspekte berücksichtigt.
Automation, Prediction, Sampling und Coverage Bias hingegen werden detailliert im Risikomanagement bzw. dem Produkt-Entwicklungsprozess betrachtet.
Der assoziierte Schaden ist dabei abhängig vom jeweiligen Produkt und seiner Zweckbestimmung. Beides gilt auch für weitere möglicherweise in Betracht kommende Bias-Arten.
Die Untersuchung von einem möglicherweise vorhandenen Prediction Bias und die Beschreibung der Maßnahmen zur Verhinderung desselben erfolgt bei uns im Rahmen der Prozesse zur KI-Modell-Entwicklung und zur Überwachung nach dem Inverkehrbringen.
Sampling und Coverage Bias als Formen des Selection Bias werden beim Datenmanagement im Rahmen des Prozesses zur KI-Modell-Entwicklung untersucht und ggf. mitigiert.
Zusammenfassung
Bislang gibt es weder eine harmonisierte europäische Norm noch eine MDCG-Guideline, welche die technischen Aspekte von KI-basierter medizinischer Software behandelt.
Mittlerweile sind aber verschiedene internationale Technical Reports wie die ISO/IEC TR 29119-11:2020 erschienen oder in der Entstehung (ISO/IEC TR 24027 oder NIST SP 1270). Darin finden sich viele nützliche Hinweise, wie mit Bias und anderen Herausforderungen umgegangen werden soll.
Darüber hinaus veröffentlichten wichtige Marktteilnehmer wie Google Berichte über den Umgang mit Bias & Co., die wertvolle und wichtige Quellen sind.
Wichtig ist, dass Sie sich mit dem Thema Bias so früh nur irgend möglich beschäftigen: angefangen von der Entwicklung über das Risikomanagement bis hin zur Überwachung nach dem Inverkehrbringen!
