Viele tragen sie am Handgelenk – die Smart Watch mit Schrittzähler und Pulskontrolle. Doch nur jeder zweite Nutzer weiß, dass bei der Auswertung dieser Daten zum Teil Methoden der Künstlichen Intelligenz (KI) zum Einsatz kommen. Eine vom TÜV-Verband beauftragte repräsentative Umfrage zeigt: Im Einsatzgebiet der medizinischen Diagnostik bestehen viele Wissenslücken und große Unsicherheit über die Möglichkeiten und Risiken selbstlernender Software. „Künstliche Intelligenz im Gesundheitswesen ist Vertrauenssache. Wir sehen erheblichen Aufklärungsbedarf bei Nutzern, teils aber auch Nachholbedarf in der gesetzlichen Regulierung“, sagt Mark Küller, Referent für Medizinprodukte beim TÜV-Verband. Gerade bei gesundheitsbezogenen Apps sieht Küller eine Grauzone. „Sehr viele Apps, die als Gesundheits-, Wellness- oder Lifestyle-Apps vermarktet werden, sind aufgrund ihrer Beschaffenheit und ihres Nutzungsversprechens eigentlich Medizinprodukte“, sagt der Branchenexperte. Diese erforderten eine Zulassung nach der EU-Medizinprodukteverordnung. Doch aufgrund der puren Vielzahl und vielfältigen Distributionswege der Programme sei eine Kontrolle durch die Marktaufsichtsbehörden kaum zu leisten. Ein Risiko bestehe darin, dass sich Anwender in trügerischer Sicherheit wiegen. „Sofern der Hersteller verspricht oder erklärt, dass sein Produkt zum Beispiel einen medizinischen Indikator genau misst, das Produkt dies tatsächlich aber nicht leistet, können Fehlentscheidungen durch Anwender getroffen werden und gesundheitliche Risiken entstehen“, mahnt Küller.
KI-Einsatz mindert das Vertrauen in den Arzt
Die TÜV-Umfrage zeigt, wie dicht Fortschrittsglauben und Skepsis bei den Menschen in Deutschland beisammen liegen: 66 Prozent der Befragten sehen allgemein Chancen durch KI-Anwendungen für die Gesundheit. Doch sobald es um das eigene Wohl geht, sinkt das Vertrauen: Nur 41 Prozent gehen davon aus, dass KI beim Verdacht einer ernsten Krankheit die richtige Diagnose stellen kann. Zum Vergleich: Exakt den gleichen Vertrauensvorschuss genießen Bekannte, die bereits ähnliche Symptome hatten und von ihren Erfahrungen erzählen. Einer Ärztin oder einem Arzt wird im Ernstfall die höchste Kompetenz zugesprochen. Erstaunlicherweise sinkt laut Umfrage die Vertrauensquote von 81 Prozent auf nur noch 67 Prozent, wenn dieser Arzt von KI unterstützt wird. „Hier könnte sich die Angst vor dem Unbekannten, vor dem nicht Nachvollziehbaren zeigen“, sagt Küller. „Wenn ein Arzt vor mir in ein Fachbuch schaut, kann ich das im Zweifel nachlesen. Was aber die KI macht, erscheint mir als Patient immer als Black Box.“
In Deutschland darf ein KI-Medizinprodukt keine Diagnose stellen, das bleibe den Ärztinnen und Ärzten vorbehalten, erläutert Küller. „Die KI darf nur unterstützen, aber nicht etwa die Schlussfolgerungen zur Behandlung ziehen. Die Entscheidung liegt immer bei Ärztinnen und Ärzten.“ In der bildgebenden Diagnostik wie MRT oder CT wird diese digitale Hilfe schon seit Jahren erfolgreich genutzt und der KI-Einsatz entwickelt sich rasant fort. Software spürt auffällige Muster und Anomalien auf – und erkennt so im Frühstadium beispielsweise Krebszellen oder diabetische Netzhauterkrankungen. „Das nehmen viele Patienten einfach als gegeben hin. Je mehr Klarheit darüber besteht, mit welchen großen Nutzen KI hier bereits stiftet und welche großen Chancen die Technologie bei der Diagnose und Behandlung von Krankheiten bietet, desto mehr wird auch das Vertrauen in die Digitaltechnik wachsen“, sagt Küller. „Gesundheit ist ein hochsensibles Thema, weshalb der Vertrauensaufbau in der Bevölkerung ein schwieriger und langer Prozess ist.“
Regelungsbedarf bei sich verändernder KI
Neben mehr Transparenz und Aufklärung beim Einsatz von KI im Gesundheitswesen ist aus Sicht des TÜV-Verbands eine Ergänzung bestehender gesetzlicher und normativer Anforderungen notwendig. „Wir brauchen dringend Normen und Standards für KI-basierte Medizinprodukte“, sagt Küller. Auch müssten klare Anforderungen und Grenzen für lernende und sich im Einsatz verändernde KI-Systeme definiert werden. „Eine Zertifizierung lernender und sich verändernder Medizinprodukte ist im Rahmen der bestehenden rechtlichen Vorgaben zum Teil nicht möglich. Die Gesellschaft und stellvertretend die Politik muss sich überlegen, wo die Grenzen für lernende und sich verändernde KI-Systeme im Medizinbereich liegen sollen und wie man sie dann reguliert“, sagt Küller. Gerade das besonders Innovative an KI, ihre Lernfähigkeit über das Training mit neuen Datensätzen, könne die Nachvollziehbarkeit ihrer Entscheidungen erschweren, Entscheidungen sehr unterschiedlich machen und im Zweifel komplizierte Haftungsfragen aufwerfen.
Methodik-Hinweis: Grundlage der Angaben ist eine repräsentative Umfrage des Marktforschungsinstituts Statista im Auftrag des TÜV-Verbands unter 1.000 Personen ab 16 Jahren in Deutschland. Die Befragung ist repräsentativ für die Gesamtbevölkerung. Sie wurde im August 2021 durchgeführt. Der vollständige Studienbericht ist abrufbar unter: https://www.tuev-verband.de/pressemitteilungen/ki-verbraucherstudie-2021
.
KI-Einsatz mindert das Vertrauen in den Arzt
Die TÜV-Umfrage zeigt, wie dicht Fortschrittsglauben und Skepsis bei den Menschen in Deutschland beisammen liegen: 66 Prozent der Befragten sehen allgemein Chancen durch KI-Anwendungen für die Gesundheit. Doch sobald es um das eigene Wohl geht, sinkt das Vertrauen: Nur 41 Prozent gehen davon aus, dass KI beim Verdacht einer ernsten Krankheit die richtige Diagnose stellen kann. Zum Vergleich: Exakt den gleichen Vertrauensvorschuss genießen Bekannte, die bereits ähnliche Symptome hatten und von ihren Erfahrungen erzählen. Einer Ärztin oder einem Arzt wird im Ernstfall die höchste Kompetenz zugesprochen. Erstaunlicherweise sinkt laut Umfrage die Vertrauensquote von 81 Prozent auf nur noch 67 Prozent, wenn dieser Arzt von KI unterstützt wird. „Hier könnte sich die Angst vor dem Unbekannten, vor dem nicht Nachvollziehbaren zeigen“, sagt Küller. „Wenn ein Arzt vor mir in ein Fachbuch schaut, kann ich das im Zweifel nachlesen. Was aber die KI macht, erscheint mir als Patient immer als Black Box.“
In Deutschland darf ein KI-Medizinprodukt keine Diagnose stellen, das bleibe den Ärztinnen und Ärzten vorbehalten, erläutert Küller. „Die KI darf nur unterstützen, aber nicht etwa die Schlussfolgerungen zur Behandlung ziehen. Die Entscheidung liegt immer bei Ärztinnen und Ärzten.“ In der bildgebenden Diagnostik wie MRT oder CT wird diese digitale Hilfe schon seit Jahren erfolgreich genutzt und der KI-Einsatz entwickelt sich rasant fort. Software spürt auffällige Muster und Anomalien auf – und erkennt so im Frühstadium beispielsweise Krebszellen oder diabetische Netzhauterkrankungen. „Das nehmen viele Patienten einfach als gegeben hin. Je mehr Klarheit darüber besteht, mit welchen großen Nutzen KI hier bereits stiftet und welche großen Chancen die Technologie bei der Diagnose und Behandlung von Krankheiten bietet, desto mehr wird auch das Vertrauen in die Digitaltechnik wachsen“, sagt Küller. „Gesundheit ist ein hochsensibles Thema, weshalb der Vertrauensaufbau in der Bevölkerung ein schwieriger und langer Prozess ist.“
Regelungsbedarf bei sich verändernder KI
Neben mehr Transparenz und Aufklärung beim Einsatz von KI im Gesundheitswesen ist aus Sicht des TÜV-Verbands eine Ergänzung bestehender gesetzlicher und normativer Anforderungen notwendig. „Wir brauchen dringend Normen und Standards für KI-basierte Medizinprodukte“, sagt Küller. Auch müssten klare Anforderungen und Grenzen für lernende und sich im Einsatz verändernde KI-Systeme definiert werden. „Eine Zertifizierung lernender und sich verändernder Medizinprodukte ist im Rahmen der bestehenden rechtlichen Vorgaben zum Teil nicht möglich. Die Gesellschaft und stellvertretend die Politik muss sich überlegen, wo die Grenzen für lernende und sich verändernde KI-Systeme im Medizinbereich liegen sollen und wie man sie dann reguliert“, sagt Küller. Gerade das besonders Innovative an KI, ihre Lernfähigkeit über das Training mit neuen Datensätzen, könne die Nachvollziehbarkeit ihrer Entscheidungen erschweren, Entscheidungen sehr unterschiedlich machen und im Zweifel komplizierte Haftungsfragen aufwerfen.
Methodik-Hinweis: Grundlage der Angaben ist eine repräsentative Umfrage des Marktforschungsinstituts Statista im Auftrag des TÜV-Verbands unter 1.000 Personen ab 16 Jahren in Deutschland. Die Befragung ist repräsentativ für die Gesamtbevölkerung. Sie wurde im August 2021 durchgeführt. Der vollständige Studienbericht ist abrufbar unter: https://www.tuev-verband.de/pressemitteilungen/ki-verbraucherstudie-2021
.
