KI-Trilogie: Ethik, Medizin, Recht
Beim Einsatz von KI in der Medizin stellen sich ethische und rechtliche Fragen, die oftmals inhaltlich nicht klar abgrenzbar sind.
Im Rahmen einer KI-Trilogie «Ethik – Medizin – Recht» hat Prof. Dr. med. Dr. phil. Paul Hoff in der ersten gedruckten Ausgabe der Schweizerischen Ärztezeitung zu «AI in der Medizin: Fortschritt und medizin-ethische Herausforderungen» publiziert. Lesen Sie in der vorliegenden Ausgabe von Prof. Dr. Paul Lovis – Leiter der Abteilung für Medizinische Informationswissenschaften an der Universität Genf –, welche Chancen und welche Vorsicht bei der künstlichen Intelligenz in der Medizin gegeben sind. Den Abschluss der Trilogie bildet das Recht mit seiner haftungsrechtlichen Perspektive in der November- Ausgabe der Schweizerischen Ärztezeitung.
KI verändert die Medizin, wirft aber auch gewichtige ethische, klinische und regulatorische Fragen auf.
Künstliche Intelligenz (KI) revolutioniert bereits jetzt das Gesundheitswesen. Ihre Anwendungsmöglichkeiten werden immer vielfältiger und reichen von der medizinischen Bildgebung über die Genomik bis hin zum Spitalmanagement und zur personalisierten Medizin. Von den ersten Expertensystemen in den 1970er-Jahren bis zu den heutigen tiefen neuronalen Netzen bietet KI ein ungeahntes Potenzial, um Diagnosen zu verbessern, die Erforschung von Medikamenten zu beschleunigen und klinische Entscheidungen zu unterstützen.
Mächtige, aber komplexe Werkzeuge
Zu den wichtigsten technologischen Hebeln der KI in der Medizin gehören maschinelles Lernen (machine learning), Computer Vision, Robotik und die Verarbeitung natürlicher Sprache (natural language processing, NLP). Diese Werkzeuge ermöglichen es, Wissen aus massiven, oft unstrukturierten Daten wie klinischen Notizen oder radiologischen Bildern zu extrahieren. Beispielsweise hat sich erwiesen, dass konvolutionale neuronale Netze bei der Erkennung bestimmter Krebsarten oder ophthalmologischer Komplikationen genauso gut abschneiden wie menschliche Experten, teilweise sogar besser.
Rechtliche Rahmenbedingungen
Nun gilt es, den Rechtsrahmen an diese rasante Entwicklung anzupassen. Die von der Europäischen Union verabschiedete Verordnung über künstliche Intelligenz, der AI Act, ist ein bahnbrechendes Regelwerk, das KI-Systeme nach ihrem Risikoniveau kategorisiert. Die in der Medizin verwendeten Systeme werden generell als hochriskant eingestuft und müssen strenge Anforderungen an Sicherheit, Transparenz und Erklärbarkeit erfüllen. In der Schweiz ist der Ansatz flexibler, berücksichtigt aber in ebenso hohem Masse ethische Grundsätze, insbesondere den Datenschutz und das Vertrauen der Öffentlichkeit.
Die Verordnung über künstliche Intelligenz teilt KI-Technologien in vier Risikostufen ein. Medizinische Anwendungen werden dort als hochriskant eingestuft. Sie unterliegen Dokumentationspflichten, menschlicher Überwachung und strengen Bewertungen. So soll ein ausgewogenes Verhältnis zwischen Innovation und Sicherheit geschaffen werden.
Riesige Hoffnungen
Der Einsatz von KI verheisst zahlreiche Vorteile: frühere Diagnosen, gezieltere Therapien, eine individualisierte Behandlung, die Optimierung der Spitalabläufe und die Unterstützung der klinischen Forschung. Einige Modelle haben bereits ihre Wirksamkeit bewiesen, zum Beispiel bei der automatisierten Sichtung radiologischer Bilder oder der Anpassung von Behandlungen in der Onkologie.
Grosse Herausforderungen
Dem immensen Hype zum Trotz: Die Herausforderungen sind beträchtlich. Der Zugang zu qualitativ hochwertigen Daten ist nach wie vor schwierig, und Biases in den Datensätzen können zu diskriminierenden Ergebnissen führen. Viele Algorithmen bleiben Blackboxes, die für die Pflegekräfte schwer zu durchschauen sind. Eine klinische Validierung ist nach wie vor selten, und die Anpassung an den Behandlungskontext vor Ort noch unzureichend. Ausserdem ist der tatsächliche Nutzen für die Patientinnen und Patienten nicht immer nachgewiesen. Einige Modelle, die im Labor erfolgreich sind, versagen in der klinischen Praxis. Neuere Studien haben Risiken im Hinblick auf die Undurchsichtigkeit der Systeme, das Fortbestehen von «racial biases» oder falsche Empfehlungen in realen Situationen aufgezeigt [1–3].
Schlussfolgerung: Unbehagen angesichts der Unwägbarkeiten
Generative KI ist eine zutiefst disruptive technologische Innovation. Wie bei jedem Umbruch werden grosse Hoffnungen geweckt, aber es herrscht viel zu wenig Vorsicht hinsichtlich unerwarteter Folgen. Was KI wirklich beunruhigend macht, ist nicht so sehr das Risiko eines Schadens, sondern ihre Unwägbarkeiten. Nehmen wir das Beispiel der kognitiven Schulden: Die intensive Nutzung generativer Systeme könnte unsere Aufmerksamkeitsfähigkeit überfordern und unsere intellektuelle Autonomie beeinträchtigen [4]. Ein weiterer sensibler Bereich ist die psychische Gesundheit. Im Rahmen von Experimenten wurden bereits reale und manchmal auch schädliche Auswirkungen von KI in therapeutischen Kontexten nachgewiesen [5].
In einer kürzlich durchgeführten Studie über die automatische Synthese medizinischer Texte haben wir einen eklatanten Mangel an wissenschaftlicher Strenge in den derzeitigen Ansätzen aufgezeigt [6]. Ja, wir müssen KI einsetzen. Ja, wir müssen weiterforschen und Fortschritte machen. Hierbei müssen wir jedoch den wissenschaftlichen Weg gehen: neugierig, rigoros und energisch. Glaube, Euphorie oder Dogmen sind hier fehl am Platz.
Literatur
- Gulshan V et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy. JAMA. 2016;316(22):2402-2410
- Obermeyer Z et al. Dissecting racial bias in an algorithm used to manage population health. Science. 2019;366(6464):447-453
- Kelly CJ et al. Key challenges for delivering clinical impact with AI. BMC Med. 2019;17(1):195
- Wang Y et al. Cognitive Debt: The hidden burden of AI assistance. arXiv. 2025; https://arxiv.org/abs/2506.08872
- Wells S. Exploring the dangers of AI in mental health care. 2024; https://hai.stanford.edu/news/exploring-the-dangers-of-ai-inmental-health-care
- Lovis C et al. Lack of scientific grounding in AI summarization. JMIR. 2025;27(1):e68998
Externe Informationsquellen
© 2025, FMH Swiss Medical Association