Ist die KI der bessere Arzt?

Dieser Traum ist mit ChatGPT (Chat Generative Pretrained Transformer) zum Greifen nahe. Der auf künstlicher Intelligenz (KI) basierende Chatbot hat 100 Millionen Nutzer weltweit und ist damit die am schnellsten wachsende Internetanwendung der Geschichte [1]. Über die Schnittstelle eines Chats erhalten Anwender die Möglichkeit, in den Dialog mit der KI zu treten, ihr Fragen zu stellen und Aufgaben zu geben. Vor Kurzem wurden in JAMA Internal Medicine die Ergebnisse einer Querschnittstudie publiziert, in der die Fähigkeit des Chatbots getestet wurde, kompetente und einfühlsame Antworten auf Patientenfragen zu geben.

195 Dialoge, in denen ein verifizierter Arzt auf Patientenfragen antwortete, wurden zufällig aus dem öffentlichen Forum Reddit’s r/AskDocs ausgewählt. Die Antworten von ChatGPT wurden generiert, indem die ursprüngliche Frage in eine neue Chat-Sitzung eingegeben wurde. Die Fragen sowie die anonymisierten und nach dem Zufallsprinzip angeordneten Antworten der Ärzte und des Chatbots wurden von drei unabhängigen Medizinern bewertet. Die Bewerter wählten aus, „welche Antwort besser war“ und beurteilten sowohl die „Qualität der bereitgestellten Informationen“ als auch die „Empathie gegenüber dem Patienten“ auf einer fünfstufigen Skala [2].

Von den 195 Fragen und Antworten bevorzugten die Bewerter in 78,6 % die Chatbot-Antworten. Die Antworten der Ärzte waren mit 52 Wörtern signifikant kürzer als die Chatbot-Antworten, die im Median 211 Wörter umfassten. Der Anteil der Antworten, deren Qualität als gut oder sehr gut (≥ 4) bewertet wurden, lag für ChatGPT bei 78,5 %, während er für die Ärzte lediglich bei 22,1 % lag. Die Anteil der Chatbot-Antworten, die als einfühlsam oder sehr einfühlsam (≥ 4) bewertet wurden, war für ChatGPT signifikant größer als für die Ärzte (ChatGPT: 45,1 %; Ärzte: 4,6 %)[2].

Die Ergebnisse der Studie verdeutlichen eindrucksvoll das Potenzial der Technologie, wenn sie auch mit Limitationen einhergeht. Die Qualität eines KI-basierten Chatbots wird u. a. daran gemessen, wie nützlich, wahr und unschädlich seine Antworten sind. Weiterhin sollen die Antworten auch eine möglichst geringe Tendenz zur Halluzination oder Konfabulation aufweisen, d. h. der Verknüpfung von wahren Inhalten mit nicht zugehörigen Informationen oder Wörtern, die zur Fehlauskunft führen würden. Darüber hinaus soll der Chatbot für eine gute Performance unangemessene, herabsetzende und verunglimpfende Inhalte vermeiden [3].

ChatGPT liefert in der Untersuchung von Ayers et al. gute bis sehr gute Ergebnisse in diesen Aspekten. Doch trotz aller Euphorie rund um diese KI: Anwender sollten sich dennoch des Risikos zur Halluzination in der Beantwortung ihrer Fragen bewusst sein und diese von wahren Inhalten unterscheiden können. Eine differenzierte Bewertung der durch den Bot durchweg überzeugend formulierten Antworten ist aber zwingend nur medizinischem Fachpersonal möglich, was die Anwendung in der Patientenversorgung aktuell (noch) limitiert und kritische Stimmen hervorruft. So urteilt Derek Lowe, der den Science-Blog „In the Pipeline“ schreibt, die Chatbots seien zum aktuellen Zeitpunkt für ihn „Bullshit Creators“, räumt aber ein, dass sich das Feld weiter entwickele [4].

Das enorme Wachstum und die Möglichkeiten, die KI-Anwendungen bereits heute bereithalten, lassen nur erahnen, welche Rolle sie in der Zukunft in der medizinischen Praxis einnehmen könnten. Die American Medical Association hat deshalb 2018 ein Curriculum zum Thema KI im Gesundheitswesen erstellt, um Ärzten zu vermitteln, wie sich maschinelles Lernen auf ihre Arbeitsabläufe auswirken kann [1, 5]. Da sich die Rolle von KI-Systemen in der Medizin weiter ausweitet, müssen diese Curricula kontinuierlich überarbeitet und die Kompetenzen als wichtige Meilensteine bei der Approbation verfolgt werden. Die neue Generation von Ärzten muss mit den Möglichkeiten, Grenzen und Auswirkungen dieser Technologien vertraut sein, um sie effektiv zu nutzen und gleichzeitig Gefahren zu kennen.