Studie op Reddit: AI Chatbots presteren beter dan artsen in online reacties van patiënten

By Laio

Uit een recente cross-sectionele studie blijkt dat een AI-chatbot, ChatGPT, kwalitatief betere en meer empathische antwoorden geeft op vragen van patiënten dan artsen op het r/AskDocs-forum van Reddit. Het onderzoek betrof 195 willekeurig geselecteerde vragen van patiënten en toonde aan dat beoordelaars in 78,6% van de gevallen de voorkeur gaven aan chatbot-antwoorden. ChatGPT antwoorden werden hoger gewaardeerd in kwaliteit en empathie, met goede/zeer goede kwaliteit scores 3,6 keer hoger en empathische/zeer empathische scores 9,8 keer hoger dan antwoorden van artsen.

Deze resultaten suggereren dat AI-assistenten een rol kunnen spelen bij het opstellen van antwoorden aan patiënten, waardoor mogelijk de burn-out van clinici wordt verminderd en de resultaten voor patiënten worden verbeterd. Verder onderzoek en gerandomiseerde proeven zijn gerechtvaardigd om de impact van AI-chatbots in klinische omgevingen te bepalen.

Methodologie van de studie en bevindingen

De studie, gepubliceerd in JAMA Internal Medicine [1], evalueerde het vermogen van ChatGPT, een AI-chatbotassistent die in november 2022 werd uitgebracht, om kwalitatieve en empathische antwoorden te geven op vragen van patiënten. De onderzoekers gebruikten een openbare en niet-identificeerbare database van vragen uit de r/AskDocs subreddit, waarbij willekeurig 195 uitwisselingen uit oktober 2022 werden getrokken waarop een geverifieerde arts had gereageerd. Chatbotantwoorden werden gegenereerd door de oorspronkelijke vraag in te voeren in een nieuwe sessie op 22 en 23 december 2022 [1].

ChatGPT en de academische wereld: een nieuwe studie voor een controversiële relatie

ChatGPT heeft het potentieel om toenemende en opwindende mogelijkheden te creëren – maar vormt ook belangrijke uitdagingen – voor de academische gemeenschap, volgens een innovatieve … Continued

Een team van erkende zorgprofessionals evalueerde de geanonimiseerde en willekeurig geordende arts- en chatbotreacties in drievoud. De beoordelaars beoordeelden de antwoorden op basis van de kwaliteit van de verstrekte informatie en de getoonde empathie of bedmanieren. Uit de resultaten bleek dat chatbotreacties significant langer waren dan reacties van artsen (211 woorden vs. 52 woorden) en hoger werden beoordeeld in zowel kwaliteit als empathie [1].

Deskundigen reageren op het onderzoek en AI-chatbots in de gezondheidszorg

Verschillende deskundigen hebben gereageerd op het onderzoek en de implicaties ervan voor AI-chatbots in de gezondheidszorg [2]. Prof. Martyn Thomas van Gresham College, Londen, waarschuwde tegen de veronderstelling dat de resultaten van toepassing zijn op verschillende vragen en situaties vanwege de kleine steekproefomvang en de beperkte context. Hij bekritiseerde ChatGPT voor het ontbreken van medische kwaliteitscontrole en drong er bij patiënten op aan om gezaghebbend advies te zoeken [2].

Kan de Chatbot-therapeut geestelijke gezondheidszorg revolutioneren?

AI-chatbots zoals Replika zijn in opkomst als potentiële begeleiders van de geestelijke gezondheidszorg en hebben meer dan twee miljoen actieve gebruikers. Deskundigen waarschuwen echter dat … Continued

Prof. Maria Liakata van Queen Mary, University of London, gaf commentaar op de vage evaluatiecriteria en merkte op dat taalvaardigheid van invloed zou kunnen zijn op vloeiendheid en empathie. Ze erkende de beperkingen van het onderzoek, zoals vragen die uit de context werden gehaald en het ontbreken van evaluaties van patiënten, en stelde dat deze kwesties moeten worden aangepakt voordat AI-assistenten in de klinische praktijk kunnen worden gebruikt [2].

Voordelen en beperkingen van AI-chatbots in patiëntencommunicatie

Prof. Nello Cristianini van de Universiteit van Bath beschreef de studie als indrukwekkend maar beperkt en stelde dat interactie met alleen tekst onnatuurlijk is voor menselijke artsen. Hij stelt zich voor dat AI-tools artsen helpen, maar niet de mens-tot-mens interactie vervangen [2]. Dr. Mhairi Aitken van het Alan Turing Institute benadrukte het belang om rekening te houden met de werkelijke zorgsetting en de verschillende perspectieven van patiënten. Ze herinnerde ons eraan dat menselijke artsen hun aanpak kunnen aanpassen op basis van sociale signalen, een vermogen dat chatbots momenteel missen [2].

Prof. Anthony Cohn van de Universiteit van Leeds zei dat hij niet verrast was door de empathische reacties van ChatGPT, maar waarschuwde tegen het vertrouwen op feitelijke informatie van chatbots zonder verificatie door medische professionals [2]. Dr. Heba Sailem van King’s College London vond de resultaten bemoedigend, maar pleitte voor het trainen van gespecialiseerde Large Language Models op basis van medische kennis om de communicatiekanalen tussen patiënten en zorgverleners te verbeteren [2].

Potentiële impact op gezondheidszorg

De auteurs van een begeleidend hoofdartikel in JAMA Internal Medicine suggereren dat AI-systemen zouden kunnen helpen de arbeidsintensieve taken in de moderne geneeskunde te verlichten, zodat artsen zich kunnen concentreren op de behandeling van patiënten [3]. Twee auteurs onthulden echter financiële banden met biofarmaceutische en technologiebedrijven, waaronder Lifelink, een chatbotbedrijf voor de gezondheidszorg [3].

Hoewel de studie het potentieel aantoont voor AI-chatbotassistenten zoals ChatGPT om kwalitatieve, empathische antwoorden op vragen van patiënten te genereren, is het essentieel om rekening te houden met de beperkingen en uiteenlopende perspectieven in daadwerkelijke zorgsettings. Verdere verkenning en gerandomiseerde proeven zijn nodig om de potentiële voor- en nadelen van AI-chatbots in de klinische praktijk volledig te begrijpen.

Bronnen:
[1] JAMA
[2] Science Media Center
[3] Physician’s Weekly