AI kan fouten maken bij medische vragen

Waar komt dit nieuws vandaan?

Het artikel van 27 november 2024 op de nieuwswebsite van de VRT beschrijft het thesisonderzoek van Branco De Busser, masterstudent Farmaceutische Wetenschappen aan de UAntwerpen (1). Voor zijn onderzoek stelde hij verschillende AI-modellen vragen uit cursussen voor apothekers (2).

• Hoewel de modellen vaak correcte informatie gaven, waren er ook vaak fouten (hallucinaties) en onnauwkeurigheden, zoals verkeerd advies over medicatie. Dat kan zeer gevaarlijk zijn.
• Het onderzoek besluit dat deze modellen nuttig kunnen zijn als aanvullend hulpmiddel, maar dat ze geen betrouwbare vervanging zijn voor menselijke medische expertise.

Bron

• (1) Merckx V. Waarom je AI als Chat GPT beter niet blindelings vertrouwt voor advies over medicijnen. VRT NWS. 27 november 2024.
• (2) De Busser B, Roth L, De Loof H. The role of large language models in self‑care: a study and benchmark on medicines and supplement guidance accuracy. International Journal of Clinical Pharmacy. 2024.

Hoe moet je dit nieuws interpreteren?

AI biedt veel mogelijkheden en wordt steeds vaker in het dagelijkse leven gebruikt, ook in de gezondheidszorg. Maar nieuwe technologie brengt ook grote uitdagingen en risico’s met zich mee, die gebruikers niet mogen onderschatten.

Hoe werkt AI eigenlijk?

AI-modellen zoals ChatGPT zijn gebaseerd op Large Language Models (LLM’s). Die modellen worden getraind op enorme hoeveelheden tekstdata van het internet, boeken en wetenschappelijke artikels. Daardoor kunnen ze verbanden leggen tussen woorden en zinnen en zo menselijk klinkende antwoorden geven. Toch werkt AI anders dan het menselijk brein.

• Terwijl mensen redeneren op basis van ervaring, context en logica, voorspelt AI het meest waarschijnlijke volgende woord op basis van patronen in de trainingsdata.
• AI begrijpt dus niet wat het zegt. Het herkent slechts taalpatronen.
• Dat verklaart waarom AI soms overtuigende, maar verkeerde of contextloze antwoorden geeft.

Beperkingen en risico’s

Aan AI zijn verschillende risico’s en beperkingen verbonden:

• Onnauwkeurigheden en hallucinaties
  AI-modellen kunnen soms volledig verkeerde informatie verzinnen. Dat wordt ook wel ‘hallucinaties’ genoemd. 
  • Zo toonde een onderzoek bijvoorbeeld aan dat 69% van de aangehaalde wetenschappelijke bronnen volledig verzonnen zijn, maar toch geloofwaardig lijken door realistisch klinkende titels en auteursnamen (3). Dat maakt factchecking noodzakelijk.

• Gebrek aan medische context
  AI houdt geen rekening met individuele medische dossiers of specifieke gezondheidsproblemen. Advies dat misschien correct lijkt, kan dus gevaarlijk zijn als het niet afgestemd is op iemands persoonlijke situatie, omdat een AI-model begrip en redenering mist zoals een mens dat heeft (4).

• Bias en discriminatie
  AI leert van bestaande data, die vaak bevooroordeeld is. Dat kan leiden tot ongelijke behandeling van patiënten.
  • Enkele studies toonden bijvoorbeeld structurele vooroordelen aan in medische algoritmes (vooraf bepaalde sets instructies die een computerprogramma volgt), waardoor zwarte patiënten niet de zorg kregen die ze nodig hadden (5, 6).

• Gebrek aan transparantie en privacy
  Privacy en transparantie vormen cruciale uitdagingen bij het gebruik van AI in de gezondheidszorg (7).
  • Vragen die gebruikers stellen aan een AI-model, kunnen opgeslagen worden en risico’s voor privacy met zich meebrengen.
  • Om ethisch en correct gebruik van AI te kunnen garanderen en gevoelige informatie te beschermen, is een duidelijk wettelijk kader rond dataprivacywetgeving noodzakelijk.

Mogelijkheden van AI in de toekomst

Hoewel er risico’s zijn, kan AI ook veel positieve toepassingen hebben in de gezondheidszorg (8). Het kan onder andere bijdragen aan:

• Ondersteuning van zorgverleners
  AI kan medische professionals helpen door snel toegang te geven tot grote hoeveelheden medische informatie en wetenschappelijke studies.
  
  
• Snellere triage
  AI kan symptomen analyseren en snel advies geven over de dringendheid van medische problemen.
  
  
• Zelfzorgtools
  Voor eenvoudige vragen over zelfzorgproducten of levensstijladvies kan AI een laagdrempelig hulpmiddel zijn.
  
  
• Administratieve hulp
  AI kan helpen om de administratieve last voor zorgverleners sterk te verminderen. Denk daarbij bijvoorbeeld aan het automatisch invullen van dossiers, afspraken inplannen of verzekeringsclaims verwerken. Dat maakt meer tijd vrij voor directe zorgverlening aan patiënten. 

Conclusie

AI-modellen kunnen nuttig zijn voor eenvoudige vragen, maar ze zijn niet foutloos en begrijpen de medische context niet. Vertrouw nooit blindelings op AI voor gezondheidsadvies en bespreek altijd je vragen met een gekwalificeerde zorgverlener. AI schept veel mogelijkheden voor de toekomst, maar menselijke medische expertise blijft onmisbaar.

Referenties

• (3) Gravel J, D’Amours-Gravel M, Osmanlliu E. Learning to Fake It: Limited Responses and Fabricated References Provided by ChatGPT for Medical Questions. Mayo Clinic Proceedings: Digital Health 2023;1(3):226-234.
• (4) Tam, T.Y.C., Sivarajkumar, S., Kapoor, S. et al. A framework for human evaluation of large language models in healthcare derived from literature review. npj Digit. Med. 7, 258
• (5) Bousquette I. Rise of AI Puts Spotlight on Bias in Algorithms. The Wall Street Journal. 9 maart 2023.
• (6) Chin MH, Afsar-Manesh N, Bierman AS et al. Guiding Principles to Address the Impact of Algorithm Bias on Racial and Ethnic Disparities in Health and Health Care. JAMA Netw Open. 2023;6(12)
• (7) Nasir S, R. Khan RA, Bai S. Ethical Framework for Harnessing the Power of AI in Healthcare and Beyond. IEEE Access. 2024(12):31014-31035
• (8) Lee P, Goldberg C, Kohane I. The AI Revolution in Medicine: GPT-4 and beyond. Pearson; 2023.