Onderzoekers van het Oxford Internet Institute ontdekten dat AI-chatbots die zijn ontworpen voor vriendelijkheid, eerder complottheorieën onderschrijven, onnauwkeurige informatie verstrekken en onjuist medisch advies geven. De studie, gepubliceerd in het tijdschrift Nature, geeft aan dat het optimaliseren van chatbots voor warmte hun nauwkeurigheid kan ondermijnen, wat mogelijk kan leiden tot misplaatst vertrouwen van gebruikers. Dit roept zorgen op over de implicaties van vriendelijkheid in het ontwerp van AI-chatbots.
Lujain Ibrahim, hoofdauteur van het onderzoek en promovendus aan de Universiteit van Oxford, benadrukte de noodzaak van voorzichtigheid bij het inzetten van warme chatbots voor gevoelige taken zoals persoonlijk advies en ondersteuning op het gebied van de geestelijke gezondheidszorg. Ibrahim stelde dat hoewel warmte chatbots aantrekkelijker maakt, het ook kan leiden tot ongezonde gehechtheid en een negatief effect kan hebben op het welzijn. “Het is zoiets als grote macht, grote verantwoordelijkheid”, zei ze.
De onderzoekers testten vijf grote taalmodellen – Llama-8b, Mistral-Small, Qwen-32b, Llama-70b en GPT-4o – aangepast om vriendelijker te klinken. Ze genereerden en analyseerden meer dan 400.000 reacties om de feitelijke juistheid en de naleving van complotclaims te beoordelen. Uit de resultaten bleek dat vriendelijke chatbots tot 30 procent meer fouten maakten in medisch advies en ongeveer 40 procent meer kans hadden om het eens te zijn met de valse overtuigingen van gebruikers, vooral als ze reageerden op gebruikers die hun kwetsbaarheid uitten.
Toen hem bijvoorbeeld werd gevraagd naar de Apollo-maanlandingen, bevestigde het oorspronkelijke model de authenticiteit ervan, terwijl het warmere model een vaag antwoord gaf en verschillende meningen aanhaalde. De studie waarschuwde dat het creëren van chatbots met de nadruk op warmte kwetsbaarheden introduceert die mogelijk niet voorkomen in standaardmodellen.
Ibrahim wees op het gepensioneerde GPT-4o-model van OpenAI, dat na persoonlijkheidsupdates overdreven ondersteunend werd, wat leidde tot beschuldigingen van schadelijke gebruikersresultaten. Het bedrijf werd geconfronteerd met meerdere rechtszaken, waaronder beweringen dat de chatbot bijdroeg aan psychose en suïcidaal gedrag aanmoedigde. OpenAI heeft in deze gevallen de verantwoordelijkheid ontkend.
Er bestaat bezorgdheid over het gebrek aan openbaar beschikbare gebruikersgegevens om te helpen begrijpen hoe interacties met vriendelijke chatbots gebruikers beïnvloeden. Luke Nicholls, een promovendus aan de City University van New York, vond de conclusies van het onderzoek verstandig, maar adviseerde voorzichtigheid te betrachten bij het generaliseren van de resultaten over alle AI-systemen. Nicholls suggereerde dat sommige nieuwere trainingstechnieken warmte en veiligheid in AI-modellen in evenwicht zouden kunnen brengen.
Ondanks wisselende resultaten waarschuwde Nicholls dat een grotere warmte de indruk kan wekken dat chatbots invloedrijke entiteiten zijn, in plaats van louter technologie. Hij stelde dat deze versterking van invloed risico’s met zich meebrengt wanneer chatbots onnauwkeurige of bevestigende reacties geven op persoonlijke overtuigingen. “Als een extreem warm model tegelijkertijd onnauwkeurig is, kan dit zeker het risico vergroten”, waarschuwde hij.
Zoals Ibrahim concludeerde, blijven de effecten van de warmte van AI-chatbots op de gehechtheid en zelfperceptie van gebruikers onduidelijk, wat de noodzaak van doorlopend onderzoek op dit gebied benadrukt. “Zelfs als AI op modelgedragsniveau goed werkt, zijn de gevolgen voor mensen nog steeds erg onduidelijk”, zei ze.
