Overtuigend maar fout: waarom een chatbot met stellige taal vaker onzin vertelt

Dat is ongemakkelijk nieuws, want vlot en vriendelijk is precies hoe ChatGPT, Gemini en Claude praten. Wat werd er onderzocht, waarom werkt het zo, en hoe lees je een antwoord dan wel?

Wat de onderzoekers deden

Communicatiewetenschapper Marianna de Sá Siqueira en haar collega’s lieten deelnemers een chatgesprek lezen over The Lord of the Rings. Dat gesprek bestond in vier versies. Twee waren geschreven in vloeiende, menselijke taal en twee in korte, zakelijke antwoorden. In elk paar gaf de ene chatbot kloppende antwoorden en de andere verzonnen antwoorden.

De vloeiende chatbot met de juiste antwoorden scoorde het best, en dat is niet verrassend. Het opvallende zit een rij lager. De vloeiende chatbot die onzin verkocht, werd door de deelnemers even intelligent en prettig gevonden als de zakelijke chatbot die het goed had. En tachtig procent zag de ingevoegde fouten helemaal niet. Dat terwijl de deelnemers juist waren geselecteerd omdat ze de boeken kenden.

Dat laatste is het eigenlijke punt. Het ging hier niet om mensen die niets van het onderwerp wisten en dus niet konden controleren. Ze wisten het wel, en lieten het toch gebeuren.

Waarom vlotte taal je controle uitschakelt

Universitair hoofddocent Barbara Müller legt het in het artikel uit. Als een tekst natuurlijk klinkt, schrijven we er automatisch intelligentie aan toe. Ze vat het samen als “dit zit wel goed, ik hoef het niet meer te controleren”.

Dat is geen domheid, dat is hoe lezen werkt. In gewone gesprekken is vlot en zeker praten een redelijke aanwijzing dat iemand weet waar hij het over heeft. Wie twijfelt, hapert, zegt “volgens mij” of “dat weet ik niet zeker”. Een taalmodel heeft dat signaal niet. Het schrijft een verzonnen jaartal in precies dezelfde rustige toon als een kloppend jaartal, omdat het niet anders kan. Die rust is een eigenschap van de stijl, niet van de inhoud.

Hoogleraar en medeauteur Tibor Bosse vindt dat een disclaimer zoals “ChatGPT kan fouten maken” onderaan het scherm daar niets aan oplost. Volgens hem zouden techbedrijven verplicht moeten worden om onzekerheid zichtbaar te maken in het antwoord zelf. Zolang dat niet gebeurt, ligt die taak bij jou.

Zo lees je een chatbotantwoord wel

Uit het onderzoek volgt één praktische les. Behandel de toon als ruis. Hoe zeker een antwoord klinkt, zegt niets over of het klopt. Wat dan wel helpt:

• Weet waar fouten zitten. Verzinsels zitten vooral in details die je niet zelf kunt afleiden: namen, jaartallen, bedragen, citaten, wetsartikelen en bronnen. De grote lijn van een uitleg klopt vaak, het specifieke getal in de derde zin net niet. Dat zijn de stukken die je naloopt.
• Vraag om de bron, en open hem. Een chatbot die zoekt op internet geeft vaak links. Klik er minstens één aan en kijk of daar echt staat wat de chatbot beweert.
• Vraag naar twijfel. Vraag aan het eind “welke delen van dit antwoord zijn onzeker?” Dat maakt een antwoord niet betrouwbaar, maar het haalt de gelijkmatige toon open en wijst je soms precies op het zwakke punt.
• Stel dezelfde vraag anders. Krijg je bij een andere formulering een ander jaartal of een andere naam, dan weet het model het waarschijnlijk niet.
• Wantrouw je eigen kennis een beetje. De deelnemers in Nijmegen kenden de stof en misten de fouten toch. Juist bij een onderwerp waar je zelf verstand van hebt, lees je sneller over iets heen dat “ongeveer goed” klinkt.

Wanneer het ertoe doet

Voor een receptidee of een eerste opzet van een mail maakt een foutje weinig uit. Het wordt anders als je iets doorstuurt, ondertekent of erop vertrouwt. We zagen eerder hoe een chatbot de politie een neptip gaf en hoe chatbots illegale goksites aanraadden, telkens in dezelfde overtuigende toon. Ook bij een samenvatting van een lang document sluipen er fouten in die je niet ziet zonder het origineel ernaast, zoals bleek toen we een lange pdf lieten samenvatten.

De makkelijkste gewoonte uit dit onderzoek is deze. Hoe beter een antwoord klinkt, hoe belangrijker het is om één detail na te lopen. Klopt dat ene jaartal of die ene naam, dan is de kans groter dat de rest ook klopt. Klopt het niet, dan weet je genoeg.