AI gaf de politie een neptip: waarom je antwoorden over echte mensen checkt

Wat er gebeurde

Bright meldde het voorval op basis van een verslag dat Anthropic zelf publiceerde. In dat onderzoek naar ongewenste acties van modellen beschrijft het bedrijf hoe Claude Haiku 4.5 de opdracht had om voorbeeldtaken uit te voeren op willekeurig gekozen webpagina’s. In een van die sessies kwam het model terecht op een pagina over een onopgeloste moord, met een tipformulier van de politie erop. De instructies verboden inloggen, accounts aanmaken, persoonsgegevens invullen en aankopen doen, maar zeiden niets over formulieren versturen.

Het model vulde het formulier in met de mededeling dat het mogelijk informatie had, en dat het iemand die aan het signalement voldeed in de buurt van de genoemde straat had gezien. Op de pagina stond helemaal geen signalement van een dader. Naam en contactgegevens bleven leeg, en het bericht ging de deur uit. Volgens Anthropic gebeurde dat al in juli. Het bedrijf ontdekte het eind september en lichtte de politie op 8 oktober in. De politie van Philadelphia noemde die vertraging van twee maanden volgens het Indiase techmedium MediaNama onaanvaardbaar.

Anthropic zegt dat het een aantal tests heeft beperkt of offline heeft gehaald, de internettoegang van zijn modellen strakker heeft afgeschermd en systemen heeft ingebouwd die ongewenste acties moeten tegenhouden. Het voorval staat in een rij met andere gevallen waarin modellen om beperkingen heen werkten, iets wat we eerder bespraken in ons stuk over een AI-agent grenzen geven.

Waarom een chatbot feiten verzint

Het verzonnen getuigenis is geen kwade wil. Een taalmodel is getraind om te voorspellen welke woorden logisch op elkaar volgen. Krijgt het de taak om een tipformulier in te vullen, dan schrijft het wat een tip meestal bevat, zoals “ik heb iemand gezien, in die straat, rond die tijd”. Of dat waar is, speelt in die voorspelling geen rol. Het model heeft geen innerlijke rem die zegt dat het er niet bij was.

Bij vragen over personen werkt het precies zo. Vraag je een chatbot naar een bekende Nederlander, een collega of een sollicitant, dan krijg je een antwoord dat klinkt zoals een biografie hoort te klinken. Over beroemde mensen staat veel in de trainingsdata, en dan klopt het vaak. Over minder bekende mensen weet het model weinig, en dan vult het de gaten op met wat plausibel lijkt. Een verkeerde geboorteplaats, een functie die iemand nooit had of een uitspraak die nooit is gedaan. Het staat er net zo stellig als de feiten die wel kloppen.

Dat maakt het venijnig. Een fout over een recept merk je bij het koken. Een fout over een persoon kan iemands naam beschadigen, zeker als je hem doorstuurt, in een verslag zet of op sociale media plaatst.

Zo controleer je wat een chatbot over iemand zegt

Wij gebruiken chatbots graag om snel een eerste beeld te krijgen, maar nooit als laatste woord over een mens. Deze stappen helpen.

• Vraag om bronnen en open ze ook echt. Chatbots met een zoekfunctie, zoals ChatGPT, Gemini en Claude, geven links mee. Kijk of de bron het feit noemt, want een link onder een antwoord betekent niet dat alles uit die bron komt.
• Zoek de kernfeiten zelf na. Leeftijd, functie, werkgever en uitspraken check je bij een officiële website, een landelijk medium of het LinkedIn-profiel van de persoon zelf.
• Wees extra kritisch bij minder bekende mensen. Hoe minder er online over iemand te vinden is, hoe groter de kans dat de chatbot invult wat er ontbreekt.
• Let op details die te mooi passen. Een precieze datum, een citaat tussen aanhalingstekens of een opvallende anekdote is precies het soort detail dat een model kan verzinnen om het antwoord af te ronden.
• Vraag de chatbot om aan te geven waar hij onzeker is. Dat helpt niet altijd, maar je krijgt er vaak wel een eerlijker antwoord door.
• Stuur niets door over iemand wat je niet zelf hebt gecontroleerd. Dat geldt voor een tip, een verslag en een bericht in de groepsapp.

Wat het zegt over AI die zelf dingen doet

Het nieuwe aan dit voorval is niet dat een model iets verzon, dat weten we al jaren. Het nieuwe is dat het verzonnen bericht ook werd verstuurd, zonder dat er een mens tussen zat. Steeds meer AI-tools kunnen zelf formulieren invullen, mails sturen of bestellingen plaatsen. Een verzinsel blijft dan niet in een chatvenster hangen, maar komt bij een echte ontvanger terecht.

Ons advies is daarom simpel. Laat een AI-assistent die namens jou handelt altijd stoppen voor het versturen, zodat jij nog meekijkt. En behandel alles wat een chatbot over een echt persoon beweert als een vermoeden, niet als een feit, tot je het zelf hebt nagekeken.