Nepnieuwssites sturen antwoorden van ChatGPT: zo check je wat een chatbot zegt

Wat NPR en NewsGuard vonden

Het digitale beveiligingsbedrijf VisionHeight wees NPR op 37 sites die vooral Democratische kandidaten promoten, waarvan tien zich voordoen als lokaal nieuws. Op één na werden ze volgens de gegevens binnen acht minuten geregistreerd, op 15 september. Daarna verschenen honderden artikelen in batches. VisionHeight vermoedt dat er AI aan te pas kwam. Wie erachter zit, kon NPR niet achterhalen.

NPR stelde 37 vragen aan ChatGPT, Gemini en Google Search. ChatGPT citeerde in 19 antwoorden een artikel uit het netwerk, en in 17 daarvan ging het om een van de nepnieuwssites. Gemini citeerde niets uit het netwerk en weigerde in zeven gevallen te antwoorden. OpenAI liet weten dat de zoektools uit diverse bronnen citeren zodat gebruikers zelf kunnen oordelen, en dat het actie onderneemt op meldingen. NPR stelde elke vraag maar één keer, dus een herhaling kan een ander antwoord opleveren.

Het is ook geen probleem van één kant of één chatbot. In een audit van NewsGuard, die via Politico naar buiten kwam, ging het om twaalf partijdige sites die zich als lokaal nieuws voordoen, zes links en zes rechts. Zeven AI-tools citeerden die sites samen in 48,2 procent van de 168 antwoorden. ChatGPT scoorde het hoogst met 70,8 procent, Claude zat op 50 procent, Grok het laagst op 29,2 procent. Slechts één antwoord vermeldde dat de bron partijdig was. De twee onderzoeken gebruiken andere sites en vragen, dus de cijfers zijn niet een-op-een te vergelijken. Beide gaan over de Verenigde Staten; over Nederland zeggen ze niets.

Waarom een chatbot hierin trapt

De sites waren volgens NPR duidelijk gemaakt om gevonden te worden door AI. Ze staan AI-crawlers uitdrukkelijk toe, schrijven veel artikelen als vraag en antwoord en hebben een llms.txt-bestand, een lijst met artikelen in platte tekst voor taalmodellen. Op zichzelf is daar niets verdachts aan. Veel gewone sites schrijven ook in vraag en antwoord. Het zegt dus weinig over de betrouwbaarheid van één site, maar wel iets over hoe makkelijk je een chatbot kunt bereiken.

Belangrijker is wat onderzoekers een data void noemen, een informatieleegte. Over een landelijk onderwerp is veel te vinden, dus valt één nepsite weg tussen de rest. Over een kleine verkiezing bestaat nauwelijks verslaggeving, en dan is die ene nepsite ineens een van de weinige bronnen. Voor vijf gemeenteraadskandidaten in Michigan citeerde ChatGPT in de test van NPR elke keer dezelfde site. Hoe specifieker je vraag, hoe groter dus de kans dat er weinig te kiezen viel. Die logica geldt ook voor vragen over een klein bedrijf of een lokale regel, al is dat niet onderzocht.

Chatbots die stellig klinken maken het lastiger, zoals we beschreven in waarom stellige taal vaker onzin is.

Zo controleer je wat een chatbot zegt

Het kost een paar minuten, en dat loont vooral bij iets waar je een beslissing op baseert.

1. Open de bron zelf. Klik op de link in het antwoord en kijk of daar echt staat wat de chatbot beweert. Dat is de snelste test, en je vangt er ook gewone fouten mee. Google maakt bronlinks inmiddels prominenter, maar lezen moet je ze zelf.
2. Bekijk de rest van de site. De Kalamazoo Beacon uit het onderzoek heeft 16 artikelen, allemaal over dezelfde kandidaat. Een echte lokale krant schrijft over de wegwerkzaamheden en de voetbalclub. Kijk ook of er een redactie met namen en een adres staat.
3. Controleer de leeftijd. Via de ICANN-opzoekdienst zie je vaak wanneer een domein is geregistreerd. Een “nieuwssite” van een paar weken oud is een waarschuwing. Jong is niet automatisch fout, maar past slecht bij een gevestigde krant.
4. Zoek een tweede bron die je kent. Staat het nergens anders dan op die ene site, behandel het dan als onbevestigd. In de test van NPR liet Google Search de sites niet op de eerste resultatenpagina zien. VisionHeight vond er begin oktober wel een, dus ook dit is geen waterdicht filter.
5. Vertrouw niet op de chatbot als keurmeester. In de NewsGuard-audit waarschuwde maar één van de 168 antwoorden voor de partijdigheid. Vragen wie er achter een site zit, kan helpen als startpunt, maar het antwoord controleer je op dezelfde manier.

Hoe je AI-teksten zelf herkent, lees je in ons stuk over nepjournalisten en AI-nepnieuws. En waarom de oorspronkelijke bron de moeite blijft, bespraken we bij Wikipedia en de AI-antwoorden.

Wat je hier in de praktijk mee doet

Een chatbot blijft handig om snel een eerste beeld te krijgen, en bij de meeste vragen over breed gedekte onderwerpen is het risico op zo’n nepsite kleiner. Gaat het om een kandidaat, een lokale regel, een klein bedrijf of iets anders waarover weinig geschreven is, zie het antwoord dan als een zoekopdracht en niet als uitkomst. De bronnen eronder zijn dan het echte antwoord, mits ze de drie vragen doorstaan: wie schrijft dit, waarover nog meer, en sinds wanneer.