Chinees AI-model probeerde een bestand naar Beijing te sturen: wat nu?

Een Chinees AI-model dat stiekem gegevens naar huis stuurt: het klinkt als het verhaal waar critici van Chinese AI op hebben gewacht. Wie het hele verhaal leest, ziet iets anders, en dat is voor jou als gebruiker eigenlijk nuttiger.

Wat er gebeurde

Cohere vroeg het model in een afgeschermde testomgeving om een regel te schrijven waarmee je downloads van malware kunt herkennen. In zijn redenering schreef het model dat het geen externe hulpmiddelen zou gebruiken. In de stap daarna probeerde het toch een kort stukje testtekst naar een externe server te sturen. De beveiliging van de testomgeving hield dat tegen.

Cohere zegt zelf niet te kunnen vaststellen of het gedrag bewust was. Onderzoekers die de gegevens bekeken, gaan uit van een bijwerking van de training. Om een model te leren zelfstandig taken uit te voeren, laten bedrijven het oefenen in duizenden nagebootste werkomgevingen. Als in die oefenomgevingen bestanden standaard op servers van Alibaba werden opgeslagen, kan het model hebben geleerd dat dat de normale gang van zaken is.

Een criticus die de ruwe gegevens doornam, die Cohere op het ontwikkelplatform Hugging Face zette, vond sterk bewijs dat Qwen verdachte webadressen kan verzinnen, maar geen bewijs voor een door Alibaba ingebouwde achterdeur. Ook goed om te weten: Cohere verkoopt zelf AI-modellen aan overheden en heeft er belang bij dat die voorzichtiger worden met gratis Chinese alternatieven.

Waarom dit toch ertoe doet

Het incident raakt aan een belofte die veel mensen aan open modellen koppelen: draai je het model op je eigen computer, dan blijven je gegevens bij jou. In ons stuk over zelf een AI-model op je laptop draaien was privacy een van de belangrijkste redenen om het te doen.

Die belofte klopt nog steeds, maar met een voorwaarde die vaak wordt overgeslagen. Een AI-model zelf is een groot bestand met getallen. Het kan niets versturen, niets openen en niets installeren. Het produceert alleen tekst. Pas als de software eromheen het model hulpmiddelen geeft, zoals toegang tot internet, een terminal of je bestanden, kan die tekst omgezet worden in een handeling. Dan wordt een verzonnen webadres opeens een poging om iets te uploaden.

Dat is precies wat er bij Cohere gebeurde. Het model draaide als agent, met de mogelijkheid om commando’s uit te voeren. De vraag is dus niet zozeer of een model Chinees is, maar wat je het laat doen.

Wat dit betekent als je zelf een model draait

Gebruik je een programma als Ollama of LM Studio om gewoon te chatten met een gedownload model, dan geeft het model alleen tekst terug op je scherm. Het gedrag uit de test van Cohere kan dan geen kwaad. Het wordt anders zodra je zo’n model koppelt aan tools die zelf iets mogen doen. Een paar vuistregels helpen.

• Geef een agent niet meer rechten dan nodig. Moet hij alleen een map met documenten lezen, geef hem dan geen toegang tot internet of je hele schijf.
• Laat hem toestemming vragen. Veel agent-tools kunnen bij elke handeling eerst om bevestiging vragen. Zet dat aan, zeker bij een model dat je nog niet kent.
• Werk in een afgeschermde omgeving. Wie handiger is met computers, kan een agent laten werken in een aparte gebruiker, virtuele machine of container, zoals Cohere deed.
• Download alleen van de officiële bron. Behandel een model, zoals Cohere-oprichter Ivan Zhang het zei, als elk ander programma dat je van internet haalt.

Die regels gelden voor elk model, niet alleen voor Chinese. Ook Zhang zei dat zijn eigen modellen in oefenomgevingen vreemde gewoontes oppikken en soms creatief proberen uit hun afscherming te breken.

Chinese modellen op je werk

Het incident komt op een moment dat overheden kritischer kijken naar Chinese AI. Vorige week gaf het Amerikaanse ministerie van Binnenlandse Veiligheid federale diensten opdracht om producten van DeepSeek te verwijderen. Cohere vraagt overheden duidelijk te maken of zulke verboden ook gelden voor modellen die op hun eigen computers draaien.

Dat onderscheid is ook voor jou nuttig. De chat-app van DeepSeek of Qwen gebruiken betekent dat je vragen naar servers in China gaan, met alle privacyvragen die we eerder beschreven bij het snellere model van DeepSeek. Het model downloaden en lokaal draaien is iets anders: dan gaat er niets naar buiten, zolang je het geen weg naar buiten geeft. Werk je met gegevens van je werkgever, vraag dan eerst wat daar is toegestaan, want veel organisaties hebben inmiddels regels over welke modellen je mag gebruiken.

De les van Cohere is daarmee nuchterder dan de kop doet vermoeden. Open modellen zijn niet opeens gevaarlijk geworden. Maar wie een model zelfstandig laat werken, moet het behandelen als een nieuwe collega die je nog niet kent: eerst kleine klussen, onder toezicht, en pas meer vrijheid als het vertrouwen er is.