Nieuwe regel tegen AI-training op websites: zo houd je je eigen teksten erbuiten

Wat er precies is afgesproken

De regel gaat in robots.txt, het bestand waarin je automatische bezoekers vertelt wat ze wel en niet mogen. Hij heet __usage_ai-training en is voorgesteld door Kevin Kelley, die bij Anthropic over standaarden gaat. Volgens Engadget ondersteunt Anthropic hem al, volgt Microsoft op 1 februari 2027, verwacht Google begin 2027 te volgen en wil OpenAI hem in de komende maanden invoeren.

Een officiële internetstandaard is het nog niet. Het voorstel bij de IETF dateert van 30 oktober 2026 en is een individuele inzending zonder formele status in het standaardisatieproces. Dat maakt de toezeggingen van de vier bedrijven belangrijker dan het document zelf, want andere partijen hebben niets toegezegd.

Wat je nu in robots.txt zet

Je bestand vind je op jouwsite.nl/robots.txt. Omdat de nieuwe regel nog niet overal werkt, zet je er de bestaande bots naast. Dit blok sluit training uit bij de vier genoemde bedrijven, voor zover ze een eigen naam hebben:

User-Agent: __usage_ai-training
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

De drie namen eronder komen uit de documentatie van de makers. OpenAI schrijft dat GPTBot weren betekent dat je inhoud niet voor training gebruikt mag worden, Anthropic noemt ClaudeBot als zijn trainingsbot. Voor Microsoft noemen deze bronnen geen eigen trainingsbot, dus daar wacht je op februari.

Wil je iets juist wel beschikbaar houden, bijvoorbeeld een persmap, dan voeg je onder de eerste regel een uitzondering toe. Het voorstel gebruikt dit voorbeeld:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Twee dingen om op te letten. Gebruik hier nooit User-agent: * met Disallow: /, want dat geldt voor alle bezoekers die zich aan het bestand houden, dus ook voor de bots van zoekmachines. En regel het per subdomein apart, want Anthropic wijst erop dat een bestand alleen voor zijn eigen subdomein geldt. Op WordPress bestaat robots.txt vaak niet als los bestand; dan pas je het aan via je SEO-plugin of zet je zelf een bestand in de hoofdmap.

Wat de regel niet oplost

Wat al is verzameld, blijft waar het is. De regel werkt niet met terugwerkende kracht, schrijft Bright. Heeft een bedrijf je teksten vorig jaar binnengehaald, dan haalt niemand ze er nu nog uit.

Het blijft ook een verzoek. Robots.txt houdt niemand technisch tegen, het vertelt alleen wat je wilt. Partijen die niets hebben toegezegd of zich er niet aan houden, merk je daar niet mee. Hetzelfde geldt voor sites die jouw tekst overnemen: staat die daar wel open, dan beschermt je eigen bestand hem niet.

En de regel gaat alleen over training van generatieve modellen. Het voorstel sluit modellen voor classificatie, ranking en scoring uit. Zoekfuncties staan er los van: OpenAI en Anthropic hebben daarvoor aparte bots, OAI-SearchBot en Claude-SearchBot. Laat je die met rust, dan kun je gewoon opduiken als ChatGPT op het web zoekt, ook als je training hebt uitgesloten. Bij Google zit het anders. Google-Extended heeft volgens Google geen invloed op je plek in Search, maar dekt naast training ook het aanleveren van inhoud uit de zoekindex aan Gemini tijdens een prompt. Wie dat token blokkeert, sluit dus meer uit dan training alleen. Wil je wel in Gemini-antwoorden meetellen, weeg dat dan mee.

De keuze die eraan voorafgaat

Een instelling is snel gedaan, maar eerst moet je weten wat je wilt. Voor een site die van eigen teksten leeft, ligt uitsluiten voor de hand. Voor een bedrijf dat juist gevonden wil worden als iemand een chatbot om advies vraagt, is het minder vanzelfsprekend, al raakt uitsluiten van training de zoekbots van OpenAI en Anthropic niet. Kijk dus eerst welke regels er nu in je bestand staan, zodat je niet per ongeluk iets weghaalt wat er met een reden stond.

Dit gaat alleen over wat je op je eigen site publiceert. Wat je in een chatbot typt, regel je ergens anders, daarover lees je meer in ons stuk over training uitzetten in ChatGPT, Gemini en Claude. En dat voorwaarden van grote platforms hierin kunnen schuiven, bleek eerder dit najaar bij Meta.