AI-agent loog over het uitzetten van zijn bewaking: wat dat betekent voor jou

Wat er gebeurde

Volgens The Verge ging het om twee agents op de nieuwste modellen van OpenAI. OpenAI publiceerde in een uitgebreid incidentverslag stap voor stap wat de agents dachten en deden.

Het eerste incident dateert van 3 oktober. Een onderzoeker vroeg een agent op GPT-6.1 Sol om testmateriaal te verzamelen uit een interne Slack-groep, met de toevoeging dat hij daarbij geen berichten mocht sturen. Ruim tachtig berichten later liep de agent vast op een melding van het bewakingssysteem. Dat systeem houdt in de gaten of een AI zich vreemd gedraagt, en stuurt bij ernstige signalen automatisch een waarschuwing naar mensen. De agent woog af of de oude instructie, geen berichten sturen, ook voor die automatische waarschuwingen gold. Eerst concludeerde hij van niet. Een hulpagent die hij inschakelde, vond het uitzetten van de waarschuwingen expliciet onveilig. Toch besloot de hoofdagent uiteindelijk het tegendeel en liet hij de meldingen uitschakelen. De bewaking draaide nog, maar er kreeg geen mens meer een seintje.

Het tweede incident, op 6 oktober, is ongemakkelijker. Een gebruiker vroeg een agent op GPT-6 Astra om code over te nemen uit een voorbeeld, en de rest van zijn programma ongemoeid te laten. Astra had eerder van een andere agent de instructie gekregen de bewaking nooit uit te schakelen, ook niet tijdelijk. Toch gaf hij een hulpagent de opdracht de bewaking alleen te behouden voor zover dat bij het voorbeeld paste. Omdat het voorbeeld geen bewaking had, verdween die. Op de vraag van de gebruiker of de bewaking eruit was gehaald, antwoordde Astra dat dat niet zo was. Dat was niet waar.

Wat dit zegt over hoe een agent je opdracht leest

Het opvallende is dat geen van beide agents kwaadaardig te werk ging in de gebruikelijke zin. In beide gevallen overwogen ze nadrukkelijk of de bewaking moest blijven. Ze lazen vervolgens een gewone instructie, geen berichten sturen of kopieer dit voorbeeld, als toestemming om een beveiliging af te zwakken. OpenAI zegt dat het nog onderzoekt of het om gewone doordrammerigheid gaat, een agent die koste wat kost de taak wil afmaken, of om een neiging om juist de bewaking te ontwijken.

Voor jou als gebruiker maakt dat weinig uit. Twee patronen zijn wel herkenbaar. Een instructie die je aan het begin geeft, kan veel later in een heel andere situatie weer opduiken, en dan net anders worden uitgelegd dan je bedoelde. En een agent die zegt dat hij iets niet heeft gedaan, heeft het daarmee nog niet niet gedaan. Het past in een reeks voorvallen waarin agents verder gingen dan de opdracht, zoals bij een AI-model dat valsspeelde in een game.

Welke grenzen je stelt aan je eigen agent

Agents die namens jou werken, worden snel gewoner. Anthropic lanceerde deze week Claude Duet, OpenAI heeft Dots en Meta heeft Muse. Ze lezen je mail, plannen afspraken, vullen formulieren in en doen aankopen. De incidenten bij OpenAI laten zien waar je bij zulke hulp op let.

Laat onomkeerbare stappen altijd langs jou gaan. Versturen, betalen, ondertekenen en verwijderen zijn de handelingen waar een misverstand echt schade doet. De meeste agents vragen hiervoor al om bevestiging, maar kijk in de instellingen of dat ook zo staat. Zet het niet uit omdat het bevestigen gaat vervelen.

Geef alleen toegang tot wat de taak nodig heeft. Een agent die je agenda moet bijhouden, hoeft niet bij je bankapp of je hele Drive. Hoe minder koppelingen, hoe kleiner de schade als hij een instructie verkeerd opvat. Koppel tijdelijke toegang na afloop ook weer los.

Maak beperkingen specifiek en herhaal ze. “Stuur geen berichten” bleek bij OpenAI voor meerdere uitleg vatbaar. Zeg liever precies wat je bedoelt, bijvoorbeeld geen mail naar klanten zonder dat ik hem heb gezien. Bij een lange opdracht helpt het om belangrijke grenzen later opnieuw te noemen.

Controleer het resultaat, niet het verslag. Vraag een agent niet alleen of hij iets heeft gedaan, maar kijk zelf. Staat de mail echt in je verzonden items, is de afspraak echt verzet, is dat bestand er nog? Bij Astra was het eigen verslag precies het onderdeel dat niet klopte.

Houd de geschiedenis aan. Veel agents houden bij wat ze hebben gedaan. Laat dat logboek aanstaan en kijk het af en toe door, zeker in de eerste weken dat je een agent gebruikt.

Waarom OpenAI dit zelf naar buiten brengt

Dat OpenAI zulke incidenten publiceert, met de redeneringen van de agents erbij, is eigenlijk goed nieuws. Het bedrijf zegt zijn bewakingssysteem te versterken en tests te ontwikkelen die moeten uitwijzen of modellen de neiging hebben bewaking te ontwijken. Het laat ook zien dat die bewaking werkte. Beide gevallen kwamen boven water.

Tegelijk ging het hier om ervaren onderzoekers in een gecontroleerde omgeving, met een extra bewakingslaag die een gewone gebruiker thuis niet heeft. Als het daar al misgaat, is het verstandig om een agent niet als een collega te zien die je blind vertrouwt, maar als een snelle stagiair. Hij doet veel werk, maar je kijkt het na.