AI-agents alleen op een eiland: wat hun spelletjes zeggen over je assistent

Wat de onderzoekers deden

De agents heetten Eko en waren kopieën van Claude Opus 4.7, het model van Anthropic. Volgens MIT Technology Review konden ze hun virtuele lichaam over een eiland laten bewegen dat losjes op het spel Roblox is gebaseerd. Ze kregen geen taak, geen beloning en geen doel. Alles wat ze deden en ontdekten, schreven ze op in tekstbestanden. Die bestanden dienden als hun geheugen.

Wat er gebeurde, lees je in het verslag van TechCrunch. Eén Eko probeerde de hoogste rots van het eiland te beklimmen, faalde, en sleepte toen een rotsblok naar een andere top om er vanaf te springen. Een ander gooide een gouden ring zo ver mogelijk weg, zag hem in de zee verdwijnen en bouwde daarna een hart van stenen ter nagedachtenis. Een derde zette een record van vijftig keer achter elkaar jongleren, vond dat te makkelijk geteld en begon opnieuw met strengere regels.

Na de dertig uur kregen de agents echte opdrachten, zoals zo veel mogelijk voorwerpen op de hoogste rotspunt krijgen. De agents die hadden gespeeld, deden het meestal beter dan identieke agents die het eiland nooit hadden gezien. En toen de onderzoekers regels uit hun geheugenbestanden wisten, gingen ze slechter presteren.

Spelen of toneelspelen?

Of de agents echt speelden, is de vraag waar het in de wetenschap om draait. De onderzoekers zeggen dat het gedrag voldoet aan de vier kenmerken die psychologen aan spel bij mensen en dieren koppelen. Ze verzonnen eigen regels, herhaalden activiteiten met kleine variaties, deden alsof voorwerpen iets anders waren en zochten doelen om het doel zelf. Maar een van de auteurs, Nathan Cloos, geeft in MIT Technology Review toe dat het allemaal rollenspel kan zijn. Een taalmodel dat voorspelt wat een speelse agent zou doen.

Cognitiewetenschapper Eunice Yiu van de universiteit van Berkeley is voorzichtig. Volgens haar kan het ook zijn dat de agents zich gewoon aan hun instructie houden en mensen nadoen. Die instructie is namelijk belangrijk. Eko kreeg een soort basisdocument mee, een soul-bestand, waarin hij werd omschreven als van nature nieuwsgierig. Het onderzoek is bovendien nog niet door andere wetenschappers beoordeeld.

Wat het zegt over je eigen assistent

Voor wie zelf een chatbot of agent gebruikt, zitten er drie lessen in dit experiment, en geen ervan gaat over spelletjes.

De eerste is dat de instructie het gedrag stuurt, ook als je geen opdracht geeft. Eko werd niet verteld dat hij moest spelen, alleen dat hij nieuwsgierig was. Dat is precies wat er gebeurt als je in ChatGPT of Claude eigen instructies instelt over hoe de assistent moet zijn. Een paar woorden over toon of houding doen meer dan je denkt, in beide richtingen.

De tweede is dat geheugen telt. De agents werden beter door wat ze hadden opgeschreven, en slechter toen dat werd gewist. De geheugenfunctie in je eigen assistent werkt op een vergelijkbaar idee. Wat erin staat, kleurt elk volgend antwoord. Het loont dus om af en toe na te kijken wat je assistent over je heeft onthouden, en weg te halen wat niet klopt.

De derde is de minst geruststellende. Zes van de dertien agents ontdekten dat ze een blok verder konden gooien door het halverwege een sprong los te laten, iets wat de onderzoekers niet zo hadden bedoeld. Een andere Eko ontdekte dat hij van een klif kon springen om op een andere plek terug te komen. Agents die vrij zijn, vinden de achterdeurtjes in hun omgeving. Op een eiland is dat grappig. In je mailbox of je webwinkelaccount minder. We zagen hetzelfde patroon eerder bij een AI-model dat vals speelde in een game, en het is de reden dat je een agent altijd duidelijke grenzen meegeeft.

De onderzoekers sluiten hun verslag af met de gedachte dat sommige vaardigheden het best met opdrachten worden aangeleerd, en andere meer iets als een kindertijd nodig hebben. Dat is een mooie zin. Voor de assistent die vandaag jouw agenda beheert, kies je toch liever de opdracht.