Open AI-model van Meta draait op de Mac: wat heb je aan Muse Spark Open
Inhoudsopgave
Wat Meta heeft uitgebracht
Muse Spark Open is een groot model met 816 miljard parameters, waarvan er volgens de aankondiging van Meta bij elke stap 42 miljard actief zijn. Het kan tekst en beeld verwerken, onthoudt tot een miljoen tokens in een gesprek en is vooral gebouwd voor programmeren en voor agents die lange taken uitvoeren. TechCrunch noemt ook een koppeling met videobewerkingsprogramma DaVinci Resolve.
Open betekent hier dat je de gewichten van het model kunt downloaden, onder meer via Hugging Face, en het zelf kunt draaien. Meta brengt het uit onder een eigen licentie, de Muse Model License, met wat het bedrijf beperkte commerciële voorwaarden noemt. Voor de meeste particuliere gebruikers en ontwikkelaars is gratis gebruik mogelijk, maar wie het zakelijk wil inzetten, leest de voorwaarden beter eerst. Dat het model nieuw is ten opzichte van Muse Wonder, het gesloten topmodel waarover we eerder schreven in ons stuk over Muse Wonder, zit vooral hierin. Dat model gebruik je via Meta, dit model kun je zelf in huis halen.
Welke Mac je daarvoor nodig hebt
Hier komt de voetnoot. Volgens Meta draait het volledige model op twee Mac Studio’s met de M5 Ultra-chip, die elk tot 512 gigabyte gedeeld geheugen hebben, met het MLX-framework van Apple. Samen gaat het dus om ongeveer een terabyte werkgeheugen. Een gewone laptop heeft daar maar een klein deel van. Het is een indrukwekkende prestatie dat een model van deze omvang op twee bureaucomputers past in plaats van in een datacenter, maar het is geen model voor de laptop waarop je dit leest.
Meta noemt naast MLX ook andere software waarmee het model werkt, zoals llama.cpp, vLLM en Hugging Face Transformers. Kleinere versies die op een gewone computer passen, noemt de aankondiging niet. Welke talen het model goed beheerst, staat er evenmin in, dus of het Nederlands op het niveau van de grote chatbots zit, moet nog blijken.
Wat heb je er dan wel aan
Voor een gewone gebruiker zijn er drie routes, en ze leveren elk iets anders op.
Heb je de hardware niet, en dat geldt voor bijna iedereen, dan kun je Muse Spark Open gebruiken via aanbieders als OpenRouter, Together AI of Groq. Dat is handig om het model uit te proberen of in een eigen toepassing te gebruiken. Maar dan draait het weer op de servers van een ander bedrijf, en is het grootste voordeel van een open model, je gegevens in eigen huis, verdwenen.
Wil je echt lokaal werken op een gewone computer, dan blijf je aangewezen op kleinere open modellen. Die zijn minder slim, maar draaien wel op een laptop met genoeg geheugen. Wat daarvoor nodig is en waar het tegenvalt, lees je in ons stuk over een AI-model op je laptop draaien.
En werk je in een bedrijf dat gevoelige gegevens niet buiten de deur wil hebben, dan wordt het pas echt interessant. Met twee Mac Studio’s haal je een model van topniveau binnen zonder dat er iets naar buiten gaat.
Mijn conclusie is dat Muse Spark Open vooral een signaal is. Grote open modellen schuiven richting het bureau, en de stap van twee Mac Studio’s naar één krachtige computer is kleiner dan die van een datacenter naar twee Mac Studio’s. Voor nu is het iets voor ontwikkelaars en bedrijven. Wil je zelf al privé chatten met AI, dan staan de haalbare opties in ons overzicht over privé chatten zonder je gegevens weg te geven.
