Naar inhoud springen

Inkling 2 Mini brengt programmeer-AI naar Macs met minstens 32 GB geheugen

Nieuws
Een halfopen donkerblauwe laptop met een losse afdekplaat op een werkbank met warm licht.
Thinking Machines Lab heeft Inkling 2 Mini uitgebracht als downloadbaar AI-model. Volgens de makers kan het op Macs met Apple Silicon en minstens 32 GB geheugen draaien. Het richt zich onder meer op programmeerwerk dat je op je eigen computer wilt uitvoeren.
De makers laten in hun aankondiging een proef op een MacBook Pro met 48 GB zien. De laptop stond in vliegtuigmodus. Het model hielp daar een eenvoudige vluchtsimulatie te bouwen. Dat is een demonstratie van de maker op één machine. Hoe het loopt op je eigen Mac hangt ook af van de opdracht en de software waarmee je de gewichten laadt.

Waarom er 32 GB geheugen wordt genoemd

In het modeldossier op Hugging Face staat dat de download ongeveer 20 GB groot is. Voor het draaien heb je ook geheugen nodig voor de uitvoering en de tekst waar het model aan werkt. Op een Mac met Apple Silicon delen de processor en de grafische chip het geheugen bovendien met de rest van het systeem. Een computer kan dus genoeg schijfruimte hebben en toch tijdens gebruik meer geheugen nodig hebben.
De makers noemen ook andere apparaten en grafische kaarten. Daar raden ze 32 GB of meer videogeheugen aan. Wie een bestaande computer wil gebruiken, kan daarom eerst kijken hoeveel geheugen vrij is terwijl de programma’s openstaan die bij dezelfde klus horen. Voor een korte vraag is de belasting anders dan voor een taak die door een groot project loopt.

Het model rekent per stukje tekst drie keer door dezelfde lagen

Thinking Machines Lab gebruikt in dit model een herhaling die veel andere modellen niet hebben. De middelste lagen verwerken elk stukje tekst drie keer. Ze gebruiken daarbij dezelfde modelgewichten. Het bedrijf wil zo meer rekenstappen laten plaatsvinden voordat er een nieuw stukje tekst uitkomt, zonder voor iedere stap een apart blok gewichten toe te voegen.
Op DeepSWE v1.1, een test met programmeertaken, meldt de maker 48,2 procent onder de beschreven testopstelling. Zo’n score hangt af van de taken en van de software die het model gereedschap geeft. Een eigen proef kan beginnen met een overzichtelijke wijziging waarvan de uitkomst vaststaat. Kijk of het antwoord de juiste bestanden noemt en of de normale tests nog slagen.
De modelkaart telt in totaal 26 miljard parameters. Dat cijfer beschrijft de omvang van het model. Om te bepalen hoe snel het op een laptop werkt, tellen ook de grootte van de bestanden, de gebruikte rekenstappen en de snelheid van het geheugen.

De gewichten zijn beschikbaar onder Apache 2.0

De licentie biedt ruimte om de gewichten te gebruiken en aan te passen volgens de voorwaarden. Een lokale uitvoering geeft een team de keuze om opdrachten op een eigen computer te verwerken. Welke informatie naar buiten gaat, hangt verder af van de app en de externe functies die het team aansluit. Die keuze telt ook bij het lokaal draaien van Mistral.
Er zijn ook kleinere opties. Zo kondigde OVHcloud een compact taalmodel voor een gewone processor aan. Inkling 2 Mini is vooral interessant als je genoeg geheugen vrij hebt en programmeertaken op je eigen machine wilt doen. Meet bij zo’n taak ook hoeveel tijd het kost om de voorgestelde code na te lopen.
loading

Populair nieuws

Laatste reacties

Loading