Microsoft komt met een nieuw “hyper efficiënt” model

Er komt bijna geen dag voorbij zonder weer een nieuwe kunstmatige intelligentie (AI) tool. De ontwikkelingen lopen zich in razend tempo op. Nadat OpenAI zijn o3 en o4 modellen bekend maakte, is nu Microsoft aan de beurt.

Het techbedrijf onthulde recent het hyper efficiënt AI model BitNet. Officieel is de naam nog wat complexer: BitNet b1.58 2B4T heet het volledig. Wat deze ontwikkeling zo bijzonder maakt? Deze AI draait niet op zware GPU’s, maar gewoon op een CPU.

Dat is goed nieuws voor ontwikkelaars en bedrijven die willen experimenteren met AI, maar niet over dure hardware beschikken. BitNet is namelijk ontworpen als zogeheten "bitnet": een gecomprimeerd model dat werkt met slechts drie gewichten, -1, 0 en 1. Hierdoor is het model extreem licht en energiezuinig.

Het is anders dan normale AI modellen. Die gebruiken doorgaans veel meer gewichten dan een BitNet model. Zo hebben standaardmodellen veel fijnere gewichten, vaak met 16-bit of 32-bit precisie.

Dat betekent dat standaardmodellen miljoenen tot miljarden verschillende waarden kunnen gebruiken om hun interne structuur te bepalen. Daardoor zijn ze vaak krachtiger, maar ook veel zwaarder qua geheugen en rekenkracht.

Ondanks zijn eenvoudige opbouw is BitNet allesbehalve lichtgewicht. Het is namelijk het eerste 1-bit AI-model met maar liefst 2 miljard parameters, getraind op een gigantische dataset van 4 biljoen tokens, dat staat gelijk aan zo’n 33 miljoen boeken.

En die training loont: in benchmarks presteert BitNet beter dan bekende modellen zoals Meta’s Llama, Google’s Gemma en Alibaba’s Qwen. Vooral op onderdelen als wiskundige vraagstukken (GSM8K) en logisch redeneren (PIQA) scoort het opvallend goed.

Wat het hyper efficiënt AI model BitNet helemaal interessant maakt, is de snelheid. In sommige tests was het tot wel tweemaal zo snel als vergelijkbare modellen, terwijl het ook nog eens veel minder geheugen nodig heeft. Dat is precies waar veel bedrijven en ontwikkelaars naar op zoek zijn.