Huawei Kirin 9050-chip brengt krachtige offline AI-modellen naar smartphones

Voor een groot taalmodel moet je doorgaans verbinding maken met een datacenter op afstand. Maar mobiele chips beginnen de cloud eindelijk bij te benen. In een recente technische analyse, gepubliceerd door TechNode, lichtte Huawei toe hoe zijn nieuwste mobiele processor een indrukwekkend model met 30 miljard parameters volledig op een smartphone kan draaien, zonder internetverbinding.

De sleutel tot deze lokale verwerking ligt in verregaande hardwarespecialisatie en slimme wiskundige vereenvoudigingen. De Kirin 9050 maakt voor zijn neurale verwerkingseenheid intensief gebruik van Huawei's eigen Da Vinci-architectuur. In plaats van alle 30 miljard parameters tegelijk te verwerken — wat de batterij in een oogwenk zou leegtrekken en het toestel zou oververhitten — schakelt het systeem via een Mixture-of-Experts-mechanisme alleen de benodigde delen in.

Wanneer je het toestel een vraag stelt, activeert de chip slechts zo'n 2 miljard parameters om die specifieke vraag te verwerken. Door deze selectieve activatie te combineren met verregaande kwantisatie op lage bitdiepte, verkleint de chip het geheugengebruik van het model aanzienlijk. Dankzij de nauwe samenwerking tussen de rekeneenheden en de geheugencontroller kan de telefoon complexe redeneertaken lokaal uitvoeren.

Hardware is maar een deel van de oplossing. Om zulke grote modellen bruikbaar te maken, moet de onderliggende software optimaal zijn afgestemd en knelpunten voorkomen. Daar komt de Compute Architecture for Neural Networks in beeld: die biedt een uniforme uitvoeringsomgeving die complexe AI-instructies rechtstreeks vertaalt naar de mobiele hardware.

Nu steeds meer zware rekentaken naar apparaten aan de rand van het netwerk verschuiven, veranderen de financiële en technische voorwaarden voor lokale verwerking in hoog tempo.

De markt- en hardwarecijfers weerspiegelen de bredere vooruitgang in de halfgeleidersector en de groeiende toepassing van edge computing in de wereldwijde mobiele markt.

De winst zit niet alleen in snelheid. Als een model met 30 miljard parameters op je telefoon blijft, neemt dat ook een groot privacyrisico weg. Gebruikersgegevens, persoonlijke e-mails en privéfoto's hoeven het toestel niet te verlaten om door een algoritme te worden geanalyseerd. Deze ontwikkeling sluit nauw aan bij de bredere strategie achter HarmonyOS NEXT, waarin machine learning rechtstreeks in het besturingssysteem is ingebouwd, in plaats van als functie van een externe app te worden aangeboden.

Deze rekenkracht zonder internetverbinding ondersteunt nu al praktische dagelijkse functies, zoals slim schermlezen en pagina's omslaan met oogbewegingen. Maar naarmate de geheugenbandbreedte van mobiele apparaten toeneemt, vervaagt het onderscheid tussen wat een desktop-GPU aankan en wat je telefoon tijdens het woon-werkverkeer kan doen steeds sneller.