Naar inhoud springen

Tencent zet de gewichten van zijn grote taalmodel Hy4 online

Nieuws
Een zware rekenmodule met donkere koelribben op een werkbank naast een open serverkast.
Tencent stelt de gewichten van Hy4 beschikbaar om te downloaden. Het grote AI-model kan tekst, afbeeldingen en video verwerken. Je kunt het model zo zelf draaien. Daar is wel zware hardware voor nodig.
Tencent bood Hy4 begin november al via een API aan. Met de vrijgave komen ook de bestanden waarmee het model draait buiten die dienst beschikbaar.

Een groot model dat per stukje tekst kiest

Op de modelkaart van Tencent staat dat het taaldeel 770 miljard parameters telt. Dat zijn de getallen waarmee het model bepaalt welke verbanden het legt. Voor een stukje invoer schakelt het model ongeveer 49 miljard van die parameters in. Een aparte beeldmodule helpt om informatie uit foto’s en videobeelden om te zetten.
Hy4 deelt het werk op. Voor elk stukje tekst kiest het model een paar delen die de taak goed aankunnen. Zo blijven veel delen per stap stil. De hele set gewichten moet wel klaarstaan. Dat maakt het bestand groot. Van het getal 49 miljard kun je dus geen maat voor de opslag maken.
Wie Hy4 zelf wil draaien, moet plek hebben om veel modeldata te laden. Dat kan op een server met genoeg geheugen. Voor een kleine proef kan een lichte versie of een dienst op afstand beter passen. De grens hangt af van het soort bestand en van de taak. Lange stukken tekst vragen meer werkgeheugen dan korte.

Beeld en video vormen invoer voor het model

Je kunt Hy4 vragen wat er in een grafiek op een foto staat. Het model kan beelden uit een video ook naast een stuk tekst leggen. Tencent zegt dat het model ook met apps kan werken. Dat staat in tests van het bedrijf zelf. Bij een eigen proef telt wat er mis kan gaan bij je taak. In een grafiek wil je dat de cijfers en de namen van assen kloppen.
Dat is ook een verschil met de kleine Europese modellen die we eerder bespraken. OVHcloud richt Olala mini op gebruik met veel minder rekenkracht. Bij Hy4 draait de keuze juist om een groot model dat ook visuele informatie kan gebruiken. Beide kunnen downloadbare gewichten hebben en toch heel andere apparatuur vragen.

Bij zelf draaien horen ook gebruiksvoorwaarden

Er zijn twee soorten Hy4. De eerste is de basis. Makers kunnen daar zelf op voortbouwen. De andere versie kreeg extra training om opdrachten te volgen. Er is ook een set in FP8. Die slaat getallen op met minder bits. Dat kan de set kleiner maken. De winst hangt af van hoe de server zulke getallen kan lezen.
Voor Hy4 geldt de eigen Tencent Hy-licentie. Wie het model voor een bedrijf wil gebruiken of als dienst wil aanbieden, moet die voorwaarden meenemen. De keuze om de gewichten zelf op te slaan geeft een team meer opties voor de plek waar het model draait. Het team moet dan ook zelf rekening houden met beheer, kosten en toegang tot de invoer.
Tencent vermeldt op de modelkaart bovendien beperkingen bij onder meer lastige wiskunde en lange stukken programmeerwerk. De vrijgave maakt het makkelijker om zulke grenzen met eigen opdrachten te meten.
loading

Populair nieuws

Laatste reacties

Loading