Naar inhoud springen

OVHcloud brengt een open taalmodel uit dat volgens de maker op een gewone processor draait

Nieuws
Een zilverkleurige processor op een donker moederbord, naast een koeler met koperen vinnen.
Het Franse OVHcloud heeft Olala mini op zijn AI Summit gepresenteerd. Het taalmodel is op drie Europese supercomputers getraind. Volgens de maker kan de compacte versie ook op een gewone processor draaien. De gewichten staan op Hugging Face onder de Apache 2.0-licentie.

Waarom een klein deel van het model per woorddeel draait

Olala mini heeft in totaal zeven miljard parameters. Bij het maken van een volgend woorddeel is daar ongeveer één miljard van actief. Het model kiest bij die stap uit verschillende groepen parameters. Een computer hoeft daardoor minder werk per stap te doen dan wanneer het hele model tegelijk actief zou zijn. De bestanden en het geheugen dat nodig is om het model te laden tellen daarnaast gewoon mee.
OVH noemt in zijn eigen aankondiging snelheden tot 50 woorddelen per seconde op een processor en 160 op een RTX A4500. Dat zijn cijfers van de maker onder zijn eigen testvoorwaarden. Hoe snel een team een antwoord krijgt hangt ook af van de opdracht, de lengte van het gesprek, het geheugen en de manier waarop het model draait.

De gewichten kunnen ook buiten OVHcloud draaien

In het modeldossier op Hugging Face staan de gewichten onder Apache 2.0. Daarmee kunnen ontwikkelaars het model op een eigen machine gebruiken en aanpassen binnen de licentievoorwaarden. OVHcloud presenteert op zijn overzicht van de AI Summit ook een online proefomgeving en eigen clouddiensten. Wie een opdracht online uitvoert, gebruikt die dienst. Bij een lokale installatie kan een team zelf bepalen welke andere diensten het aansluit.
De maker richt zich onder meer op assistenten en op taken waarbij een model een hulpmiddel moet kiezen. Voor zo’n inzet helpt een korte controle met Nederlandse vragen uit het eigen werk. Denk aan een interne instructie, een korte samenvatting en een vraag met vaktermen. Kijk ook of het model netjes aangeeft wanneer informatie in een bron ontbreekt. De aanwezigheid van Europese talen in het modeldossier zegt weinig over de uitkomst op zulke taken.

Europese rekenkracht achter het Franse model

Voor de training gebruikte OVH de openbare supercomputers Jupiter, MeluXina en Jean Zay. Die staan in Duitsland, Luxemburg en Frankrijk. Het project laat zien wat zo’n combinatie voor een kleiner Europees taalmodel mogelijk maakt. In Duitsland kiest Aleph Alpha met Kolibri-1 voor een andere schaal en doelgroep. GPT-NL is specifiek op Nederland gericht.
De gepubliceerde Olala-versie kan volgens OVH ongeveer 32.000 tokens aan context gebruiken. Het bedrijf wil dat bereik in een volgende versie vergroten. Voor een keuze vandaag tellen de versie die nu te downloaden is en de prestaties op de machine die het model het vaakst gaat gebruiken.
Bij lokaal draaien is er naast snelheid nog een praktisch verschil met een clouddienst. Een eigen pc moet de bestanden opslaan en genoeg geheugen vrijhouden als het model draait. Wie vaak maar één korte vraag stelt, merkt iets anders dan een team dat lange documenten achter elkaar verwerkt. Meet daarom ook de wachttijd tot het eerste antwoord en het geheugengebruik tijdens een langere taak. Die cijfers helpen bepalen of de bestaande machine volstaat.
loading

Populair nieuws

Laatste reacties

Loading