
In de dynamische wereld van kunstmatige intelligentie hebben grote taalmodellen zoals GPT-4 en Llama veel aandacht getrokken vanwege hun indrukwekkende vermogen om natuurlijke taal te verwerken en te genereren. Toch winnen Small Language Models (SLM's) aan populariteit vanwege hun unieke voordelen voor specifieke toepassingen.
AMD heeft onlangs zijn eerste SLM gelanceerd: de AMD-135M, uitgerust met speculatieve decodering.
AMD-135M en de ontwikkelingen
De AMD-135M is het eerste kleine taalmodel binnen de Llama-familie dat vanaf de basis is getraind op AMD Instinct™ MI250-accelerators. Het model is ontwikkeld met behulp van 670 miljard tokens en bestaat uit twee varianten: AMD-Llama-135M en AMD-Llama-135M-code.
- Pre-training: Het AMD-Llama-135M-model is in zes dagen vanaf nul getraind met 670 miljard tokens aan algemene data, gebruikmakend van vier MI250-nodes.
- Code-finetuning: De AMD-Llama-135M-code-variant is verder verfijnd met nog eens 20 miljard tokens aan code-data, wat vier dagen in beslag nam op dezelfde hardware.
Wat dit model bijzonder maakt, is dat de trainingscode, dataset en gewichten open-source zijn. Dit stelt ontwikkelaars in staat het model te reproduceren en bij te dragen aan de training van andere SLM's en LLM's. Dat meldt AMD op haar website.
Optimalisatie met speculatieve decodering
Traditioneel gebruiken grote taalmodellen een autoregressieve benadering voor inferentie, waarbij per voorwaartse stap slechts één token wordt gegenereerd. Dit beperkt de efficiëntie en vertraagt de inferentiesnelheid. Speculatieve decodering biedt hiervoor een oplossing. Het principe is om een klein conceptmodel te gebruiken om een reeks kandidaat-tokens te genereren, die vervolgens door het grotere doelmodel worden geverifieerd.
Deze methode maakt het mogelijk om per stap meerdere tokens te genereren zonder in te leveren op prestaties, wat leidt tot significante snelheidsverbeteringen.
Lees ook
Versnelling van inferentieprestaties
Door AMD-Llama-135M-code te gebruiken als conceptmodel voor CodeLlama-7b, heeft AMD de inferentieprestaties getest met en zonder speculatieve decodering op zowel de MI250-accelerator voor datacenters als de Ryzen AI-processor voor AI-pc's. In de geteste configuraties werd een duidelijke versnelling waargenomen bij het gebruik van speculatieve decodering in vergelijking met traditionele methoden.

Robin HeesterOprichter
Robin Heester is mede-oprichter van AI Wereld en heeft door de jaren heen meerdere websites, nieuwsbrieven en magazines opgericht. Hij schrijft over technologie, innovatie en de maatschappelijke impact van nieuwe digitale ontwikkelingen.
Populair nieuws

Tesla Cybercab nu ook voor particulieren te bestellen, maar met verplichte softwareabonnementen

Claude brengt 663 wiskundige ideeën uit Gödels notitieboeken in kaart

OpenAI introduceert ChatGPT Wallet voor aankopen door autonome AI-agenten

Stelling: Nederland moet zoveel mogelijk datacenters bouwen

Goedemorgen AI: meer datacenters, maar waar blijft de stroom?

Ierland wil EU-landen een jaar geven om datacenterzones aan te wijzen
Laatste reacties
- Hi! In de eerste zin van het artikel geven we aan dat het gaat om wat Ouders & Onderwijs vindt. Ik denk ook niet dat die organisatie voor alle ouders spreekt.
RobinHeester10-11-2026 - Ik verbaas mij er over, dat het hier gebracht wordt alsof een onbekende organisatie als "ouders & onderwijs". Namens alle ouders spreekt. Ik als ouder van een dichter op de basisschool en persoonlijk zeer ervaren met AI, ben er op tegen dat AI op de basisschool aanwezig is. Ik deel de mening van deze organisatie dan ook helemaal niet en ondersteun het verbod volledig.wwigman10-11-2026
- Haha! Je bent gelukkig niet de enige hoor. Wel een van de weinige die reageert. :)
RobinHeester30-09-2026 - Toch wel leuk wat je in elkaar hebt gezet🙃 volgens mij ben ik de enige lezer!Cas.v28-09-2026
- Kan inderdaad allebei waar zijn
RobinHeester09-09-2026 - De Chinese AGI is een bedreiging voor de westerse democratie? En een US AGI niet? Er is nauwelijks meer sprake van democratie in de US. Ik vraag me af of het iets uitmaakt waar de eerste AGI het ‘levenslicht’ ziet. Op het moment dat een AGI werkt trekt het zich waarschijnlijk niets aan van locatie en onttrekt het zich aan iedere controle. Hoe een AGI gaat acteren is een filosofische (of Darwinistische?) vraag. Zo lang als een AGI mensen nodig heeft zal ze deze gebruiken, daarna…markvanbijnen09-09-2026
- Wie zijn die experts die dat beweren??Cas.v09-09-2026
- Is volgens X zelf aan de hand https://x.com/GlobalAffairs/status/2093130747796148634
RobinHeester29-08-2026 - Wapeniseert?? Dit is een erg onbetrouwbaar bericht. Niet alleen slecht vertaald, maar ook niet controleerbaar.Cas.v28-08-2026
- Niet mijn observatie dat de toeleveringsaanvoer stabiliseert.Cas.v26-08-2026

