DLSS 5 verandert hoe je game eruitziet: zo werkt de AI

Met DLSS 5 gebruikt NVIDIA generatieve AI om de belichting en het uiterlijk van materialen in games te veranderen. Denk aan hoe licht door bladeren valt, hoe huid op licht reageert of hoe stof glanst. Het doel is een levensechter beeld, maar dat vraagt ook rekenkracht en kan invloed hebben op de visuele stijl van een spel.

DLSS staat voor Deep Learning Super Sampling. De naam komt uit de wereld van beeldopschaling, maar NVIDIA gebruikt hem voor verschillende technieken. Sommige helpen de videokaart om efficiënter beelden te maken. Andere veranderen de beeldkwaliteit of voegen extra beelden toe.

Met DLSS 5 introduceert NVIDIA 3D-Guided Neural Rendering: een AI-model dat het bestaande gamebeeld als uitgangspunt neemt en aanvullende belichting en materiaaldetails genereert. Dat verschilt van de andere functies binnen de DLSS-technologie van NVIDIA.

Ook eerdere DLSS-functies gebruiken dus AI en maken beeldinformatie die niet rechtstreeks is gerenderd. Het verschil zit in de taak: DLSS 5 gebruikt daarnaast aangeleerde kennis over hoe de echte wereld eruitziet om de uiteindelijke weergave te veranderen.

De game-engine, de software die de spelwereld aanstuurt en weergeeft, blijft de basis leveren. Die berekent waar objecten staan, hoe personages bewegen en hoe de scène eruitziet. Volgens NVIDIA’s uitleg over neural rendering verwerkt DLSS 5 het gerenderde beeld vervolgens in een aanvullende stap.

Stel dat een personage bij een raam staat. De game bepaalt de vorm van het gezicht, de kleding en de positie ten opzichte van het raam. Het AI-model kan vervolgens de lichtwerking op de huid en de glans van de kleding aanpassen. Het maakt daarmee niet een nieuw 3D-personage, maar verandert hoe het bestaande personage op het scherm verschijnt.

In de technische beschrijving van DLSS 5 legt NVIDIA uit dat het model is getraind met visuele gegevens van de echte wereld. Het gebruikt een gespecialiseerd diffusiemodel, een type generatieve AI dat beelden kan maken op basis van aangeleerde patronen. DLSS 5 produceert daarmee in één generatiestap een aangepast gamebeeld.

Daarvoor gebruikt het model het huidige gamebeeld, bewegingsvectoren, informatie uit eerdere beelden en instellingen van de ontwikkelaar. Bewegingsvectoren beschrijven hoe onderdelen van het beeld bewegen. Die helpen om een toegevoegd detail bij hetzelfde oppervlak te houden wanneer de camera draait.

De beelden moeten immers niet alleen afzonderlijk overtuigen, maar ook op elkaar aansluiten. Een lichtreflectie die bij iedere camerabeweging verspringt, kan de illusie juist verbreken. NVIDIA ontwerpt het model daarom voor voorspelbare uitvoer en samenhang tussen opeenvolgende beelden. Dat ontwerpdoel betekent niet dat beeldfouten uitgesloten zijn.

Bij lokaal spelen voert de ondersteunde videokaart deze AI-stap uit. De speler hoeft geen tekstprompt te schrijven en er gaat niet voor ieder beeld een verzoek naar een losse online beeldgenerator.

Dit is een specifieke toepassing van AI in games: het model werkt tijdens het spelen aan de weergave. Het schrijft geen nieuwe missies en bestuurt geen tegenstanders. Ook AI-personages waarmee je gesprekken voert gebruiken andere systemen.

Een spel hoeft niet op een filmopname te lijken om er goed uit te zien. Makers kunnen bewust kiezen voor vlakke kleuren, overdreven gezichten of onnatuurlijke belichting. Meer huiddetail of zachter licht kan dan juist afbreuk doen aan de gekozen stijl.

Ook een onveranderde 3D-vorm kan anders overkomen door nieuwe schaduwen, glans of huidtinten. Het behoud van de geometrie is daarom niet hetzelfde als het behoud van iedere artistieke keuze. De relevante vraag is niet alleen hoeveel detail AI toevoegt, maar of dat detail bij het spel past.

NVIDIA geeft ontwikkelaars hiervoor instellingen voor artistieke controle. Zij kunnen verschillende modellen kiezen, de sterkte van detail en lichtwerking aanpassen en met maskers bepalen welke onderdelen van het beeld de AI mag veranderen.

De techniek vervangt ook niet automatisch raytracing of pathtracing. Die berekenen hoe licht zich door een virtuele scène verplaatst. Neural rendering bouwt daarop voort met aangeleerde visuele patronen. Een aannemelijke lichtwerking uit een AI-model is niet hetzelfde als een afzonderlijk berekend lichtpad.

DLSS 5 is geen garantie op meer beelden per seconde. De neural-renderingfunctie voegt een AI-berekening aan het bestaande renderwerk toe. Daardoor kan de framerate juist dalen. Hoe groot dat effect is, hangt af van onder meer de videokaart, de resolutie, het gebruikte model en de manier waarop de game de functie toepast.

Dat verschilt van Super Resolution. Daarbij rendert de game op een lagere resolutie, waarna AI het beeld reconstrueert op de uitvoerresolutie. De besparing op het oorspronkelijke renderwerk kan groter zijn dan de kosten van die reconstructie. Bij neural rendering gaat het juist om een aanvullende stap voor het uiterlijk van het beeld.

De functies kunnen samenwerken, maar een combinatie van instellingen vertelt niet hoeveel iedere functie afzonderlijk bijdraagt. Een vergelijking met alle DLSS-opties aan tegenover alles uit is dus geen zuivere test van neural rendering.

Frame Generation vraagt om nog een onderscheid. Extra tussenbeelden kunnen beweging vloeiender maken, zonder dat de game in dezelfde verhouding vaker nieuwe invoer verwerkt. Daarom betekent meer fps dankzij AI niet automatisch een sneller reagerende game. Kijk naast de fps-teller ook naar de framerate vóór framegeneratie en de vertraging tussen een muisbeweging en het zichtbare resultaat.

Verder moeten zowel de game als de hardware de gewenste functie ondersteunen. Dat een videokaart Super Resolution aankan, betekent niet dat zij alle andere DLSS-onderdelen ondersteunt. Controleer daarvoor het officiële DLSS-compatibiliteitsoverzicht en de informatie van de gameontwikkelaar.

Vergelijk neural rendering aan en uit in dezelfde scène en laat de andere grafische instellingen gelijk. Beweeg de camera, bekijk kleine details en let op veranderingen in gezichten, schaduwen en reflecties. Een overtuigend stilstaand beeld is pas een bruikbare verbetering als de weergave ook tijdens het spelen stabiel blijft en de besturing prettig aanvoelt.