NVIDIA's nieuwe AI project: RTX, Microsoft en focus op gaming

Vandaag heeft NVIDIA op de Computex-beurs nieuwe NVIDIA RTX-technologie aangekondigd, ontworpen om AI-assistenten en meer te ondersteunen op de nieuwste GeForce RTX AI-laptops.

NVIDIA presenteerde Project G-Assist, een AI-assistent technologie-demo aangedreven door RTX, die contextbewuste hulp biedt voor PC-games en apps. Deze demo werd onthuld met het spel ARK: Survival Ascended van Studio Wildcard. Daarnaast introduceerde NVIDIA de eerste op PC-gebaseerde NVIDIA NIM-inference microservices voor het NVIDIA ACE-platform voor digitale mensen.

Deze technologieën worden mogelijk gemaakt door de NVIDIA RTX AI Toolkit, een nieuwe reeks tools en software development kits (SDK's) die ontwikkelaars helpen bij het optimaliseren en inzetten van grote generatieve AI-modellen op Windows-pc's. Deze innovaties versnellen meer dan 500 pc-toepassingen en games en worden ondersteund door 200 laptopontwerpen van verschillende fabrikanten.

Nieuw aangekondigde RTX AI-laptops van ASUS en MSI bevatten tot GeForce RTX 4070 GPU's en energiezuinige systemen-op-een-chip met Windows 11 AI PC-mogelijkheden. Deze Windows 11 AI-pc's krijgen een gratis update naar Copilot+ PC-ervaringen wanneer deze beschikbaar zijn.

"Met de lancering van de RTX Tensor Core GPU's en NVIDIA DLSS in 2018 heeft NVIDIA het tijdperk van AI-pc's ingeluid," zei Jason Paul, vice-president consumenten AI bij NVIDIA. "Nu, met Project G-Assist en NVIDIA ACE, ontsluiten we de volgende generatie AI-ervaringen voor meer dan 100 miljoen RTX AI-pc-gebruikers."

AI-assistenten staan op het punt om de spel- en in-app-ervaringen te transformeren, van het bieden van spelstrategieën en het analyseren van multiplayer-herhalingen tot het assisteren bij complexe creatieve workflows. Project G-Assist biedt een blik op deze toekomst. Dat meldt Nvidia in een blogpost.

PC-games bieden uitgebreide universums om te verkennen en complexe mechanica om te beheersen, wat zelfs voor de meest toegewijde gamers uitdagend en tijdrovend kan zijn. Project G-Assist streeft ernaar spelkennis binnen handbereik van spelers te brengen met behulp van generatieve AI.

Project G-Assist neemt stem- of tekstinvoer van de speler, samen met contextuele informatie van het spelscherm, en voert de gegevens door AI-visionmodellen. Deze modellen verbeteren het contextbewustzijn en de app-specifieke kennis van een groot taalmodel (LLM) dat gekoppeld is aan een spelkennisdatabase en genereren vervolgens een op maat gemaakt antwoord, geleverd als tekst of spraak.

NVIDIA werkte samen met Studio Wildcard om de technologie te demonstreren met ARK: Survival Ascended. Project G-Assist kan helpen bij het beantwoorden van vragen over wezens, items, lore, doelen, moeilijke bazen en meer. Omdat Project G-Assist contextbewust is, personaliseert het zijn antwoorden op de speelsessie van de speler.

Bovendien kan Project G-Assist het spelsysteem van de speler configureren voor optimale prestaties en efficiëntie. Het kan inzichten bieden in prestatiestatistieken, grafische instellingen optimaliseren afhankelijk van de hardware van de gebruiker, een veilige overklok toepassen en zelfs intelligent het stroomverbruik verminderen terwijl een prestatiedoel behouden blijft.

NVIDIA ACE-technologie voor het aandrijven van digitale mensen komt nu naar RTX AI-pc's en werkstations met NVIDIA NIM — inference microservices die ontwikkelaars in staat stellen om implementatietijden van weken tot minuten te verminderen. ACE NIM-microservices leveren hoogwaardige inference die lokaal op apparaten draait voor natuurlijke taalverwerking, spraaksynthese, gezichtsanimatie en meer.

Op COMPUTEX zal de game-debuut van NVIDIA ACE NIM op de pc worden getoond in de Covert Protocol tech-demo, ontwikkeld in samenwerking met Inworld AI. Het toont nu NVIDIA Audio2Face en NVIDIA Riva automatische spraakherkenning die lokaal op apparaten draaien.

Microsoft en NVIDIA werken samen om ontwikkelaars te helpen nieuwe generatieve AI-mogelijkheden naar hun native en web-apps voor Windows te brengen. Deze samenwerking zal applicatieontwikkelaars voorzien van eenvoudige toegang tot GPU-versnelde small language models (SLM's) via API's die retrieval-augmented generation (RAG) functionaliteiten mogelijk maken die lokaal draaien als onderdeel van Windows Copilot Runtime.

SLM's bieden enorme mogelijkheden voor Windows-ontwikkelaars, waaronder samenvatting van inhoud, inhoudsgeneratie en taakautomatisering. RAG-functionaliteiten breiden SLM's uit door AI-modellen toegang te geven tot domeinspecifieke informatie die niet goed vertegenwoordigd is in basis modellen. RAG API's stellen ontwikkelaars in staat om toepassing specifieke gegevensbronnen te benutten en het gedrag en de mogelijkheden van SLM's af te stemmen op de behoeften van de toepassing.

Deze AI-mogelijkheden zullen worden versneld door NVIDIA RTX GPU's, evenals AI-versnellers van andere hardwareleveranciers, en bieden eindgebruikers snelle, responsieve AI-ervaringen in het hele Windows-ecosysteem.

Om ontwikkelaars te helpen toepassingsspecifieke AI-modellen te bouwen die op pc's draaien, introduceert NVIDIA de RTX AI Toolkit — een suite van tools en SDK's voor modelaanpassing, optimalisatie en implementatie op RTX AI-pc's. De RTX AI Toolkit zal later deze maand beschikbaar zijn voor bredere toegang voor ontwikkelaars.

Ontwikkelaars kunnen een voorgetraind model aanpassen met open-source QLoRa tools. Vervolgens kunnen ze de NVIDIA TensorRT model optimizer gebruiken om modellen te kwantificeren om tot 3x minder RAM te gebruiken. NVIDIA TensorRT Cloud optimaliseert vervolgens het model voor maximale prestaties over de RTX GPU-reeksen. Het resultaat is tot 4x snellere prestaties vergeleken met het voorgetrainde model.

De nieuwe NVIDIA AI Inference Manager SDK, nu beschikbaar in vroege toegang, vereenvoudigt de implementatie van ACE naar pc's. Het preconfigureert de pc met de benodigde AI-modellen, engines en afhankelijkheden en coördineert AI-inferentie naadloos over pc's en de cloud.

NVIDIA integreert ook RTX AI-versnelling in apps voor makers, modders en video-enthousiastelingen. Afgelopen jaar introduceerde NVIDIA RTX-versnelling met TensorRT voor een van de meest populaire Stable Diffusion-gebruikersinterfaces, Automatic1111. Vanaf deze week zal RTX ook de zeer populaire ComfyUI versnellen, wat een verbetering van de prestaties tot 60% oplevert ten opzichte van de huidige versie, en 7x snellere prestaties vergeleken met de MacBook Pro M3 Max.

NVIDIA RTX Remix is een modding-platform voor het remasteren van klassieke DirectX 8- en DirectX 9-games met volledige ray tracing, NVIDIA DLSS 3.5 en fysiek nauwkeurige materialen. RTX Remix omvat een runtime-renderer en de RTX Remix Toolkit-app, die het modden van game-assets en materialen vergemakkelijkt.

Deze maand zal NVIDIA de RTX Remix Toolkit open source maken, waardoor modders wereldwijd nog verbluffender RTX-remasters kunnen bouwen.

NVIDIA RTX Video, de populaire AI-aangedreven super-resolutiefunctie die wordt ondersteund in de browsers Google Chrome, Microsoft Edge en Mozilla Firefox, is nu beschikbaar als een SDK voor alle ontwikkelaars, zodat zij AI voor upscaling, scherping, compressie-artefactreductie en hoog dynamisch bereik (HDR) conversie kunnen integreren.