Naar inhoud springen

Apple maakt AI-video die snel op een stuurcommando kan reageren

Nieuws
bijgewerkt om
Een zwarte cinemacamera met een grote lens in een donkerblauwe studio met warm licht.
Apple heeft het onderzoeksmodel FastFrames gedeeld. Het model maakt AI-video terwijl de gebruiker het beeld kan bijsturen. De snelste versie haalt volgens Apple ongeveer 28 beelden per seconde op één Nvidia B200. Dat is een chip voor datacenters. De voorwaarden beperken het gebruik van de modelgewichten tot niet-commercieel onderzoek.

Een camerabeweging terwijl de video ontstaat

Stel dat je een virtuele camera door een ruimte laat rijden. Je ziet onderweg een doorgang en stuurt naar links. Voor zo’n toepassing moet het volgende stukje beeld snel klaarstaan. Anders merk je bij elke beweging dat je moet wachten. Apple laat in zijn onderzoek zien hoe een model steeds nieuwe videobeelden kan produceren terwijl er nog opdrachten binnenkomen.
In het oorspronkelijke FastFrames-onderzoek beschrijft Apple hoe de verwerking in fasen kan verlopen. De tekst die het beeld beschrijft, het berekenen van het volgende beeld en het omzetten daarvan naar pixels vragen ieder rekenwerk. Door delen van dat werk te laten overlappen, hoeft de verwerking van het ene beeld minder vaak op het vorige te wachten. Dat is vooral relevant voor een scène die doorloopt.

Wat Apple op de Nvidia-chips heeft gemeten

De kleine versie telt 1,3 miljard parameters. In Apples meting duurt het maken van een frame ongeveer 36 milliseconden bij 832 bij 480 pixels. De grotere versie telt 14 miljard parameters en doet volgens het onderzoek ongeveer 45 milliseconden over een frame. Voor die tweede meting gebruikte het team acht B200-chips. Apple deelt de opstelling en de afzonderlijke stappen in het modeldossier op Hugging Face.
De tijd tot een beeld op je scherm hangt ook af van de rest van de toepassing. Denk aan het versturen van een opdracht, het opbouwen van de scène en de verbinding met de machine die de video maakt. De gemeten snelheid vertelt daarom vooral iets over de opstelling van de onderzoekers. Wie op een gewone laptop of telefoon wil kijken, heeft een dienst nodig die het zware rekenwerk elders doet of een model dat geschikt is voor die hardware.

Wat je met de gedeelde gewichten mag doen

Apple publiceert de gewichten zodat onderzoekers ze kunnen downloaden en het werk kunnen bestuderen. De onderzoekslicentie sluit commerciële exploitatie, productontwikkeling en gebruik in commerciële producten uit. Een studio die interactieve scènes aan klanten wil leveren, moet dus eerst een model kiezen waarvan de voorwaarden die toepassing toelaten.
De publicatie maakt deel uit van Apples onderzoek naar videogeneratie. Wie zoekt naar functies die al op een eigen toestel beschikbaar zijn, kan in onze gids over Apple Intelligence in Nederland de huidige beschikbaarheid per toestel en taal terugvinden. Voor het maken van losse clips bestaat er al een andere route, zoals Google Veo 3 voor AI-video met geluid.
De open vraag is hoeveel van die snelheid overeind blijft in een echte toepassing. Bij een interactieve scène tellen ook de wachttijd bij de start, de stabiliteit van het beeld tijdens lange bewegingen en de hoeveelheid rekenkracht per gebruiker. Met de gedeelde modellen kunnen onderzoekers die onderdelen afzonderlijk meten.
De getoonde meetpunten gelden bij een vaste beeldgrootte. Als een maker meer pixels of scherpere details wil, kan de belasting van dezelfde chip veranderen. Voor interactieve video is dat een aparte afweging, want een scherpere scène is minder bruikbaar wanneer een stuurcommando merkbaar later aankomt.
loading

Populair nieuws

Laatste reacties

Loading