Meta onthult SAM 3D en laat voorbeelden zien in nieuwe video

Meta heeft vandaag SAM 3D gepresenteerd. Het is een nieuwe generatie 3D-modellen die een grote stap vooruit zet in het begrijpen en reconstrueren van de fysieke wereld. Het bedrijf combineert twee krachtige modellen. SAM 3D Objects voor het reconstrueren van objecten en scènes. SAM 3D Body voor het nauwkeurig reconstrueren van menselijke houdingen en vormen. Volgens Meta vormt deze release de basis voor nieuwe toepassingen in augmented reality, robotica, games en interactieve media.

Meta introduceert SAM 3D als uitbreiding op de bestaande SAM-modellen voor beeldsegmentatie. De nieuwe technologie zet platte foto’s om in gedetailleerde 3D-modellen die direct manipuleerbaar zijn. Gebruikers kunnen objecten selecteren en draaien, scènes reconstrueren en mensen in 3D bekijken. Dit alles werkt via de nieuwe Segment Anything Playground. Iedereen kan daar eigen foto’s uploaden om realtime 3D-modellen te genereren.

Volgens Meta vormt SAM 3D de eerste brede poging om 3D-reconstructie van echte, dagelijkse foto’s schaalbaar te maken. De modellen zijn getraind op miljoenen afbeeldingen. Daardoor zijn ze beter bestand tegen complexe situaties zoals schaduwen, occlusies en indirect zicht.

Met SAM 3D Objects probeert Meta een hardnekkige beperking in AI-onderzoek op te lossen. Goede 3D-data uit de echte wereld is schaars en kostbaar om te maken. Daardoor trainen veel bestaande 3D-modellen vooral op synthetische objecten in gecontroleerde omgevingen. De resultaten ogen mooi, maar functioneren slecht in rommelige, realistische scenario’s.

Meta lost dit op met een nieuwe data-engine. Annotatoren beoordelen meerdere 3D-modellen van dezelfde scène, waarna experts de moeilijkste voorbeelden corrigeren. Hierdoor kon Meta bijna 1 miljoen echte afbeeldingen van 3D-informatie voorzien en meer dan 3 miljoen mesh-opties genereren. Het bedrijf gebruikt een trainingsstrategie die lijkt op die van grote taalmodellen. Eerst synthetisch pre-trainen, daarna verfijnen op realistische data.

Het resultaat is een systeem dat in voorkeurstesten een winstverhouding van 5 op 1 behaalt ten opzichte van eerdere methoden. Gebruikers krijgen in enkele seconden een volledige 3D-reconstructie met texturen en realistische proporties.

Het tweede model in de release, SAM 3D Body, richt zich op menselijke poses en lichaamssamenstelling. Meta gebruikt hiervoor het nieuwe Meta Momentum Human Rig. Dit scheidt het skelet van de zachte lichaamsvorm, wat zorgt voor meer interpretatie en flexibiliteit.

Meta trainde het model op circa 8 miljoen hoge kwaliteit-afbeeldingen. Hiermee verwerkt SAM 3D Body complexe houdingen, ongebruikelijke kleding en situaties waarin mensen gedeeltelijk worden bedekt. Gebruikers kunnen via segmentatiemaskers of keypoints precies sturen wat het model moet reconstrueren.

Meta verwerkt de nieuwe modellen direct in eigen producten. De belangrijkste toepassing is de View in Room-functie van Marketplace. Gebruikers kunnen meubels zoals tafels en lampen virtueel bekijken in hun eigen kamer. De functie maakt gebruik van SAM 3D en SAM 3 voor een realistische plaatsing en schaal.

Meta verwacht dat de modellen vooral waarde gaan bieden in robotica, filmproductie, sportwetenschap en interactieve media. Het bedrijf deelt naast checkpoints ook trainingsdata, benchmarks en een open source-parametermodel voor menselijke reconstructie.