Een team van Apple-onderzoekers heeft een nieuw raamwerk ontwikkeld voor het weergeven van 3D-scènes met hoge resolutie, bekend als LGTM (Less Gaussians, Texture More). Dit raamwerk richt zich op de inefficiëntie van bestaande feed-forward 3D Gaussiaanse splatmethoden die worstelen met hoge resoluties.
Naarmate de resolutie toeneemt, worden traditionele feed-forward-methoden onbetaalbaar, waardoor de haalbaarheid van het genereren van 3D-scènes met hoge resolutie wordt belemmerd. LGTM heeft tot doel de mogelijkheden van bestaande systemen te verbeteren door de geometrische complexiteit te scheiden van de weergaveresolutie, waardoor een eenvoudigere geometrie mogelijk wordt en tegelijkertijd gedetailleerde texturen worden toegevoegd.
Het LGTM-framework bouwt voort op eerder vastgestelde feed-forward-methoden door textuurvoorspellingen bovenop geometrische structuren te leggen. Onderzoekers hebben het model getraind met behulp van beelden met een lage resolutie die zijn gevalideerd aan de hand van grondwaarheden met een hoge resolutie, waardoor de gegenereerde geometrie accuraat bleef. Bovendien zorgt een tweede netwerk dat zich richt op gedetailleerde texturen van afbeeldingen met hoge resolutie ervoor dat het systeem visueel rijke resultaten kan produceren.
Deze innovatie zou een aanzienlijke impact kunnen hebben op de Apple Vision Pro-headset, die beschikt over beeldschermen met in totaal ongeveer 23 miljoen pixels. De huidige feed-forward-methoden worden bij zulke hoge resoluties geconfronteerd met beperkingen, wat leidt tot rekenknelpunten bij het snel en nauwkeurig genereren van scènes. LGTM zou vloeiendere prestaties en scherpere beelden kunnen faciliteren in toepassingen die scèneweergave met hoge resolutie vereisen.
Door LGTM in te zetten, kan Apple gebruikers meer meeslepende omgevingen en verbeterde passthrough-ervaringen bieden, terwijl de verwerkingsvereisten worden verminderd. De LGTM-projectpagina biedt demonstratiemethoden zoals NoPoSplat, DepthSplat en Flash3D, waarmee verbeterde resultaten worden getoond in vergelijking met eerdere technieken.
Voorbeeldvideo’s en afbeeldingen van het project illustreren het vermogen van LGTM om rijkere details en resultaten te leveren die dichter bij de grondwaarheden met hoge resolutie liggen, wat de potentiële voordelen ervan in praktische toepassingen aantoont.
