3D-modelgeneratoren van OpenAI Point-E kunnen de volgende innovatie zijn die het gebied van AI op zijn kop zet. Point-E, een machine learning-systeem dat een 3D-object genereert op basis van een tekstprompt, werd deze week door OpenAI voor het publiek beschikbaar gesteld.
Een artikel dat is gepubliceerd samen met de code basis beweert dat Point-E in één tot twee minuten 3D-modellen kan maken op een enkele Nvidia V100 GPU.
In de conventionele zin produceert OpenAI Point-E geen 3D-objecten. In plaats daarvan creëert het puntenwolken, dit zijn afzonderlijke verzamelingen gegevenspunten in de ruimte die 3D-vormen weerspiegelen; vandaar de speelse afkorting. Vanuit een computationeel perspectief zijn puntenwolken eenvoudiger te maken, maar ze zijn momenteel een groot nadeel van OpenAI Point-E omdat ze de fijnkorrelige vorm of textuur van een object niet kunnen vastleggen.
Het OpenAI Point-E-team heeft een extra AI-systeem getraind om wolken om te zetten in meshes om deze beperking te omzeilen. In het rapport wijzen ze er echter op dat het model af en toe specifieke itemdetails mist, wat resulteert in blokkerige of vervormde vormen.
OpenAI Point-E kan binnen enkele seconden 3D-modellen genereren
OpenAI Point-E bestaat uit twee modellen: een tekst-naar-beeld-model en een beeld-naar-3D-model, naast het mesh-genererende model, dat een op zichzelf staand model is. Het tekst-naar-beeld-model is getraind op getagde afbeeldingen om de relaties tussen woorden en visuele concepten te begrijpen, net zoals generatieve kunstsystemen zoals OpenAI’s eigen DALL-E 2 en Stable Diffusion. Aan de andere kant werd het beeld-naar-3D-model geleerd om effectief tussen de twee te vertalen door een reeks foto’s gekoppeld aan 3D-objecten te krijgen.
Point-text-to-image E’s model maakt een synthetisch gerenderd item van een tekstprompt, zoals “een 3D-geprint tandwiel, een enkel tandwiel, 3 inch in diameter en een halve inch dik”, en voert het naar de afbeelding-naar-afbeelding. -3D-model, dat een puntenwolk creëert.
OpenAI Point-E zou gekleurde puntenwolken kunnen genereren die vaak overeenkomen met woordprompts na het trainen van de modellen op een dataset van “enkele miljoenen” 3D-objecten en gerelateerde metadata, aldus de OpenAI-onderzoekers. Het is niet foutloos; af en toe kan het Point-image-to-3D E-model de afbeelding van het tekst-naar-afbeelding-model niet interpreteren, wat leidt tot een vorm die niet overeenkomt met de tekstprompt. Toch beweert het OpenAI-team dat het vele malen sneller is dan de eerdere state-of-the-art.
“Hoewel onze methode bij deze evaluatie slechter presteert dan geavanceerde technieken, produceert ze monsters in een klein deel van de tijd,”
“Dit zou het praktischer kunnen maken voor bepaalde toepassingen, of zou de ontdekking van 3D-objecten van hogere kwaliteit mogelijk kunnen maken.”
-OpenAI-team
OpenAI Point-E zou een krachtige tool kunnen zijn voor het ontwerpen van projecten
Wat zijn precies de toepassingen van OpenAI Point E? De door Point-E gecreëerde puntenwolken kunnen volgens de OpenAI-onderzoekers echter worden gebruikt om echte objecten te maken, bijvoorbeeld door middel van 3D-printen. Als het eenmaal wat verfijnder is, kan het systeem dankzij de toevoeging van het mesh-converting-model ook worden gebruikt in productieprocessen voor games en animaties.
Hoewel het misschien wel het meest recente bedrijf is dat de markt voor het genereren van 3D-objecten betreedt, is OpenAI zeker niet het eerste, zoals eerder werd gezegd. Een meer ontwikkelde versie van Dream Fields, een generatieve 3D-technologie die Google in 2021 onthulde, werd eerder dit jaar uitgebracht onder de naam DreamFusion.
DreamFusion heeft, in tegenstelling tot Dream Fields, geen voorafgaande training nodig. Daarom kan het 3D-modellen van objecten maken zonder 3D-gegevens. Terwijl 2D-kunstgeneratoren momenteel in het middelpunt van de belangstelling staan, heeft modelsynthetiserende AI het potentieel om de volgende grote industriële disruptor te worden. 3D-modellen worden vaak gebruikt op het gebied van wetenschap, interieurontwerp, architectuur, film en televisie. Ingenieurs gebruiken modellen als ontwerpen voor nieuwe apparatuur, voertuigen en constructies, terwijl architectenbureaus ze gebruiken om voorgestelde gebouwen en landschappen te demonstreren.
Source: OpenAI Point-E genereert 3D-modellen met de kracht van AI
