Runway heeft onlangs onthuld zijn nieuwste software voor kunstmatige intelligentie, genaamd Gen-2 Runway AI, die een aanzienlijke technologische sprong voorwaarts markeert ten opzichte van zijn voorganger, Gen-1. Terwijl de vorige versie nieuwe video’s kon genereren door gegevens van bestaande te gebruiken, kan de Gen-2 Runway AI volledige video’s maken, uitsluitend op basis van tekstbeschrijvingen.
Het bedrijf werkt sinds september vorig jaar aan dit geavanceerde model en kondigt met trots aan dat dit nu het eerste openbaar beschikbare tekst-naar-video-model op de markt is dat in staat is om op realistische en consistente wijze nieuwe video’s te synthetiseren.
Genereer video’s met niets anders dan woorden. Als je het kunt zeggen, kun je het nu zien.
Introductie, tekst naar video. Met Gen-2.
Meer informatie op https://t.co/PsJh664G0Q pic.twitter.com/6qEgcZ9QV4
— Landingsbaan (@runwayml) 20 maart 2023
Gen-2 Runway AI kan video’s maken met behulp van tekstprompts
Door de indrukwekkende kenmerken van Gen-1 te combineren, waardoor het de compositie en stijl van een afbeelding of tekstprompt kon toepassen op de structuur van een bronvideo om een nieuwe te maken, is de Gen-2 Runway AI een belangrijke stap voorwaarts. Het kan nu volledig nieuwe video-inhoud produceren op basis van alleen tekstbeschrijvingen, wat een opmerkelijke prestatie is. Het webgebaseerde platform is in staat om video’s met een relatief hoge resolutie te genereren die, hoewel niet fotorealistisch, duidelijk de kracht van deze technologie aantonen. Vergeleken met wat er momenteel op de markt beschikbaar is, zijn de video’s geproduceerd door de Gen-2 Runway AI behoorlijk indrukwekkend.
“Diepe neurale netwerken voor beeld- en videosynthese worden steeds preciezer, realistischer en controleerbaarder. In een paar jaar tijd zijn we overgegaan van wazige afbeeldingen met een lage resolutie naar zowel zeer realistische als esthetische beelden, wat de opkomst van synthetische media mogelijk maakt”, stelt het bedrijf.
“Runway Research loopt voorop in deze ontwikkelingen en we zorgen ervoor dat de toekomst van contentcreatie zowel toegankelijk, controleerbaar als krachtig is voor gebruikers. Wij zijn van mening dat deep learning-technieken die worden toegepast op audiovisuele inhoud, kunst, creativiteit en ontwerptools voor altijd zullen veranderen.”
Hoewel de video’s die door de Gen-2 Runway AI worden gegenereerd, de werkelijke video’s nog niet naadloos kunnen vervangen, heeft de technologie een lange weg afgelegd vanaf het begin. Met verdere vooruitgang is het waarschijnlijk dat dit in de nabije toekomst mogelijk wordt, vooral als de technologie een vergelijkbaar traject volgt als tekst-naar-beeldgeneratoren zoals Midjourney.
Vorig jaar was Midjourney bijvoorbeeld niet in staat om afbeeldingen te maken die op betrouwbare wijze voor echte foto’s konden doorgaan. Met de lancering van versie 5 vorige week is dit echter veranderd, wat de snelle vooruitgang aantoont die wordt gemaakt op het gebied van door AI gegenereerde visuals. Als de Gen-2 Runway AI zich in een vergelijkbaar tempo blijft ontwikkelen, is het mogelijk dat het binnenkort video’s kan produceren die vrijwel niet van echt beeldmateriaal te onderscheiden zijn.
Het is belangrijk om te erkennen dat hoewel Runway het eerste bedrijf is dat deze technologie beschikbaar maakt voor het publiek, het niet het enige is dat werkt aan het genereren van tekst naar video. Zo experimenteert Google al een tijdje met deze technologie. Evenzo, net zoals er veel spelers zijn in de tekst-naar-beeld-sector, is het waarschijnlijk dat op het gebied van tekst-naar-video tal van concurrenten snel zullen verschijnen naarmate de technologie zich verder ontwikkelt. Als gevolg hiervan kunnen we de komende maanden en jaren een golf van nieuwe ontwikkelingen op dit gebied verwachten.
De nieuwste doorbraak van Runway’s Gen-2 Runway AI is een belangrijke stap voorwaarts voor tekst-naar-video-technologie. Hoewel de door de AI gegenereerde video’s nog niet fotorealistisch zijn, laten ze wel het potentieel van deze baanbrekende technologie zien.
Bovendien onderstreept het feit dat Runway deze technologie openbaar beschikbaar heeft gemaakt het belang van het democratiseren van AI en het toegankelijk maken voor een breder scala van mensen. Het is vermeldenswaard dat Runway niet de enige is op dit gebied en dat andere bedrijven zoals Google ook experimenteren met het genereren van tekst naar video. Naarmate de technologie vordert, kunnen we verwachten dat meer spelers de markt betreden en verdere ontwikkelingen op dit gebied.
Source: Gen-2 Runway AI: een grote sprong voorwaarts in tekst naar video