Het veld van AI heeft een grote verandering ondergaan met de introductie van CogVideoX-5B. Dit AI-model, ontwikkeld door onderzoekers van Tsinghua University en Zhipu AI, zou de manier waarop video’s worden gemaakt en het digitale contentlandschap kunnen veranderen. Wat is CogVideoX-5B en waarom is het zo populair?
CogVideoX-5B is anders omdat het toegankelijk is en indrukwekkende mogelijkheden heeft. Dit model kan hoogwaardige video’s tot zes seconden lang maken van simpele tekst. Dit heeft grote implicaties. Het model is open source, dus ontwikkelaars wereldwijd kunnen het gebruiken. Dit maakt het voor iedereen makkelijker om video’s te maken.
CogVideoX-5B をお試し中。https://t.co/e3bNKp3adp
Een pluizig wit katje, met een roze lint om zijn nek, speelt op een kussen bij een zonnig raam, zijn zachte vacht gloeit in het licht. De scène begint op een kleine afstand, en zoomt geleidelijk in terwijl het katje een klein… foto.twitter.com/1x1y3mqFA6
— 布留川英一 / Hidekazu Furukawa (@npaka123) 28 augustus 2024
Wat zorgt ervoor dat het werkt in de CogVideoX-5B?
De CogVideoX-5B model heeft 5 miljard parametersHet model kan video’s produceren op Resolutie van 720×480 En 8 beelden per seconde. Dit model is niet het beste, maar het is nog steeds goed, vooral omdat het open source is.
Het succes van de CogVideoX-5B is te danken aan verschillende technische innovaties. Het model maakt gebruik van een 3D Variationele Autoencoder (VAE) om videodata te comprimeren, waardoor het makkelijker wordt om hoogwaardige output. Het gebruikt ook een “deskundige transformator“met adaptieve LaagNormwaardoor het model tekst met meer nuance kan interpreteren, wat resulteert in nauwkeurigere en samenhangendere video’s.
Het besluit om CogVideoX-5B als open-source uit te brengen is een grote stap voor AI. De onderzoekers van Tsinghua-universiteit En Zhipu-AI hebben hun code en modelgewichten openbaar gemaakt, waardoor het voor anderen gemakkelijker is om geavanceerde videogeneratietechnologie te gebruiken. Dit betekent dat ontwikkelaars nu kunnen experimenteren met door AI gegenereerde videocontent. Deze open-sourcebenadering kan leiden tot nieuwe tools en toepassingen in veel sectoren.
Gemaakt door CogVideoX-5B! foto.twitter.com/Y22zcg8fBA
— F-AI (@faiAI0) 28 augustus 2024
CogVideoX-5B: Hoe het zich verhoudt en wie het heeft gemaakt
De CogVideoX-5B is niet het eerste tekst-naar-videomodel, maar het blijkt een van de meest invloedrijke te zijn. Het presteerde beter dan concurrenten als VideoCrafter-2.0 En OpenSora. Dit komt door nieuwe technieken die de ontwikkelaars gebruiken. Onderzoekers van Tsinghua University en Zhipu-AI hebben een hulpmiddel ontwikkeld dat de manier waarop digitale content wordt geproduceerd en geconsumeerd, kan veranderen.
Aan de slag met CogVideoX-5B
U kunt het CogVideoX-5B-model gratis gebruiken en ermee experimenteren. Hier is een eenvoudige handleiding om aan de slag te gaan:
- Bezoek de GitHub-repository: De CogVideoX-5B-code en modelgewichten staan op GitHubDownload ze naar uw computer.
- Stel uw omgeving in: Zorg ervoor dat u de juiste tools hebt om het model uit te voeren. Dit kan specifieke versies van Python en bibliotheken zoals PyTorch.
- Het model uitvoeren: Voer tekstprompts in en genereer video’s met behulp van de instructies in de repository.
- Experimenteren en innoveren: Zodra u de basis onder de knie hebt, kunt u verschillende tekstprompts uitproberen om te zien wat het model kan.
CogVideoX-5B (txt2vid) is toegevoegd aan de gratis Blender-add-on, Pallaidium: #b3d foto.twitter.com/ynBupL2TKT
—tintwotin (@tintwotin) 27 augustus 2024
Hoe CogVideoX-5B online te proberen
Als je CogVideoX-5B niet wilt downloaden, kun je het online proberen via Hugging Face. Hier is een handleiding over hoe je de demo kunt gebruiken:
- Bezoek de demopagina: Ga naar de CogVideoX-5B Knuffelende Gezichtsruimte.
- Voer uw tekstprompt in: In de “Snel” box, beschrijf de video die u wilt genereren. Houd het onder de 200 woorden voor de beste resultaten.
- Verbeter uw prompt (optioneel): Klik op “Prompt verbeteren” om uw invoer te verbeteren en de oorspronkelijke prompt te overschrijven.
- Stel een inferentie-seed in (optioneel): Om de willekeur van de videogeneratie te regelen, voert u een positief getal in het vak “Inference Seed” in. Als u de voorkeur geeft aan een willekeurige seed, laat u de waarde als volgt staan:
-1.
- Extra functies inschakelen (optioneel):
- Superresolutie: Selecteer dit vakje om de video te vergroten van 720×480 naar 1440×960.
- Frame-interpolatie: Schakel dit in om de video-uitvoer te verbeteren door het aantal frames per seconde te verhogen (van 8 FPS naar 16 FPS).
- Genereer uw video: Wanneer u klaar bent, klikt u op ‘Video genereren’. Het model maakt een korte video op basis van uw prompt.
- Bekijk de video: Bekijk na het genereren een preview van de video op de pagina. Pas de invoer aan en probeer het opnieuw om het gewenste resultaat te krijgen.
CogVideoX-5B en soortgelijke producten
De CogVideoX-5B is een ander AI-model dat verandert wat mogelijk is in digitale contentcreatie. Andere opvallende modellen zijn onder andere de videogeneratietools van Runway, Luma AI, VideoCrafter2en Pika Labs. Elk model heeft zijn sterke punten, maar de nieuwe AI is open-source, wat het gebruiksvriendelijker maakt en meer mensen laat bijdragen aan de ontwikkeling ervan.
Dit bedrijf is een belangrijke stap voorwaarts in AI-gegenereerde video. De open-sourcebenadering maakt het voor iedereen gemakkelijker om te gebruiken en helpt het te blijven verbeteren. Naarmate meer en meer mensen het gaan gebruiken, zal het maken van video’s diverser, dynamischer en toegankelijker worden.
Bron van de hoofdafbeelding: CogVideoX
Source: Hoe CogVideoX-5B de videoproductie voorgoed zal veranderen