ByteDance rolt zijn nieuwe audio- en videogeneratiemodel, Dreamina Seedance 2.0, uit naar zijn bewerkingsplatform CapCut.
Deze implementatie positioneert ByteDance als een belangrijke speler op de markt voor het genereren van AI-video’s, na het besluit van OpenAI om de inspanningen van de Sora-app terug te schroeven.
Volgens ByteDance stelt het model makers in staat video- en audio-inhoud op te stellen, te bewerken en te synchroniseren met behulp van aanwijzingen, afbeeldingen of referentievideo’s.
De uitrol zal in eerste instantie gericht zijn op CapCut-gebruikers in Brazilië, Indonesië, Maleisië, Mexico, de Filippijnen, Thailand en Vietnam. ByteDance verklaarde dat er geleidelijk extra markten zullen worden toegevoegd.
Het bedrijf kreeg eerder te maken met zorgen over intellectueel eigendom met betrekking tot het model, wat leidde tot een gerapporteerde pauze in de wereldwijde uitrol en kritiek uit Hollywood vanwege vermeende inbreuk op het auteursrecht. Dit zou de beperkte initiële marktbeschikbaarheid kunnen verklaren.
In China is Dreamina Seedance 2.0 beschikbaar in de Jianying-app van ByteDance.
Het videogeneratiemodel kan functioneren zonder referentiebeelden, waardoor makers scènes met een paar woorden kunnen beschrijven, zo kondigde ByteDance aan.
CapCut kan realistische texturen, beweging en verlichting weergeven vanuit verschillende visuele perspectieven en hoeken voor het model. Het bedrijf merkte op dat deze mogelijkheid bestaande beelden van makers zou kunnen verbeteren of corrigeren.
Gebruikers kunnen ook inhoudsideeën testen op basis van vroege concepten of schetsen voordat ze gaan filmen, aldus het bedrijf.
Dreamina Seedance 2.0 ondersteunt inhoudstypen zoals kookrecepten, fitnesstutorials, bedrijfsoverzichten en actiegerichte video’s, gebieden waar AI-videomodellen eerder problemen ondervonden, legt ByteDance uit.
Bij de lancering ondersteunt het model videoclips van maximaal 15 seconden in zes beeldverhoudingen.
Integratie in CapCut omvat functies zoals AI Video en generatietools zoals Video Studio. Het model zal zich ook uitbreiden naar ByteDance’s AI-generatieplatform, Dreamina, en zijn marketingplatform, Pippit.
ByteDance heeft veiligheidsbeperkingen geïmplementeerd om te voorkomen dat het model video’s genereert van afbeeldingen of video’s met echte gezichten vanwege de mogelijkheden voor het genereren van realistische inhoud. CapCut blokkeert ook het ongeoorloofd genereren van intellectueel eigendom.
Inhoud geproduceerd door Dreamina Seedance 2.0 zal een onzichtbaar watermerk bevatten om door AI gegenereerd materiaal te identificeren wanneer het buiten het platform wordt gedeeld. Deze functie zou kunnen helpen bij het behandelen van verwijderingsverzoeken van rechthebbenden, voegde ByteDance eraan toe.
ByteDance is van plan om tijdens de uitrol samen te werken met experts en creatieve gemeenschappen om de mogelijkheden van het model iteratief te verbeteren.
