Adobe stapt over op generatieve AI voor video in Premiere met Firefly, dat momenteel beschikbaar is in Premiere Pro. Vandaag debuteert het Firefly Video Model van het bedrijf, dat eerder dit jaar werd geplaagd, officieel. In de nieuwe bètatools kunnen gebruikers bijvoorbeeld automatisch video’s maken van tekstprompts of afbeeldingen of bestaande clips uitbreiden. Adobe’s zoektocht naar AI-ondersteunde videobewerking begint vandaag en heeft tot doel de workflows voor alle videomakers te vereenvoudigen.
De ster van de show is Generative Extend, een bètatool die nu beschikbaar is in Premiere Pro. Deze functie lost een veelvoorkomend probleem op: net iets te korte clips. AI is ideaal voor kleine aanpassingswerkzaamheden aan het begin of einde van beeldmateriaal, omdat het deze met meer dan twee seconden kan verlengen. Het doet dat niet alleen; Het kan ook mid-shot-problemen corrigeren, zoals verschuivende ooglijnen of zelfs willekeurige bewegingen, wat kleine oplossingen zijn, maar die normaal gesproken opnieuw moeten worden gedaan.
Adobe’s nieuwste truc in Premiere Pro
De Door Adobe Firefly aangedreven “Generative Extend” tool opent nieuwe mogelijkheden voor creatieven. Het is allemaal binnen handbereik als je een paar seconden nodig hebt om een clip samen te stellen of als je een beetje audio wilt mixen. Maar de tool heeft zijn beperkingen. Je krijgt alleen uitgebreide beelden (buiten de twee seconden duurt om een afbeelding op dit apparaat te maken) tot maximaal 1080p bij 24 FPSen dat beeldmateriaal is beperkt. Slecht is ook de audio, waarbij omgevingsgeluid en dergelijke slechts tot tien seconden worden verlengd, waardoor gesproken dialoog en muziek onaangetast blijven.
Hoewel deze beperkingen “Generative Extend” wellicht beter geschikt maken voor kleine aanpassingen in plaats van grote bewerkingen, kan het gebruikers ervan weerhouden kleine problemen opnieuw op te lossen. Kortom, het is een ideale snelle oplossing voor diegenen die dingen willen laten werken zonder dat ze terug hoeven te reizen naar het nieuwe begin.
Adobe heeft buiten Premiere Pro nog twee tools gelanceerd: de Adobe Firefly-webapp bevindt zich nu in de bètafase Tekst-naar-video En Afbeelding-naar-video. Met deze tools, aangekondigd in september, kunnen gebruikers korte videoclips maken op basis van tekstprompts of op basis van stilstaande beelden. Ze kunnen zelfs met camera-achtige tabbladen rommelen terwijl ze de video’s aanpassen met behulp van hoeken, beweging en opnameafstand.
Tekst-naar-video: een nieuw tijdperk in videocreatie
Net als vergelijkbare AI-videogeneratoren volgt de Text-to-Video-tool een bekend patroon. Het enige wat gebruikers hoeven te doen is een beschrijving invoeren van de gewenste videoclip, en de AI van Adobe doet het allemaal vanaf daar. Maar er zijn zoveel opties; Als je een film wilt maken die lijkt op 3D-animatie, stop-motion of een meer traditionele filmstijl, zijn er veel manieren om dat te doen. Met de toegevoegde functie van ‘camerabediening’ kunnen gebruikers deze clips nog verder verfijnen door visuele elementen zoals camerahoeken en beweging aan te passen.
Adobe biedt ook een afbeelding-naar-video-functie. Deze tool gaat echter nog een stap verder, waardoor gebruikers naast hun tekstprompt een referentieafbeelding kunnen opgeven. Deze functie is handig bij het maken van snelle dekking van brolls of het visualiseren van nieuwe opnames, waardoor meer controle over de uiteindelijke uitvoer ontstaat. Maar ook deze tool is niet perfect. Vroege tests hebben ervoor gezorgd dat het een wiebelige kabel- en achtergrondverschuivingstest is geworden, dat wil zeggen dat AI nog wat moet groeien.
De efficiëntie bewijst dit: je krijgt altijd 720p bij 24 FPS en maximaal vijf seconden. Clips kunnen in ongeveer 90 seconden worden gegenereerd, hoewel Adobe al werkt aan een ‘turbomodus’ om de zaken nog sneller te maken.
Veilig en wel: het commerciële voordeel van Adobe Firefly
Het grootste verschil is dat de Firefly-tools van Adobe commercieel levensvatbaar zijn. Om makers op hun gemak te stellen, belooft Adobe dat zijn AI-model is getraind op inhoud die het legaal kan gebruiken. In tegenstelling tot sommige concurrenten, die kritiek kregen omdat ze hun modellen trainden op het gebied van ongeautoriseerde inhoud (waaronder YouTube-video’s), zijn de tools van Adobe ‘commercieel veilig’.
Video’s gemaakt met de AI-videotools van Adobe hebben ook ingebedde inhoudsreferenties. Dat betekent dat als er AI betrokken is bij het maken of bewerken van de inhoud, deze openbaar wordt gemaakt, waardoor zaken transparant worden over hoe video’s zijn gemaakt en hun rechten.
Als onderdeel van een bredere drang naar door AI aangedreven tools in alle apps van Adobe, is het Firefly Video Model van het bedrijf er één van. Deze nieuwe functies werden afgelopen weekend aangekondigd tijdens een MAX-conferentie, waardoor ze openbaar beschikbaar zijn geworden – een voorsprong op andere gelijksoortige bedrijven zoals Meta, Google en OpenAI, waarvan de tools voor het genereren van video’s nog steeds in de pijplijn zitten van hun publieke releases.
Afbeelding tegoed: Adobe
Source: Een vleugje AI in Premiere Pro met Adobe Firefly