AI en neurale netwerken hielpen een Reddit-gebruiker een oude film om te zetten in 4K-resolutie met 60 fps.
Een van de bekendste clips uit de filmgeschiedenis is de korte film “L’Arrivée d’un train à La Ciotat” (of The Arrival of a train to La Ciotat station), een video van iets meer dan 50 seconden gemaakt door de Lumière broers. Oorspronkelijk opgenomen in 1896, zoals je je kunt voorstellen, namen de camera’s van die tijd geen geluid op, dus het beeld in beweging hebben was al een hele prestatie. Nu kun je deze film bekijken in 4K bij 60 fps.
AI vulde de pixels om de resolutie naar 4K te verhogen
Een Reddit-gebruiker, besloot Denis Shiryaev verbeteren de klassieker met behulp van technologie. Hij begon de beeldresolutie te schalen naar 4K met een tool genaamd Gigapixel AI door Topaz Labs.
Met deze tool kunt u pixels genereren om de grootte van de originele afbeelding te vergroten om een hogere resolutie te bereiken met maximaal mogelijke details. Je kunt de originele video hieronder zien:
Naast het verbeteren van de resolutie, slaagde hij er ook in om de framesnelheid te verhogen. Iets dat de output vloeiender maakt.
Zoals je kunt zien, zien de beweging van de trein en de mensen die door de scène lopen er perfect vloeiend uit. Er zijn nauwelijks bewegingspauzes, waardoor het geheel anders is dan het origineel. AI wordt hier gebruikt om de extra frames te vullen, dus het eindresultaat is absoluut hypnotiserend.
Hiervoor gebruikte Shiryaev een tool genaamd DAIN, dat een reeks supercomplexe processen uitvoert die die niet-bestaande gaten vullen met beelden die perfect gesynchroniseerd zijn met de rest van de film.
Om dit te bereiken, analyseert de tool de afbeeldingen om de visuele stroom van de scène, de context en de diepte ervan te detecteren. Vervolgens genereert het een heatmap die uiteindelijk de perfecte afbeelding voor het frame maakt.
En toen voegde hij klanken toe als laatste hand.
