Afgelopen december heeft Google Photos een geweldige nieuwe functie toegevoegd: Cinematic Photos. Ze kunnen automatisch worden gegenereerd vanuit de applicatie door op de sectie recente hoogtepunten te klikken.
Hoe werken filmische foto’s in Google Foto’s?
Van de Google-blog ze wilden uitleggen hoe ze erin slagen de foto’s beweging te geven, waardoor ze zo’n opvallend 3D-effect hebben. Zoals altijd gebruiken ze hun neurale netwerken en computationele expertise.
Volgens Google willen filmische foto’s proberen de gebruiker “het meeslepende gevoel van het moment waarop ze de foto hebben gemaakt” opnieuw te laten beleven door zowel de beweging van de camera als de 3D-parallax te simuleren. Hoe veranderen ze een 2D-afbeelding in een 3D-afbeelding?
Google gebruikt zijn neurale netwerken die zijn getraind op foto’s gemaakt met de Pixel 4s om de scherptediepte te schatten met een enkele RGB-afbeelding
Google legt uit dat, net als bij portretmodus of augmented reality, filmische foto’s een dieptekaart nodig hebben om informatie te geven over de 3D-structuur. Om dit effect te bereiken op elke mobiele telefoon die geen dubbele camera heeft, hebben ze een convolutioneel neuraal netwerk getraind om een dieptekaart te voorspellen op basis van een enkel RGB-beeld.
Met slechts één gezichtspunt (het vlak van de foto) kan het de diepte van de foto schatten met monoculaire aanwijzingen zoals de relatieve afmetingen van objecten, het perspectief van de foto, onscherpte, enzovoort. Om deze informatie completer te maken, gebruiken ze gegevens die zijn verzameld met de camera van de Pixel 4, om te combineren met andere foto’s die zijn gemaakt met professionele camera’s door het team van Google.
De techniek is vergelijkbaar met die van de Pixel-portretmodus: het beeld wordt geanalyseerd, gesegmenteerd en zodra de achtergrond met succes is geïsoleerd, wordt beweging gesimuleerd door de achtergrond te verschuiven. Dit is behoorlijk ingewikkelder, omdat het verschillende correcties en analyse op de foto vereist, aangezien een paar verkeerd geïnterpreteerde pixels het uiteindelijke resultaat kunnen ruïneren.