Facebook wil je perceptuele superkrachten geven door middel van zijn nieuwe augmented reality-bril. Een revolutionair Facebook experiment is bedoeld om aan te tonen hoe geluid een belangrijke rol kan spelen in augmented reality, tot het punt dat het mensen iets geeft dat onderzoekers van het sociale netwerk ‘perceptuele superkrachten’ noemen.
Facebook en de nieuwe Augmented Reality-bril
Facebook Reality Labs Research (FRL Research), het onderzoekslaboratorium van het sociale netwerk, ontwikkelt al zes jaar een project op basis van augmented reality en virtual reality om de menselijke communicatie te verbeteren.
Een interdisciplinair audioteam, bestaande uit onder meer onderzoekswetenschappers, ingenieurs en ontwerpers, heeft de missie virtuele geluiden te creëren die perceptueel niet te onderscheiden zijn van de werkelijkheid en het menselijk gehoor opnieuw te definiëren.
De nieuwe augmented reality-bril van Facebook zou audio-opname met microfoons mogelijk kunnen maken, met behulp van contextuele aanwijzingen die kunnen meten welke geluiden belangrijk zijn en deze kunnen verzenden via een headset met ruisonderdrukking.
Bovendien zou een verbeterd ruimtelijk geluid de stemmen van de deelnemers aan een telefoongesprek of een videogesprek kunnen projecteren, waardoor het gevoel toeneemt dat ze bij een andere persoon zijn of in de aanwezigheid van audio.
Om dit te bereiken, heeft het team zich gericht op het aanbieden van twee mogelijkheden:
In 2017 ontwikkelde het team virtuele geluiden die de richtingen nabootsen waar geluiden in het echte leven vandaan komen, en hoogwaardige akoestische simulatietechnologieën, die virtuele omgevingen geloofwaardiger maken. Technologieën hebben de allernieuwste op het gebied van ruimtelijke audio gedreven en veel van de huidige ervaringen mogelijk gemaakt, zoals de Oculus Quest virtual reality-bril en het Rift-platform.
Verbetering van ruimtelijke audio
Een van de belangrijkste hulpmiddelen die het werk ondersteunen, is ruimtelijke audio, die het gevoel geeft op dezelfde plek aanwezig te zijn, ook al liggen ze eigenlijk mijlenver uit elkaar.
Ruimtelijke audio bootst de richtingen na waar geluiden vandaan komen in het echte leven en de omgevingsakoestiek, iets dat een game-wisselaar zou kunnen zijn voor videogesprekken.
“Met een telefoontje vandaag klinkt de stem van de andere persoon alsof hij uit de telefoon zelf komt (of het midden van je hoofd, als je een koptelefoon draagt), dus je brein verwerpt het idee dat de andere persoon in dezelfde locatie, ”beschrijft Lisa Brown, manager van communicatietechnologieën bij Facebook.
Het bedrijf is van mening dat ruimtelijke audio kan worden gecombineerd met Codec Avatars, ultra-realistische weergaven van mensen die in realtime geanimeerd zijn. “Hierdoor kan de echte sociale aanwezigheid worden doorbroken. Door je tijd te geven met de belangrijke mensen in je leven op betekenisvolle plekken, kunnen we de manier waarop je leeft, werkt en speelt radicaal veranderen ”, voegt Brown toe.
Perceptuele superkrachten
Het zou bijvoorbeeld mogelijk zijn om een gesprek te voeren in een druk restaurant of bar, zonder dat u uw stem hoeft te verheffen om gehoord te worden of moeite moet doen om te begrijpen wat anderen zeggen.
Door meerdere microfoons op de bril te gebruiken is het mogelijk om omgevingsgeluiden op te vangen. Vervolgens kunnen we aan de hand van het patroon van de bewegingen van het hoofd en de ogen ontdekken welke van deze geluiden hij het meest wil horen.
“Dit stelt ons in staat om de juiste geluiden te versterken en andere te dempen, zodat wat je echt wilt horen, helder is, zelfs met hard achtergrondgeluid”, zegt Mehra.
Het doel van het team is om het volledige scala aan geluiden te dekken dat mensen kunnen horen, van 20 Hz tot 20.000 Hz.
Momenteel ontwikkelen ze Special Internal Monitors (IEM), een output-prototype dat het gebruik van actieve ruisonderdrukkingstechnologieën mogelijk maakt om het volume van ongewenste achtergrondruis effectief te verminderen.
“Wanneer we dit combineren met het input-prototype van FRL Research, inclusief de microfoonarray, kunnen we de volledige hoorbeleving van superkrachten leveren”, legt Brown uit.
