Onderzoekers van de Universiteit van Washington hebben een AI gemaakt, Audeo genaamd, die realistische muziek kan reproduceren door simpelweg stille pianovideo’s te analyseren.
Nu kan zelfs kunstmatige intelligentie elk geluid van een piano op een realistische manier digitaal reproduceren, simpelweg door een stille video te analyseren.
Een team van onderzoekers van de Universiteit van Washington heeft de kunstmatige intelligentie genaamd Audeo gemaakt die een soort intelligente software bevat die eerder is getraind met 172.000 videoframes van pianist Paul Barton die muziek speelt van klassieke componisten zoals Mozart of Bach.
Audeo AI kan virtueel piano spelen
Door simpelweg een stille video te analyseren, kan Audeo AI zorgvuldig leren welke toetsen worden ingedrukt en in welke volgorde. Op deze manier bepaalt het de individuele noten en hun arrangement. Het is ook in staat om aan te voelen hoe hard elk van de toetsen wordt gespeeld en hoe lang ze worden ingedrukt, dit stelt het in staat om de intensiteit van elke noot te berekenen en hoe lang het blijft hangen onder het geluid van later gespeelde noten. Alsof dat nog niet genoeg is, kan de AI ook de kenmerkende akoestische kenmerken van piano’s begrijpen.
Deze gegevens worden omgezet in een formaat dat kan worden begrepen door een digitale synthesizer, en wanneer die synthesizer het muziekbestand afspeelt, komt het zeer dicht bij het originele pianogeluid.
In een van zijn verbazingwekkende tests was de Audeo AI in staat om een lied te leren door middel van stille video’s van componist Barton terwijl hij onderscheidende muziekstukken speelde.
Vervolgens analyseerden muziekherkenningstoepassingen zoals SoundHound dergelijke producties uitgevoerd door de kunstmatige intelligentie, waardoor ze het muziekstuk konden herkennen met een nauwkeurigheid van ongeveer 86%. Ter vergelijking: toen deze applicatie de originele pianogeluid analyseerde, steeg de herkenningsnauwkeurigheid tot 93%.
