Deze week verliet Miles Brundage, senior adviseur van het OpenAI-team dat werkt aan de AGI-gereedheid, het bedrijf en haalde de krantenkoppen. In een stap die de groeiende zorgen binnen de AI-gemeenschap onderstreept, heeft Brundage een duidelijke waarschuwing afgegeven: Nee, zelfs OpenAI noch enig ander toonaangevend AI-laboratorium is volledig voorbereid op de risico’s van kunstmatige algemene intelligentie (AGI).
Het is de laatste in een reeks spraakmakende exits, die een serieuze vraag oproepen: is er een plek waar AGI de samenleving niet potentieel kan beïnvloeden? Misschien zijn zelfs de meest geavanceerde laboratoria nog niet klaar om de potentiële impact van AGI op de samenleving te beheersen.
Ik heb zojuist dit bericht naar mijn collega’s gestuurd en mijn besluit en de volgende stappen in een blogpost uitgewerkt (zie volgende tweet): pic.twitter.com/NwVHQJf8hM
— Miles Brundage (@Miles_Brundage) 23 oktober 2024
Toenemende zorgen over de veiligheid van AI nu OpenAI belangrijke onderzoekers verliest
Het vertrek van Brundage is het laatste in een reeks vertrek bij OpenAI, en ze hebben onlangs een verschillende mate van afstand gecreëerd tussen hen en het bedrijf en de leiding. Tot het vertrek behoort onder meer CTO Mira Murati, Chief Research Officer Bob McGrewen onderzoek VP Barret Zofmeer dan concreet bewijs dat het bedrijf zijn prioriteiten duidelijk heeft gemaakt. Gedeeltelijk verliet hij Brundage omdat hij AI-beleidsonderzoek wilde doen zonder de beperkingen die hij had ervaren bij OpenAI, waar hij zich steeds meer belemmerd voelde door de wens van OpenAI om te beperken hoe openlijk hij kon publiceren. Dit werd gevolgd door de ontbinding van OpenAI’s AGI-readiness-team, en het maakte mensen bezorgd over de vraag of het bedrijf zich zou inzetten voor veiligheidsinitiatieven op de lange termijn.
De ontwikkeling van AGI versnelt ondertussen sneller dan de samenleving bereid is op verantwoorde wijze mee om te gaan, zegt Brundage in zijn afscheidsverklaring. “Noch OpenAI, noch enig ander grenslaboratorium is klaar voor AGI, en de wereld is ook niet voorbereid”, schreef hij, eraan toevoegend dat hoewel de leiding van OpenAI het misschien eens is met zijn beoordeling, de verschuiving van het bedrijf naar commercialisering zijn op veiligheid gerichte missie in gevaar zou kunnen brengen. OpenAI heeft naar verluidt druk ervaren om zijn werk te gelde te maken, door van onderzoek zonder winstoogmerk over te stappen naar een model met winstoogmerk en langetermijnoverwegingen op te offeren in naam van commerciële productlevering, maar voor zover de gegevens dit kunnen weergeven:
De waarschuwing van Brundage staat niet op zichzelf. Dit komt ook vlak nadat belangrijke onderzoekers zoals Jan Leike en mede-oprichter Ilya Sutskever zijn vertrokken, wat bijdraagt aan de groeiende kloof tussen AI-ontwikkeling en veiligheid. Begin dit jaar ontbond Leike zijn veiligheidsteam omdat het moeite had om voldoende middelen te verzamelen voor cruciaal onderzoek, waaronder een tekort aan rekenkracht. Deze interne fricties en externe zorgen duiden op een aanzienlijke kloof tussen de ambities van AI-laboratoria en waar de mondiale bestuursmachines van de wereld klaar voor zijn met betrekking tot de potentieel schadelijke maatschappelijke effecten van AGI.
Uiteraard heeft voormalig OpenAI-onderzoeker Suchir Balaji zich uitgesproken over de manier waarop het bedrijf winst boven veiligheid stelde, en de geruchten over meerdere rechtszaken tegen het bedrijf beschuldigen OpenAI van inbreuk op het auteursrecht. Het vertrek van Balaji en Brundage onderstrepen het groeiende ongemak onder onderzoekers die geloven dat het commerciële potentieel van AI groter is dan de potentiële inspanningen om de risico’s ervan te beperken.
Toen ik voor het eerst over OpenAI LP hoorde, maakte ik me zorgen, omdat de non-profitstatus van OAI deel uitmaakte van wat mij aantrok. Maar sindsdien ben ik op dit idee gekomen om twee redenen: 1. Terwijl ik me verdiepte in de details, besefte ik dat er veel stappen waren gezet om ervoor te zorgen dat de organisatie missiegericht bleef.
— Miles Brundage (@Miles_Brundage) 11 maart 2019
Terwijl OpenAI sleutelfiguren uit zijn veiligheidsteams blijft verliezen, wordt de bredere AI-gemeenschap geconfronteerd met een urgente vraag: waarom racen we zo snel richting AGI zonder ons enkele van de mogelijke gevolgen van die race te realiseren? Het vertrek van Brundage en de scherpere waarschuwingen over de capaciteit ervan herinneren ons eraan dat het risico bij AGI niet alleen bestaat uit het verliezen van de oorlog. Toch is het des te meer zo dat we vooruitlopen op het vermogen van de samenleving om dit onder controle te houden. Net als bij de veiligheid van AI zal de ontwikkeling van AGI afhangen van de stem van die alternatieve sleutelonderzoekers die ervoor kiezen om onafhankelijke paden te bewandelen en die misschien zelfs pleiten voor een minder agressieve en verantwoordelijke procedure voor de groei van AGI.
De wereld wacht af om te zien of deze grenslaboratoria innovatief kunnen zijn en tegelijkertijd de verantwoordelijkheid kunnen dragen om ervoor te zorgen dat AGI voor de samenleving werkt in plaats van ertegen als het zover is. De schijnwerpers zijn gericht op OpenAI en anderen.
Afbeelding tegoed: Furkan Demirkaya/Ideogram