Anthropic en onderzoekspartner AE Studio publiceerde woensdag een methode om gevaarlijke kennis binnen AI-modellen te isoleren met behulp van discrete, verwijderbare modules. De techniek, genaamd Gradient-Routed Auxiliary Modules (GRAM), is ontworpen om het beheer van risico’s voor tweeërlei gebruik te verbeteren en tegelijkertijd de algemene prestaties van AI-modellen te behouden.
GRAM voegt kleine neurale compartimenten toe aan de standaard transformatorarchitectuur. Elk compartiment is gewijd aan een specifieke categorie van gevoelige kennis, zoals virologie, cyberveiligheid of kernfysica. Het verwijderen van een module zorgt ervoor dat het model zich gedraagt alsof het nooit op die specifieke gegevens is getraind, terwijl het activeren van een module toegang geeft tot de aanwezige kennis.
De onderzoekers trainden een model met 800 miljoen parameters met behulp van een combinatie van webtekst, code, wetenschappelijke artikelen en vier domeinen voor tweeërlei gebruik: virologie, cyberbeveiliging, kernfysica en gespecialiseerde code. Gegevens over tweeërlei gebruik vormden ongeveer 0,25% van de trainingsgegevens voor elk domein. De resultaten gaven aan dat het verwijderen van GRAM-modules bijna net zo effectief was als helemaal geen training met de gegevens. Het model handhaafde de algemene prestaties dicht bij de basislijn die was vastgesteld met alle gegevens inbegrepen.
Deze aanpak bleek robuust tegen vijandige verfijning en verschilde van post-hoc-afleermethoden die kennis doorgaans alleen onderdrukken in plaats van elimineren. Het onderzoek komt in een uitdagende periode voor AI-beheer, omdat de regering-Trump tijdelijk exportcontroles had opgelegd aan de Claude-modellen van Anthropic vanwege zorgen over de nationale veiligheid in verband met mogelijke kwetsbaarheden.
Deze beperkingen werden op 30 juni opgeheven nadat Anthropic samenwerkte met het ministerie van Handel om de geïdentificeerde risico’s aan te pakken. GRAM kan een middenweg bieden in de beleidsvorming, door gedetailleerde toegangscontrole mogelijk te maken in plaats van hele modellen te verbieden of uitsluitend te vertrouwen op gedragsmatige vangrails.
De onderzoekers merkten echter op dat hun bevindingen voorlopig zijn en nog niet zijn geïmplementeerd in productiemodellen bij Anthropic. Ze wierpen vragen op over de schaalbaarheid van GRAM naar complexere modellen en de potentiële problemen bij het scheiden van verstrengelde kennis van meer algemene mogelijkheden. Dit onderzoek werd geleid door AE Studio, met bijdragen van Cem Anil en Alex Cloud van Anthropic.
