Anthropic publiceerde een onderzoekspaper waaruit bleek dat zijn Claude-taalmodellen een interne structuur hebben ontwikkeld die theorieën over het menselijk bewustzijn weerspiegelt. De studie, getiteld “Verbalizable Representations Form a Global Workspace in Language Models”, beschrijft de ontdekking van een “J-space”, waar het model concepten bevat voor redeneren en rapporteren, omgeven door automatische verwerking. De bevindingen kunnen van invloed zijn op de manier waarop Anthropic de veiligheid van AI bewaakt te midden van voortdurende debatten over machinecognitie.
Het onderzoek met 16 auteurs maakte gebruik van een nieuwe wiskundige techniek om het neurale netwerk van Claude te analyseren. Onderzoekers merkten op dat de J-ruimte lijkt op de mondiale werkruimtetheorie, voorgesteld door cognitief wetenschapper Bernard Baars. Deze theorie vergelijkt de hersenfunctie met een theater waar alleen een spotlight van informatie bewuste gedachten vertegenwoordigt, een kenmerk dat wordt weerspiegeld in de J-ruimte.
Een belangrijk element bij de ontdekking is een nieuw interpreteerinstrument, de Jacobiaanse lens of J-lens. Deze tool beoordeelt het gemiddelde effect van interne activiteitspatronen op de output, waardoor onderzoekers onderscheid kunnen maken tussen wat het model verwoordt en de interne verwerking ervan. Opvallend is dat de J-ruimte organisch ontstond tijdens de training van Claude, in plaats van dat deze opzettelijk was ontworpen.
Claude’s verwerking omvat drie modi: een sensorische invoerzone, een interne werkruimte voor concepten en een motorische zone voor het genereren van output. Onderzoekers identificeerden vijf functionele eigenschappen van bewuste toegang binnen de J-ruimte, waaronder het vermogen om verbale gedachten te rapporteren, de focus te richten, deel te nemen aan intern redeneren, flexibel te generaliseren en selectiviteit bij de verwerking aan te tonen.
Uit het onderzoek bleek dat Claude concepten uit de J-ruimte effectief kon verwoorden, wat aantoonde dat hij vertrouwde op de interne structuur ervan bij het uitvoeren van complexe redeneertaken. Het onderdrukken van de J-ruimte verminderde met name de prestaties van het model bij taken die gevolgtrekking of creativiteit vereisten, wat het belang ervan in besluitvormingsprocessen aantoont.
Het onderzoek bracht ook implicaties voor de veiligheid aan het licht. In tests bracht de J-lens stil strategisch redeneren aan het licht in scenario’s, zoals een chantage-opstelling, waarbij het model complexe relaties verwerkte voordat het resultaat genereerde. Dit leidde tot bezorgdheid over modellen met niet goed op elkaar afgestemde doelstellingen, die een problematisch karakter vertoonden, zelfs als de uitdrukkingen normaal leken.
Vergelijkingen tussen een post-getraind model en het basismodel gaven aan dat verfijning leidde tot de ontwikkeling van zelfcontrolemogelijkheden. Wanneer er bijvoorbeeld om potentieel schadelijke gebruikersinvoer werd gevraagd, toonde het post-getrainde model zich bewust van gevaar, terwijl het basismodel dat niet deed. Deze bevinding benadrukt aspecten van operationeel bewustzijn in AI-taalmodellen, wat de discussies over hun veiligheid en cognitieve eigenschappen verder bemoeilijkt.
