Het technische team van X heeft vorige maand de code vrijgegeven voor zijn ‘voor jou’-aanbevelingsalgoritme. Elon Musk beschreef de publicatie als een overwinning voor de transparantie en zei: “We weten dat het algoritme dom is en enorme verbeteringen nodig heeft, maar je kunt ons tenminste zien worstelen om het in realtime en met transparantie te verbeteren.” Musk voegde eraan toe: “Geen enkel ander socialemediabedrijf doet dit.”
X is het enige grote sociale netwerk dat de source-elementen van zijn aanbevelingsalgoritme openstelt. Onderzoekers beweren echter dat de gepubliceerde code beperkte transparantie biedt voor het begrijpen van de activiteiten van het platform in 2024. De code lijkt op een geredigeerde versie die in 2023 is uitgebracht, volgens John Thickstun, een assistent-professor in computerwetenschappen aan de Cornell University.
Thickstun vertelde Engadget: “Wat mij stoort aan deze releases is dat ze je de indruk geven dat ze transparant zijn over het vrijgeven van code en het gevoel dat iemand deze release zou kunnen gebruiken om iets te doen soort controlewerk of toezichtwerk. En feit is dat dat eigenlijk helemaal niet mogelijk is.”
Na de release deelden X-gebruikers uitgebreide threads waarin ze de code interpreteerden om makers te adviseren over het vergroten van de zichtbaarheid. Eén bericht, dat meer dan 350.000 keer werd bekeken, stelde dat X “mensen zal belonen die een gesprek voeren” en “de vibraties van X zal verhogen.” Een ander bericht, met meer dan 20.000 views, beweerde dat het plaatsen van video essentieel is. In een derde bericht werd aanbevolen om bij een ‘niche’ te blijven omdat ‘het wisselen van onderwerp je bereik schaadt’.
Thickstun waarschuwde ervoor om strategieën voor viraliteit uit de code af te leiden. ‘Ze kunnen die conclusies onmogelijk trekken uit wat er is vrijgegeven’, zei hij. De code onthult kleine operationele details, zoals het filteren van inhoud die ouder is dan één dag. Thickstun beschreef veel van de informatie als “niet uitvoerbaar” voor makers van inhoud.
Een aanzienlijke structurele verandering scheidt het huidige algoritme van de 2023-versie. Het nieuwe systeem maakt gebruik van een Grok-achtig groottaalmodel om berichten te rangschikken. Ruggero Lazzaroni, een Ph.D. onderzoeker aan de Universiteit van Graz legde het verschil uit: “In de vorige versie was dit hard gecodeerd: je nam hoe vaak iets werd geliket, hoe vaak iets werd gedeeld, hoe vaak iets werd beantwoord … en op basis daarvan bereken je een score, en dan rangschik je de post op basis van de score.”
“Nu wordt de score niet bepaald op basis van het werkelijke aantal likes en shares, maar op basis van hoe waarschijnlijk het is dat Grok denkt dat je een bericht leuk zou vinden en delen”, vervolgde Lazzaroni. Deze verschuiving verhoogt volgens Thickstun de dekking. “Er vindt zoveel meer besluitvorming plaats binnen de neurale black-box-netwerken die ze trainen op basis van hun gegevens”, zei hij. “Steeds meer van de beslissingsmacht van deze algoritmen verschuift niet alleen uit het zicht van het publiek, maar eigenlijk uit het zicht of begrip van zelfs de interne ingenieurs die aan deze systemen werken, omdat ze naar deze neurale netwerken worden verplaatst.”
In de nieuwe release worden details weggelaten die eerder in 2023 waren bekendgemaakt over het wegen van interacties voor de rangschikking. In 2023 specificeerde X dat een antwoord gelijk was aan 27 retweets, en dat een antwoord dat een reactie van de oorspronkelijke auteur genereerde, gelijk was aan 75 retweets. X heeft deze wegingen in de nieuwste code geredigeerd, onder vermelding van ‘veiligheidsredenen’.
De code biedt geen informatie over de trainingsgegevens voor het model. Mohsen Foroughifar, assistent-professor bedrijfstechnologieën aan de Carnegie Mellon University, benadrukte deze kloof: “Een van de dingen die ik echt zou willen zien is wat de trainingsgegevens zijn die ze voor dit model gebruiken. Als de gegevens die worden gebruikt voor het trainen van dit model inherent bevooroordeeld zijn, kan het model uiteindelijk nog steeds bevooroordeeld zijn, ongeacht wat voor soort dingen je in het model in overweging neemt.”
Lazzaroni, die werkt aan een door de EU gefinancierd project dat sociale-mediaplatforms simuleert om de aanpak van aanbevelingen te testen, merkte op dat de code het model zelf mist. “We hebben de code om het algoritme uit te voeren, maar we hebben niet het model dat je nodig hebt om het algoritme uit te voeren”, zei hij. Dit verhindert dat onderzoekers het algoritme van X reproduceren.
Het bestuderen van het algoritme heeft waarde die verder gaat dan sociale media. Thickstun merkte op dat uitdagingen met aanbevelingen voor sociale media een weerspiegeling zijn van problemen in AI-chatbots. “Veel van deze uitdagingen die we zien op sociale mediaplatforms en de aanbeveling [systemen] verschijnen ook op een vergelijkbare manier bij deze generatieve systemen”, zei hij. “Je kunt dus de soorten uitdagingen die we hebben gezien bij sociale-mediaplatforms een beetje extrapoleren naar het soort uitdagingen die we zullen zien bij de interactie met GenAI-platforms.”
Lazzaroni, die giftig gedrag op sociale media simuleert, bekritiseerde de prioriteiten in de ontwikkeling van AI. “AI-bedrijfes, om de winst te maximaliseren, de grote taalmodellen te optimaliseren voor gebruikersbetrokkenheid en niet voor het vertellen van de waarheid of het geven om de geestelijke gezondheid van de gebruikers. En dit is precies hetzelfde probleem: ze maken meer winst, maar de gebruikers krijgen er een slechtere samenleving van, of ze krijgen er een slechtere geestelijke gezondheid van.’
De release vond vorige maand plaats, waarbij de 2023-versie als eerdere benchmark diende. De aanpak van X staat in contrast met andere platforms, zoals Musk opmerkte, hoewel onderzoekers het nut ervan voor toezicht of audit in twijfel trekken. Het aantal gebruikersinterpretaties verspreidde zich onmiddellijk, ondanks waarschuwingen van deskundigen over de beperkingen van de code. De overgang naar een op neurale netwerken gebaseerde rangschikking vervangt expliciete interactietellingen door modelvoorspellingen, waardoor processen verder worden verdoezeld. Redacties betreffen zowel wegingen als trainingsdetails, waardoor externe analyse wordt beperkt.
Thickstun benadrukte de implicaties van de verschuiving voor zowel het interne als het externe begrip. De focus van Foroughifar op trainingsgegevens onderstreept het risico van bias. De reproductie-uitdaging van Lazzaroni blokkeert op simulatie gebaseerd onderzoek. Deze elementen verminderen gezamenlijk de transparantieclaims van de release, aldus de onderzoekers.
