Roblox heeft Sentinel onthuld, een kunstmatig intelligentiesysteem dat is ontworpen om vroege tekenen van potentiële uitbuiting van kinderen in online chats te detecteren, een beweging die te midden van toenemende controle en juridische uitdagingen met betrekking tot de veiligheidsprotocollen van het platform komt. Aangekondigd op 8 augustus 2025, wordt Sentinel geopend en vrij beschikbaar gemaakt, waardoor andere platforms het kunnen integreren in hun eigen moderatiekaders.
Het bedrijf, dat meer dan 111 miljoen maandelijkse actieve gebruikers heeft, meldde dat Sentinel al heeft geholpen bij het markeren van honderden potentiële kinderuitbuitingszaken voor wetshandhaving. Matt Kaufman, Chief Safety Officer van Roblox, benadrukte de beperkingen van eerdere filtersystemen, die voornamelijk gericht waren op geïsoleerde woorden of zinnen. Hij legde uit dat problemen als kindbedreiging en verzorging zich vaak manifesteren door langdurige interactiepatronen. “Maar als je denkt aan dingen die verband houden met het bedreiging van kinderen of verzorging, manifesteren de soorten gedrag waarnaar je naar een zeer lange periode manifesteert,” verklaarde Kaufman.
Sentinel is ontworpen om deze evoluerende patronen binnen gesprekken te identificeren, in plaats van alleen geïsoleerde termen. Het systeem verwerkt één minuut snapshots van de ongeveer 6 miljard chatberichten die dagelijks op het platform zijn uitgewisseld, en evalueert ze in hun bredere context. Om dit te vergemakkelijken, ontwikkelden ingenieurs twee verschillende indexen: een bestaande voorbeelden van onschadelijke chats en een andere die berichten bevat die richtlijnen voor kinderveiligheid hebben geschonden. Naren Koneru, vice -president engineering voor vertrouwen en veiligheid bij Roblox, merkte op dat beide indexen continu worden bijgewerkt met nieuw materiaal om de nauwkeurigheid van het AI -model te verbeteren. “Die index wordt beter naarmate we meer slechte acteurs detecteren, we werken die index continu bij,” zei Koneru, en voegde eraan toe: “Dan hebben we nog een voorbeeld van wat een normale, reguliere gebruiker doet?”
Koneru ging verder uit dat Sentinel de voortdurende activiteit van een gebruiker bewaakt om te onderscheiden of hun gedrag trending is naar veilige interacties of risicovol gedrag. “Het gebeurt niet op één bericht omdat je maar één bericht verzendt, maar het gebeurt omdat al je dagen interacties leiden naar een van deze twee,” legde ze uit. Als de AI een gebruiker markeert voor nader onderzoek, voeren menselijke moderators een grondige beoordeling uit van de hele chatgeschiedenis van het individu, de vriendenlijst en gespeelde games. Indien gerechtvaardigd escaleert Roblox deze zaken aan wetshandhaving en het National Center for Missing and Exploited Children.
De introductie van Sentinel komt als Roblox voor aanzienlijke juridische uitdagingen staat. Een rechtszaak die vorige maand in Iowa werd aangespannen, beweert dat een 13-jarig meisje door een volwassen roofdier werd gecontacteerd via Roblox, vervolgens in verschillende staten ontvoerd en verhandeld. Het pak beweert dat het platformontwerp van het bedrijf ‘gemakkelijke prooi voor pedofielen’ heeft gecreëerd.
Roblox handhaaft strikt beleid dat het delen van persoonlijke informatie, afbeeldingen en video’s in de chat verbiedt. Bovendien zijn directe berichten voor gebruikers jonger dan 13 uur beperkt tenzij expliciete toestemming van de ouders wordt verleend. De monitoringmogelijkheden van het bedrijf worden geholpen door het feit dat chats niet end-to-end gecodeerd zijn, waardoor toezicht op gesprekken voor veiligheidsovertredingen mogelijk is. Hoewel erkent dat geen enkel systeem volledige bescherming kan bieden, beweert Roblox dat AI -vooruitgang zoals Sentinel de kansen op vroege detectie van schadelijk gedrag aanzienlijk verbeteren.
