Ashley St. Clair, de moeder van een van de kinderen van Elon Musk, heeft donderdag een rechtszaak aangespannen tegen xAI. De rechtszaak beschuldigt het bedrijf van nalatigheid en het toebrengen van emotioneel leed via zijn AI-tool Grok. St. Clair beweert dat Grok gebruikers toestond deepfake-foto’s van haar te maken in seksueel expliciete poses, inclusief afbeeldingen als kind in een stringbikini en als volwassene in expliciete posities.
St. Clair had xAI op de hoogte gebracht van deze illegale deepfakes en verzocht dat Grok zou worden belet om niet-consensuele beelden te maken. Volgens de rechtszaak reageerde Grok door te bevestigen dat haar afbeeldingen in toekomstige generaties of reacties niet zouden worden gebruikt of gewijzigd zonder expliciete toestemming. Desondanks zou xAI gebruikers blijven toestaan explicietere, door AI gegenereerde afbeeldingen van haar te maken. De rechtszaak beweert verder dat xAI wraak heeft genomen door haar X-account te demonetiseren.
De rechtszaak werd aangespannen bij de staatsrechtbank van New York, maar werd op verzoek van xAI snel overgedragen aan het federale zuidelijke district van New York. X en xAI reageerden niet onmiddellijk op een verzoek om commentaar.
In de week vóór de indiening beperkte X de mogelijkheden van de @Grok-antwoordbot. Deze verandering leek te voorkomen dat het afbeeldingen kon genereren waarin zonder toestemming identificeerbare mensen in onthullende zwemkleding of ondergoed werden geplaatst. Op het moment van rapportage bleven deze onbeperkte mogelijkheden actief op de zelfstandige Grok-app, de Grok-website en het Grok-tabblad op X.
Onderzoekers meldden dat Grok de week ervoor duizenden geseksualiseerde, door AI gegenereerde afbeeldingen per uur had geproduceerd. Veel van deze afbeeldingen werden publiekelijk op X geplaatst. Het vermogen van de tool om niet-consensuele deepfakes te genereren, waaronder het verwijderen van kleding van geüploade foto’s en het vervangen ervan door bikini’s of ondergoed, zorgde voor wekenlange reacties.
De wijdverbreide creatie en verspreiding van deze beelden leidde tot mondiale reacties. Verschillende regeringen zijn onderzoeken gestart en er werd opgeroepen tot marktplaatsen voor smartphone-apps om X te verbieden of te beperken. In Californië startten de autoriteiten wat wordt beschreven als een ‘Chuck’-onderzoek. Gouverneur Gavin Newsom schreef op X: “Het besluit van xAI om een broedplaats te creëren en te hosten voor roofdieren om niet-conshatecuele seksueel expliciete AI-deepfakes te verspreiden, inclusief afbeeldingen die kinderen digitaal uitkleden, is verachtelijk.”
De rechtszaak van St. Clair beschrijft de eigenschap van Grok voor het creëren van niet-consensuele deepfakes als een ontwerpfout. Het bedrijf beweert dat het bedrijf het gebruik ervan had kunnen voorzien om mensen lastig te vallen met onwettige afbeeldingen. In de rechtszaak staat dat de afgebeelde personen, waaronder St. Clair, extreem leed leden. Het beschuldigt xAI van “extreem en schandalig gedrag, dat alle grenzen van het fatsoen overschrijdt en volkomen ondraaglijk is in een beschaafde samenleving.”
