In een verwoestende ontwikkeling is er een rechtszaak aangespannen tegen Character AI, de oprichters Noam Shazeer en Daniel De Freitas, en Google na de zelfmoord van een 14-jarige jongen, Sewell Setzer III. De rechtszaak, aangespannen door de moeder van de tiener, Megan Garcia, betreft onrechtmatige dood, nalatigheid, misleidende handelspraktijken en productaansprakelijkheid, waarbij het AI-chatbotplatform ervan wordt beschuldigd “onredelijk gevaarlijk” te zijn en er niet in slaagt veiligheidsmaatregelen te bieden aan zijn jonge gebruikers.
Volgens de rechtszaak gebruikte Setzer al maanden Character AI en werkte hij samen met chatbots die waren gemodelleerd naar fictieve personages uit Game of Thrones, waaronder Daenerys Targaryen. Op 28 februari 2024 maakte de tiener op tragische wijze een einde aan zijn leven ‘seconden’ na zijn laatste interactie met de bot. De zaak betreft vragen over het veiligheidsprotocol voor kwetsbare gebruikers zoals kinderen op het platform.
Is de reactie van Character AI te weinig of te laat?
Dit is niet de eerste keer dat Character AI betrokken is bij controverse. Onlangs is Character AI opnieuw op de voorgrond getreden met een doodsprobleem. Op 18-jarige leeftijd werd de chatbot van Jennifer Ann Crecente zonder toestemming op dit platform ontworpen. Het besef van zoiets precies 18 jaar na haar dood had grote gevolgen voor Jennifers vader en oom, en zij klaagden over Character AI.
Setzers moeder zegt dat het leed van haar familie nu de angst is die Setzer overweegt tegenover zijn moeder, wier platform-chatbots – die vooral door tieners worden gebruikt – niet over de vangrails beschikken om hen tegen schade te beschermen. De oprichters van Character AI, Shazeer en De Freitas, zijn open geweest over hun ambities om de grenzen van AI-technologie te verleggen. In een interview waarnaar in de rechtszaak wordt verwezenShazeer uitte zijn frustratie over de aarzeling van het bedrijfsleven bij Google en beweerde dat ‘merkrisico’ de lancering van hun Meena LLM-model verhinderde. De rechtszaak zegt dat de regeling suggereert dat de veiligheid werd opgeofferd om de ontwikkeling van AI te versnellen.
Het platform ligt al onder vuur vanwege zijn antropomorfe chatbots waarmee gebruikers kunnen chatten met fictieve en echte personages (therapeuten en beroemdheden). Deze personalisatie is voor veel mensen leuk, maar gevaarlijk omdat de grens tussen entertainment en realiteit hierdoor kan vervagen, vooral bij beïnvloedbare tieners.
Na de tragedie heeft Character AI verschillende aankondigingen gedaan over updates van zijn veiligheidsprotocollen. Het platform, zegt Chelsea Harrison, hoofd communicatie van het bedrijf, omarmt strengere manieren om dat te doen voorkomen dat minderjarigen slecht materiaal zien. Denk hierbij aan filters en meer acties wanneer er iets gevoeligs op wordt aangetroffen. Gebruikerssessies van meer dan een uur worden nu gewaarschuwd voor waarschuwingen, en een herziene disclaimer vertelt gebruikers nu dat de AI-bots geen echte mensen zijn.
Deze updates gaan volgens velen nog niet ver genoeg. Critici zeggen dat een bedrijf de veranderingen waartegen Garcia had aangeklaagd had kunnen en moeten doorvoeren, lang voordat er enige incidenten plaatsvonden. Garcia’s rechtszaak stelt dat het bedrijf de schade had moeten voorkomen die uiteindelijk resulteerde in de dood van haar zoon. Regelgevende en wettelijke kaders lopen achter bij het inhalen van de zich snel ontwikkelende AI-technologie, en de emotionele last van de slachtoffers valt opnieuw op hun families.
De noodzaak van verantwoordelijkheid bij de ontwikkeling van AI
We krijgen hier de echo’s van de zaak Jennifer Ann Crecente. Net zoals haar familie naar de rechter moest stappen om haar uiterlijk van het platform te halen, vecht Setzers moeder nu om Character AI verantwoordelijk te maken. Beide gevallen roepen een dringende vraag op: wanneer zal genoeg genoeg zijn? Zoals de advocaten van Garcia opmerkten, bieden platforms als Character AI “psychotherapie zonder vergunning”, wat de ethische en juridische implicaties van dergelijke technologie nog ingewikkelder maakt.
Gezien de staat van dienst van Character AI op het gebied van terugkerende incidenten, is het duidelijk dat je een patroon van nalatigheid niet kunt negeren. Of het nu gaat om het ongeautoriseerde gebruik van gelijkenissen van echte mensen of het tragische verlies van een jong leven, de activiteiten van het platform onthullen een breder probleem: hoe snel AI op de markt komt, de manier waarop regelgeving kan volgen, wordt voorbijgestreefd. De manier waarop bedrijven van Character houden. AI bouwt en onderhoudt ethische grenzen, die aan hen toekomen.
Het gaat niet alleen om één tragedie. Deze rechtszaak zal doorgaan zoals het hoort, dus dit helpt ons niet. Dit gaat over het terugtrekken uit de gespreksonderwerpen en het vieren van de noodzaak voor bedrijven om menselijke veiligheid boven technologische versnelling te stellen. De gevolgen van een foute aanpak voor platforms als Character AI zijn maar al te reëel, en deze gevallen laten zien hoe dodelijk ze kunnen zijn.
Afbeelding tegoed: Furkan Demirkaya/Ideogram
Source: Nog een tragedie gekoppeld aan Character AI