OpenAI, het bedrijf dat verantwoordelijk is voor het maken van ChatGPT, heeft AI Text Classifier ontwikkeld om onderscheid te maken tussen tekst geschreven door AI en tekst geschreven door mensen. We noemen het ‘ChatGPT-detector’. Hoewel het niet mogelijk is om door AI geschreven tekst met absolute zekerheid te identificeren, denkt OpenAI dat de nieuwe tool het aantal valse beweringen dat door mensen geschreven inhoud daadwerkelijk door AI wordt gegenereerd, zal verminderen.
AI-tekstclassificatie begrijpen
In een verklaringbeweert OpenAI dat zijn AI Text Classifier de verspreiding van geautomatiseerde desinformatie kan belemmeren, het gebruik van AI voor academische misleiding kan voorkomen en kan voorkomen dat chatbots zich voordoen als mensen.
De nauwkeurigheid van de tool is getest op een reeks Engelse teksten, waarbij het in 26% van de gevallen de door AI geschreven tekst correct identificeerde. Het classificeerde echter ook ten onrechte door mensen geschreven tekst in 9% van de tijd als door AI gegenereerde tekst. Volgens OpenAI presteert de tool beter als de tekst langer is, daarom zijn er minimaal 1.000 tekens nodig om een test uit te voeren.
Hoe de ChatGPT-detector van OpenAI te gebruiken?
De OpenAI AI-tekstclassificatie is eenvoudig te gebruiken. Gewoon ga naar deze pagina, log in, plak de te testen tekst en druk op de verzendknop. De tool geeft vervolgens een beoordeling van de waarschijnlijkheid dat de tekst door AI is gegenereerd. De resultaten kunnen variëren van:
- Erg onwaarschijnlijk
- Onwaarschijnlijk
- Onduidelijk of dat zo is
- Mogelijk
- Aannemelijk
We hebben de schrijfvaardigheid van ChatGPT geëvalueerd door het een essay over cyberbeveiliging te laten schrijven en het essay vervolgens voor te leggen aan een AI Text Classifier. De classificator beoordeelde het essay als “mogelijk gegenereerd door AI”, wat een sterke maar niet definitieve indicatie is:
Dit benadrukt de beperkingen van de tool, aangezien het niet met volledige zekerheid kan zeggen dat het essay door AI is geschreven. Door kleine wijzigingen aan te brengen die werden voorgesteld door Grammarly, heb ik de beoordeling verlaagd van ‘mogelijk’ naar ‘onduidelijk’. OpenAI wijst er nauwkeurig op dat het eenvoudig is om de classificatie te omzeilen, maar het is niet bedoeld als het enige bewijs dat AI de tekst heeft geschreven.
OpenAI stelt in een FAQ-sectie onderaan de pagina:
“Ons beoogde gebruik van de AI Text Classifier is om gesprekken te bevorderen over het onderscheid tussen door mensen geschreven en door AI gegenereerde inhoud. De resultaten kunnen helpen, maar mogen niet het enige bewijs zijn om te beslissen of een document met AI is gegenereerd. Het model is getraind op door mensen geschreven tekst uit verschillende bronnen, die mogelijk niet representatief zijn voor alle soorten door mensen geschreven tekst.”
OpenAI vermeldt dat de tool geen uitgebreide tests heeft ondergaan voor het detecteren van tekst die een combinatie is van AI en menselijk schrijven. Hoewel de AI-tekstclassificatie nuttig kan zijn voor het identificeren van tekst die mogelijk door AI is gemaakt, mag er niet op worden vertrouwd als de enige basis voor het maken van een definitieve beslissing.
Als je te maken hebt met de fout ChatGPT 405 – methode niet toegestaan, bekijk dan onze speciale gids!
Source: AI Text Classifier: OpenAI’s ChatGPT-detector uitgelegd
