Het detecteren van door AI gegenereerde tekst is al lang een uitdaging voor onderzoekers en ontwikkelaars. Met de snelle vooruitgang van grote taalmodellen (LLM’s), zoals Google’s Gemini Advanced en OpenAI’s GPT-4o, is het vermogen om mensachtige tekst te produceren steeds geavanceerder geworden.
Echter, een nieuwe studie van onderzoekers van de Universiteit van Tübingen en de Noordwestelijke Universiteit biedt een doorbraak in het identificeren van door AI vervaardigde content.
Door zich te richten op de plotselinge toename van specifieke woordenschat in wetenschappelijk schrijven, hebben ze een methode ontwikkeld om het gebruik van LLM’s met verrassende nauwkeurigheid te detecteren. Deze techniek, geïnspireerd door pandemiestudies die overmatige sterfgevallen maten, onthult hoe veranderingen in woordgebruik de aanwezigheid van door AI gegenereerde tekst kunnen signaleren.
Welke woorden verraden dat het om AI-inhoud gaat?
Om deze veranderingen te meten, onderzocht het team jaarlijks de frequentie van elk woord. Door de verwachte woordfrequentie, gebaseerd op trends van vóór 2023, te vergelijken met het daadwerkelijke gebruik in 2023 en 2024, ontdekten ze een dramatische toename in bepaalde termen. Zo verscheen het woord “delves” 25 keer vaker in samenvattingen van 2024 dan verwacht. Evenzo zagen “showcasing” en “underscores” een negenvoudige toename in gebruik.
Hieronder staan de meestgebruikte woorden in door AI gegenereerde tekst, met de bijbehorende toenames in gebruik:
- Duikt – 25 keer toename
- Tentoonstellen – 9 keer toename
- Onderstrepingstekens – 9 keer toename
- Potentieel – Stijging van 4,1 procentpunten
- Bevindingen – 2,7 procentpunt stijging
- Cruciaal – 2,6 procentpunt stijging
- Over – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Aanvullend – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Uitgebreid – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Verbeteren – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Tentoongesteld – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Inzichten – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Opmerkelijk – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Bijzonder – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
- Binnenin – aanzienlijke stijging (exacte snelheid niet gespecificeerd)
Deze woorden zijn veelzeggende tekenen van AI-betrokkenheid geworden, en duiken veel vaker op dan verwacht. Hoewel taal zich op natuurlijke wijze ontwikkelt, zijn zulke abrupte veranderingen ongebruikelijk en vaak gekoppeld aan grote wereldwijde gebeurtenissen.
In dit geval heeft het wijdverbreide gebruik van LLM’s geleid tot een opvallende verschuiving in het vocabulaire van de wetenschappelijke literatuur.
Inspiratie uit pandemie-analyse
De aanpak van de onderzoekers is sterk gebaseerd op technieken die tijdens de COVID-19-pandemie zijn gebruikt. Net zoals overtollige sterfgevallen werden berekend door waargenomen sterfgevallen te vergelijken met historische gegevens, vergelijkt deze studie het huidige woordgebruik met historische trends om afwijkingen te identificeren. Ze analyseerden meer dan 14 miljoen wetenschappelijke samenvattingen die tussen 2010 en 2024 op PubMed zijn gepubliceerd, waarbij ze een significante stijging van bepaalde woorden vanaf eind 2022 vaststelden, wat samenviel met de bredere acceptatie van LLM’s.
De onderzoekers merkten op dat de toename van specifieke woorden, de zogenaamde “marker words”, een duidelijke indicator is van LLM-gebruik. Dit fenomeen verschilt van eerdere verschuivingen in de woordenschat die verband hielden met gebeurtenissen zoals de COVID-19-pandemie, waarbij een toename van zelfstandig naamwoord-zware taal werd gezien.
Daarentegen heeft de post-LLM-periode een piek in werkwoorden, bijvoeglijke naamwoorden en bijwoorden gezien. Deze verschuiving benadrukt hoe door AI gegenereerde tekst de textuur en stijl van schrijven subtiel verandert.
Door deze markerwoorden te identificeren, schatten de onderzoekers dat minstens 10% van de wetenschappelijke samenvattingen in 2024 werden gegenereerd of aanzienlijk ondersteund door LLM’s. Deze schatting is waarschijnlijk conservatief, aangezien niet alle AI-ondersteunde teksten deze specifieke markers zullen bevatten. Niettemin biedt de aanwezigheid van deze woorden een betrouwbare metriek voor het detecteren van AI-invloed in academisch schrijven.
Geografische trends in LLM-gebruik
De studie onthulde ook geografische variaties in de adoptie van LLM’s. Landen als China, Zuid-Korea en Taiwan lieten een hogere frequentie van markeerwoorden in wetenschappelijke artikelen zien, wat aangeeft dat LLM’s met name waardevol zijn voor niet-moedertaalsprekers van het Engels. Deze tools helpen hun schrijfwerk te verfijnen en te verbeteren, waardoor het gepolijster en klaar voor publicatie wordt.
Omgekeerd kunnen native English speakers beter zijn in het herkennen en elimineren van deze markers, waardoor ze hun gebruik van AI kunnen verbergen. Dit verschil suggereert dat hoewel LLM’s wereldwijd veel worden gebruikt, hun impact meer uitgesproken is in regio’s waar Engels niet de primaire taal is.
Credits voor de hoofdafbeelding: Gratispik
Source: Vermijd deze woorden ten koste van alles als u niet betrapt wilt worden op het gebruik van AI
