Naar inhoud springen

MIT laat zien hoe een AI-detector vermomde teksten beter herkent

Nieuws
Vergrootglas op een open notitieboek met blanco pagina's, naast een vulpen op een lichtblauw bureau.
Een AI-detector van MIT en Cornell herkende in een proef 93,3 procent van de vermomde AI-teksten. Die waren herschreven om een detector te ontwijken. De betaalde tool Pangram kwam bij dezelfde teksten op 27 procent.
MIT beschrijft de aanpak van Kevin Ren, Manish Raghavan en Nikhil Garg. Hun studie verscheen voor het eerst in juni. De cijfers komen uit de bijgewerkte versie van oktober.

De AI-detector leert van nieuwe teksten

Een gewone detector leert van voorbeelden met een bekende herkomst: teksten van mensen en teksten die AI maakte. Hij zoekt patronen om die twee groepen uit elkaar te houden. Bij nieuwe teksten gebruikt hij wat hij eerder heeft geleerd.
Die kennis kan achterlopen als het taalgebruik verandert of er nieuwe AI-modellen komen. Ook tools die een tekst herschrijven kunnen de patronen verstoren waar de detector naar kijkt. Een oude test kan daardoor meer AI-tekst missen.
De aanpak heet test-time adaptation: het model leert ook als het al wordt gebruikt. Het krijgt een groep recente stukken zonder een label dat zegt wie de tekst schreef. Het moet zelf patronen in die groep vinden.

Herschrijven en herkennen in dezelfde proef

De paper uit oktober beschrijft proeven met abstracts, de korte teksten bij papers uit de wetenschap. Het team nam teksten van mensen en maakte ook AI-versies. Een aparte testset bleef weg uit de training om de uitkomsten later te kunnen vergelijken.
Het team liet daarna een agent opdrachten bedenken om AI-teksten te herschrijven en zo een vaste detector te misleiden. De nieuwe aanpak kreeg juist recente teksten uit die veranderende groep. Daarmee kon het model zich aan de nieuwe patronen aanpassen.
De echte labels bleven tijdens dat bijleren voor het model verborgen. Het team kende ze wel voor de test achteraf. Zo kon het de uitslag vergelijken met de herkomst en meten hoeveel vermomde AI-tekst het systeem herkende.

Wat zegt de score van 93,3 procent?

De score gaat over de herschreven AI-teksten in de proef. Ook een stuk van een mens kan een fout AI-label krijgen. Dat kan de schrijver schade doen, merkt het team op. Voor echt gebruik telt dus ook hoe vaak die fout voorkomt.
Voor gebruik op school zijn tests met de taal en het werk van leerlingen nodig. Deze studie geeft nog geen uitslag voor een willekeurige opdracht of leerling.
Het basismodel DistilBERT leerde eerst van Engelse tekst. De modelkaart noemt boeken en de Engelse Wikipedia. Voor gebruik in een andere taal is dus eigen meetwerk nodig; de proefscore zegt nog niet hoe goed de test in het Nederlands werkt.
Het team noemt ook een open vraag: taal van mensen en AI kan meer op elkaar gaan lijken. Dan wordt het lastiger om de twee uit elkaar te houden. Hoe ver een detector daarin kan komen, is nog onbekend.

Een watermerk geeft een ander soort signaal

Sommige tests zoeken naar een signaal dat aan een bestand is toegevoegd. AI Wereld schreef over Googles test voor AI-watermerken in beeld en geluid. Die uitslag hangt af van wat de dienst bij het maken heeft meegegeven.
Dat speelt ook bij het watermerk in Claude-tekst. Hulp van AI bij redigeren of vertalen kan zo'n signaal toevoegen. Wie de uitslag beoordeelt, moet dus weten hoe de tekst tot stand kwam.
Voor de bijlerende detector deelt het team code op GitHub voor de training en de proeven. De README noemt DistilBERT als basismodel en gebruikt de Transformers-software van Hugging Face.
loading

Populair nieuws

Laatste reacties

Loading