Onderzoekers proberen AI te manipuleren voor betere peer reviews

Wetenschappers hebben een creatieve, of misschien wel slinkse, manier gevonden om de kans op een positieve beoordeling van hun werk te vergroten. Uit een onderzoek van Nikkei Asia blijkt namelijk dat meerdere academische papers opzettelijk verborgen AI prompts bevatten. Deze prompts zijn bedoeld om AI systemen, die steeds vaker worden ingezet bij peer reviews, positief te stemmen over het onderzoek.

In totaal trof Nikkei Asia 17 wetenschappelijke papers aan op de preprint site arXiv die zulke verborgen aanwijzingen bevatten. De truc? De prompts waren verstopt in witte tekst of met een extreem klein lettertype, zodat menselijke lezers ze niet zouden opmerken. Maar AI modellen die de tekst analyseren, lezen natuurlijk alles inclusief deze subtiele instructies.

De inhoud van de prompts was opvallend direct: sommige vroegen de AI om alleen positieve feedback te geven, anderen prezen het werk zelf alvast als “methodologisch sterk” of “baanbrekend”. Een slimme manier om het beoordelingsproces te beïnvloeden, al roept het ook de nodige ethische vragen op.

De papers kwamen van onderzoekers die verbonden zijn aan 14 verschillende universiteiten in acht landen. Onder andere Waseda University in Japan, KAIST in Zuid-Korea en Columbia University in de Verenigde Staten worden genoemd. De meeste van deze papers vallen binnen het vakgebied van de computerwetenschappen.

Opvallend is dat een professor van Waseda University het gebruik van de verborgen prompts verdedigde. Volgens hem is het geen poging tot misleiding, maar juist een tegenzet tegen “luie reviewers” die AI gebruiken om hun beoordelings werk af te raffelen. Als AI het werk gaat beoordelen, waarom zou je dan niet ook AI beïnvloeden?

De ontdekking werpt een nieuw licht op de manier waarop AI wordt gebruikt, en misbruikt, in de academische wereld. Het lijkt erop dat de strijd om een goede review niet alleen meer gaat om de inhoud van de paper, maar ook om wie de sluwste prompt schrijver is.