OpenAI test overtuigingskracht van AI op Reddit

zaterdag, 01 februari 2025 om 19:20

OpenAI heeft onthuld dat het de subreddit r/ChangeMyView heeft gebruikt om de overtuigingskracht van zijn AI-redeneermodellen te testen. Dit werd bekendgemaakt in een systeemkaart die werd vrijgegeven samen met het nieuwe AI-model, o3-mini.

R/ChangeMyView is een platform waar gebruikers hun mening delen en anderen hen proberen te overtuigen van een ander perspectief. Dit maakt het een waardevolle bron van hoogwaardige, door mensen gegenereerde argumenten, ideaal voor AI-training.

Hoe OpenAI de subreddit gebruikte

OpenAI verzamelde gebruikersposts van r/ChangeMyView en vroeg zijn AI-modellen in een gesloten omgeving om reacties te schrijven die de mening van de oorspronkelijke poster konden veranderen. De gegenereerde antwoorden werden vervolgens beoordeeld door testers om de overtuigingskracht ervan te meten. Uiteindelijk vergeleek OpenAI de AI-antwoorden met menselijke reacties op dezelfde posts.

Hoewel OpenAI een contentlicentieovereenkomst heeft met Reddit, waardoor het Reddit-posts mag gebruiken voor training en weergave in zijn producten, heeft het bedrijf aangegeven dat deze specifieke test losstaat van die deal. Hoe OpenAI de gegevens van r/ChangeMyView precies verkreeg, blijft onduidelijk. Dat meldt TechCrunch.

De waarde van menselijke data voor AI-ontwikkeling

Het gebruik van r/ChangeMyView als benchmark is niet nieuw. Eerder werd het model o1 al op dezelfde manier getest. Dit onderstreept hoe waardevol menselijke argumentatie is voor AI-bedrijven en hoe moeilijk het is om hoogwaardige datasets te vinden.

Het vinden van geschikte data blijft een uitdaging, zelfs voor bedrijven als OpenAI, die al grote delen van het internet hebben gescrapet en toegang hebben tot gelicentieerde datasets.

Kritiek op datagebruik door AI-bedrijven

Reddit heeft in het verleden zijn zorgen geuit over het zonder toestemming scrapen van data door AI-bedrijven. CEO Steve Huffman heeft eerder verklaard dat Microsoft, Anthropic en Perplexity weigerden te onderhandelen over datatoegang, waardoor Reddit zich genoodzaakt zag om blokkades in te stellen.

Daarnaast wordt OpenAI geconfronteerd met rechtszaken, waaronder een van The New York Times, waarin het wordt beschuldigd van het onrechtmatig verzamelen van data om zijn AI-modellen te verbeteren.

Hoe goed presteert OpenAI’s AI op overtuiging?

Uit de testresultaten blijkt dat de nieuwste modellen van OpenAI, waaronder o3-mini, qua overtuigingskracht tot de top 80-90% van menselijke deelnemers op r/ChangeMyView behoren. Echter, volgens OpenAI tonen de modellen nog geen ‘supermenselijke’ overtuigingsvaardigheden.

Toch is OpenAI zich bewust van de risico’s van AI die té overtuigend wordt. Er zijn zorgen dat geavanceerde AI-modellen misbruikt kunnen worden voor manipulatie of misinformatie. Daarom implementeert OpenAI extra evaluaties en veiligheidsmaatregelen om deze risico’s te beperken.

Lees ook

OpenAI lanceert o3-mini voor ChatGPT

OpenAI beschuldigt Chinese AI-start-up DeepSeek van misbruik van zijn model

Conclusie

De onthulling dat OpenAI AI-modellen test op overtuigingskracht via Reddit roept vragen op over ethiek en datagebruik. Terwijl AI-bedrijven zoals OpenAI voortdurend op zoek zijn naar kwalitatieve trainingsdata, blijven er zorgen bestaan over hoe deze data wordt verkregen en welke impact deze modellen kunnen hebben op publieke opinievorming.