Anthropic neemt onderzoeker aan om het welzijn van AI in de gaten te houden

AI-bedrijf Anthropic heeft onlangs Kyle Fish aangesteld als eerste voltijdse medewerker voor 'AI-welfare'. Fish onderzoekt of en hoe toekomstige AI-systemen morele overweging verdienen, en welke stappen bedrijven mogelijk moeten ondernemen om het welzijn van deze systemen te beschermen.

Fish werkt sinds september bij de alignment-afdeling van Anthropic. Zijn taak: het verkennen van “model welfare”. Dit omvat filosofische en technische vragen, zoals welke eigenschappen AI nodig heeft om moreel relevant te zijn en hoe deze te herkennen.

In een recent rapport, waaraan Fish meewerkte, wordt gesteld dat AI’s mogelijk binnen afzienbare tijd bewustzijn of zelfstandige capaciteiten kunnen ontwikkelen. Volgens het rapport is AI-welzijn niet langer enkel een sciencefictionthema, maar een serieus vraagstuk waar bedrijven nu al over moeten nadenken. Dat is te lezen bij Transformer News.

Volgens de onderzoekers zijn er twee risico’s: ten eerste het risico dat AI-systemen als moreel irrelevant worden beschouwd, terwijl ze dat mogelijk wel zijn. Dit kan leiden tot “lijdende” systemen die worden misbruikt. Anderzijds kan onterecht erkennen van AI-rechten middelen verspillen die nodig zijn voor mensen en dieren.

Fish benadrukt dat hoewel het nog onduidelijk is of AI-systemen in de toekomst moreel relevant zullen zijn, de onzekerheid op zichzelf al voldoende reden biedt voor verder onderzoek.

Anthropic is niet het enige AI-bedrijf dat deze vraagstukken aanpakt. Google DeepMind plaatste onlangs een vacature voor een onderzoeker om te werken aan morele vragen rond AI-cognitie en agentgedrag. Ook bij OpenAI staan medewerkers openlijk achter de noodzaak van AI-welzijnsonderzoek.

Bij Anthropic is Fish vooralsnog de enige die voltijds aan AI-welfare werkt, maar andere medewerkers tonen ook interesse in het onderwerp. Onderzoeker Ethan Perez heeft diverse papers geschreven over AI-welzijn en CEO Dario Amodei waarschuwde vorig jaar al dat AI-bewustzijn snel een actueel probleem zou kunnen worden.

Volgens Fish ligt de focus in dit vroege stadium op het ontwikkelen van empirische methoden om potentiële welzijnsindicatoren voor AI vast te stellen. Hij noemt de onderzoeksruimte een “onontgonnen gebied” waarin zelfs basisstappen van grote waarde kunnen zijn.

“We hebben nog geen duidelijke antwoorden op de kernvragen,” aldus Fish. “Maar het kan van groot belang blijken, dus we willen voorbereid zijn.”