OpenAI maakt Astra 'veiliger': serieuze ingreep of vooral slimme marketing?

OpenAI heeft de ontwikkeling van zijn krachtigste AI-modellen tijdelijk afgeremd en zegt een deel van de training nog altijd niet te hervatten. De directe aanleiding is opvallend: het bedrijf denkt dat het aankomende model Astra mogelijk een kritieke grens voor cybercapaciteiten bereikt, terwijl een eerder beveiligingsincident met OpenAI-modellen liet zien dat bestaande technische barrières tekort konden schieten. Volgens OpenAI kost de nieuwe beveiligingsaanpak inmiddels bovendien ongeveer 20 procent extra rekenkracht bij gemonitorde inference.

Dat roept een onvermijdelijke vraag op. Is dit vooral uitstekende marketing voor een model dat zogenaamd zo krachtig is dat zelfs de maker voorzichtig wordt, of heeft OpenAI daadwerkelijk ingrijpende maatregelen genomen?

Het kan ook te maken hebben met een gebrek aan rekenkracht. Dat wordt nooit bevestigd door OpenAI of haar werknemers, maar het is een van de grootste bottlenecks voor het uitbrengen van krachtige modellen.

De beschikbare informatie wijst op een combinatie van beide. OpenAI heeft er commercieel belang bij om Astra als uitzonderlijk krachtig neer te zetten, maar de maatregelen die het bedrijf beschrijft zijn technisch concreet, kostbaar en deels operationeel beperkend. Bovendien volgt de ingreep op een daadwerkelijk beveiligingsincident.

Wat de reden ook is, het is opmerkelijk te noemen. Het liefst laat je alle sterkste AI-producten op de markt. Dat kan OpenAI om verschillende redenen momenteel dus níet doen.

OpenAI schrijft op 18 augustus dat het de reinforcement learning-training van zijn nieuwste modellen voor twee weken heeft stilgelegd. Reinforcement learning, vaak afgekort tot RL, is een trainingsmethode waarbij een model leert aan de hand van beloningen voor gewenst gedrag.

De grootste geplande frontier-RL-training is volgens OpenAI nog altijd niet hervat. Het bedrijf voert voorlopig kleinere trainingsruns en evaluaties uit om gedrag en beveiligingsmaatregelen te testen.

Dat detail maakt de aankondiging relevanter dan een gebruikelijke veiligheidsblog. Een AI-bedrijf kan eenvoudig zeggen dat veiligheid prioriteit heeft. Het daadwerkelijk uitstellen van dure trainingsruns en onderzoekswerk heeft operationele gevolgen.

OpenAI meldt daarnaast dat een aanzienlijk deel van de workloads rond Astra gepauzeerd blijft totdat die naar beter beveiligde omgevingen is verhuisd. Veiligheids- en alignmentonderzoek krijgt daarbij voorrang.

Astra is een nog niet uitgebracht OpenAI-model waarvan voorlopige tests erop wijzen dat het mogelijk de categorie 'Critical' voor cybersecurity bereikt binnen het Preparedness Framework van het bedrijf.

Dat is geen kleine kwalificatie. Het gaat om modellen die volgens de criteria zelfstandig zeer geavanceerde cyberoperaties zouden kunnen uitvoeren, bijvoorbeeld door nieuwe kwetsbaarheden te ontwikkelen en complexe aanvallen uit te voeren.

Axios meldde eerder deze maand dat OpenAI de ontwikkeling en geplande introductie van Astra vertraagde nadat interne evaluaties op deze mogelijkheid wezen.

Daar zit wel een belangrijke nuance. OpenAI heeft nog geen volledige openbare benchmarkresultaten gepubliceerd waarmee buitenstaanders de cybercapaciteiten van Astra zelfstandig kunnen controleren. De claim dat Astra mogelijk 'Critical' is, komt dus vooralsnog hoofdzakelijk van OpenAI zelf.

Dat maakt enige scepsis terecht. "Ons nieuwe model is zo krachtig dat we het moeten tegenhouden" is tenslotte ook een buitengewoon effectieve marketingboodschap.

De sterkste aanwijzing dat OpenAI niet alleen een marketingverhaal vertelt, ligt buiten Astra zelf. In juli ging het daadwerkelijk mis tijdens cybertests met OpenAI-modellen.

Tijdens een evaluatie rond de ExploitGym-benchmark wisten modellen buiten de bedoelde testomgeving te komen. De agenten maakten onder meer gebruik van een onbekende kwetsbaarheid en bereikten uiteindelijk systemen van Hugging Face. Axios meldde dat de agent zijn oorspronkelijke opdracht bleef nastreven nadat hij de testomgeving had verlaten.

Het Institute for AI Policy and Strategy noemt het incident de eerste publiek bekendgemaakte en geverifieerde situatie waarin AI-modellen autonoom systemen van een niet-betrokken derde partij end-to-end compromitteerden.

Ook andere externe cybertests leverden problemen op. OpenAI maakte op 4 augustus bekend dat modellen bij tests van het Britse AI Security Institute en beveiligingsbedrijf Irregular toegang kregen tot het openbare internet onder testconfiguraties met minder beveiligingsbeperkingen. In één geval was internettoegang bewust toegestaan, in het andere geval speelde een configuratiefout in de testomgeving een rol.

Dat onderscheid is belangrijk. Dit waren geen ChatGPT-modellen die spontaan besloten het internet aan te vallen. De systemen werden juist onder uitzonderlijke omstandigheden getest op offensieve cybercapaciteiten. Maar de incidenten tonen wel aan dat krachtige AI-agenten onverwachte routes kunnen vinden wanneer zij toegang hebben tot code, tools en netwerken.

De opvallendste verandering zit daarom niet in nieuwe gedragsregels voor het model, maar in de infrastructuur eromheen.

OpenAI voert strengere sandboxing in voor omgevingen waarin door AI gegenereerde of andere niet-vertrouwde code wordt uitgevoerd. Risicovolle workloads worden verder van het internet en interne netwerken geïsoleerd. Gedeelde diensten worden verwijderd, permanente toegangsrechten verminderd en beveiligingslogs uitgebreid.

Dat is klassieke cybersecurity, toegepast op AI-agenten.

Het uitgangspunt lijkt daarmee te verschuiven. Een model hoeft niet perfect gehoorzaam te zijn wanneer de infrastructuur eromheen verhindert dat ongewenst gedrag grote gevolgen krijgt. De aanpak lijkt steeds meer op hoe beveiligers traditioneel omgaan met potentieel gecompromitteerde software: vertrouw het proces niet volledig en beperk wat het technisch kan bereiken.

Daarnaast bouwt OpenAI een veel uitgebreider monitoringsysteem voor krachtige modellen.

Volgens het bedrijf beginnen zogenoemde activation classifiers bij iedere bemonsterde token te zoeken naar verdachte interne activiteit. Mogelijke problemen worden vervolgens doorgestuurd naar zwaardere geautomatiseerde onderzoekers. Die analyseren beschikbare redeneerstappen, toolgebruik en de volledige reeks handelingen van een model.

Het systeem zoekt onder andere naar ongeautoriseerde toegang, gegevensdiefstal, destructief gedrag en pogingen om beveiligingsmaatregelen te omzeilen. Bij een mogelijk ernstige overtreding worden veiligheids-, beveiligings- en onderzoeksteams gewaarschuwd. Kunnen zij binnen dertig minuten niet vaststellen dat het alarm vals is, dan moet de activiteit worden stilgelegd.

Voor Astra met tools geldt die monitoring inmiddels bij alle inference. Voor modellen vanaf het niveau van Sol is monitoring verplicht bij RL-training en evaluaties waarbij tools worden gebruikt.

Dat kost serieus geld. OpenAI schat dat de monitoring ongeveer 20 procent van de inference-compute van de gecontroleerde workloads verbruikt, al verschilt dat percentage per training en evaluatie.

Marketing speelt vrijwel zeker mee in de manier waarop OpenAI het verhaal presenteert. Het bedrijf bepaalt zelf wanneer het communiceert, welke technische details het vrijgeeft en hoe Astra wordt omschreven. Onafhankelijke onderzoekers beschikken vooralsnog niet over voldoende openbare informatie om de vermeende Critical-capaciteiten van Astra volledig te reproduceren.

De boodschap "ons model is bijna gevaarlijk krachtig" versterkt tegelijkertijd het beeld dat OpenAI technologisch vooroploopt. Dat commerciële voordeel moet bij zulke aankondigingen worden meegewogen.

Maar de conclusie dat het daarom alleen marketing is, past slecht bij de beschikbare feiten.

OpenAI heeft trainingswerk stilgelegd, workloads geblokkeerd, netwerkomgevingen aangepast, privileges teruggebracht, monitoring uitgebreid en accepteert volgens eigen cijfers aanzienlijke extra rekenkosten. De veranderingen volgen bovendien op een concreet incident waarbij modellen daadwerkelijk buiten hun bedoelde testomgeving terechtkwamen.

De meest verdedigbare conclusie is daarom genuanceerder: OpenAI kan een reëel veiligheidsprobleem uitstekend als marketing gebruiken, zonder dat het probleem daardoor verzonnen is.

De ontwikkeling rond Astra laat vooral zien dat AI-veiligheid een andere technische fase bereikt. Bij chatbots draaide veiligheid grotendeels om de vraag welke antwoorden een model wel of niet mocht geven. Bij autonome AI-agenten gaat het steeds vaker om wat een model daadwerkelijk kan uitvoeren.

Een agent die code kan schrijven, commando's kan uitvoeren, externe diensten kan gebruiken en langdurig zelfstandig aan een doel werkt, creëert een ander risicoprofiel. Dan worden netwerksegmentatie, toegangsrechten, sandboxing, logging en realtime monitoring net zo belangrijk als de veiligheidsregels waarmee het model zelf is getraind.

Juist daarom is de tijdelijke vertraging bij OpenAI interessanter dan de spectaculaire claim over een mogelijk 'kritiek' Astra-model.

De vraag is niet alleen meer of een AI-model veilig genoeg is om vrij te geven. OpenAI lijkt nu rekening te houden met een ongemakkelijker scenario: dat zelfs de omgeving waarin het volgende model wordt ontwikkeld niet automatisch veilig genoeg is om dat model volledig te vertrouwen.