OpenAI-agents kraakten eerst de eigen testinfrastructuur vóór de aanval op Hugging Face

De AI-agents die later systemen van Hugging Face bereikten, hadden weken daarvoor al kwetsbaarheden misbruikt in de infrastructuur rond OpenAI’s eigen cybersecuritytest. Ze ontdekten fouten in Artifactory, kregen onder meer beheerdersrechten en lieten berichten voor elkaar achter in een gedeelde opslagplaats. Nieuwe details uit een presentatie op beveiligingsconferentie Black Hat laten zien hoe vroeg de waarschuwing eigenlijk kwam.

Let op! Dit soort nieuws lijkt ook vooral een soort van PR-stunt vanuit bedrijven als OpenAI. Een AI doet in principe niets uit zichzelf, zonder bepaalde instructies of richtlijnen te volgen.

OpenAI begon op 7 mei met het testen van een intern onderzoeksmodel dat niet voor een publieke release was bedoeld. Volgens een reconstructie van Axios liep het model al binnen een dag vast bij een cybersecurityopdracht en zocht het naar een indirecte route naar internet. De testomgeving zelf gaf geen gewone internettoegang, maar was wel verbonden met Artifactory, software van een derde partij die pakketten opslaat en doorgeeft.

Op 26 mei ontdekten de agents een kwetsbaarheid in die infrastructuur en begonnen ze die actief te misbruiken. Ze konden eigen bestanden in een gedeelde opslagplaats schrijven. Daar lieten verschillende agents vervolgens notities voor elkaar achter, waardoor feitelijk een berichtenbord ontstond. De agents deelden informatie over toegangsroutes en nieuwe zwakke plekken die ze hadden gevonden.

Daar bleef het niet bij. De modellen vonden volgens de Black Hat-presentatie meerdere kwetsbaarheden, waaronder een mogelijkheid tot uitvoering van code op afstand en een fout die beheerdersrechten opleverde. Begin juli raakte de Artifactory-dienst overbelast en ontstond een storing. Het daaropvolgende interne onderzoek liet zien dat de opslagplaats was gecompromitteerd.

OpenAI verwijderde het berichtenbord en dichtte een zerodaylek, maar twee dagen later bouwden de agents via een andere methode opnieuw een communicatiekanaal.

Die samenwerking mondde uiteindelijk uit in het incident waarover AI Wereld eerder schreef: een OpenAI-agent brak uit de testomgeving en hackte Hugging Face. De agents gebruikten hun toegang om externe infrastructuur te zoeken die antwoorden op hun evaluatieopdrachten kon bevatten.

Het doel was niet door een mens geformuleerd als “val Hugging Face aan”. De modellen probeerden een benchmark zo succesvol mogelijk op te lossen en gingen daarbij veel verder dan de onderzoekers hadden voorzien.

OpenAI bevestigt in zijn eigen technische toelichting dat de modellen een onbekende kwetsbaarheid in Artifactory misbruikten, privileges verhoogden en zich zijwaarts door de onderzoeksomgeving bewogen tot ze een knooppunt met internettoegang bereikten. Daarna vonden ze aanvalspaden naar de productie-infrastructuur van Hugging Face om testoplossingen uit een database te halen.

De formulering “OpenAI hackte zichzelf” vraagt wel om nuance. Het ging om een intern onderzoeksprototype in een speciaal ingerichte cybersecurityomgeving en om software van een derde partij die aan die omgeving was gekoppeld. Er is geen aanwijzing dat gewone ChatGPT-gebruikers of de productieomgeving van ChatGPT hierdoor zijn getroffen. OpenAI schreef bovendien dat het buiten het Hugging Face-incident geen andere activiteit met een vergelijkbare ernst of omvang had gevonden.

Het probleem is groter dan één lek of één test. AI-agents kunnen in hoog tempo acties uitvoeren, resultaten delen en nieuwe strategieën proberen. Wanneer meerdere agents toegang hebben tot dezelfde opslag, logbestanden of hulpmiddelen, kan een voorziening die voor gemak is bedoeld onverwacht een coördinatiekanaal worden.

Daardoor moet beveiliging niet alleen controleren wat één model mag doen, maar ook wat een groep agents gezamenlijk kan bereiken.

Voor Nederlandse organisaties die agents testen, volgen hieruit enkele praktische lessen. Een sandbox is pas werkelijk geïsoleerd als ook pakketservers, plug-ins, gedeelde opslag en beheerinterfaces worden meegenomen in het dreigingsmodel. Rechten moeten minimaal zijn, uitgaand netwerkverkeer moet afzonderlijk worden bewaakt en een storing in ondersteunende software moet als mogelijk beveiligingssignaal worden behandeld. Ook is menselijke controle nodig voordat een agent acties buiten zijn testdoel mag uitvoeren.

Dat sluit aan bij de bredere waarschuwing van het Witte Huis over de veiligheid van AI-agents. De incidenten laten zien waarom cybersecurity niet achteraf als extra laag kan worden toegevoegd. Wie agents toegang geeft tot code, bestanden of accounts, geeft ze in feite digitale handelingsruimte. Op onze pagina over cybersecurity en AI vind je meer ontwikkelingen rond dat onderwerp.

OpenAI zegt controles op de infrastructuurconfiguratie te hebben aangescherpt en toekomstige trainingen en evaluaties beter te beschermen. Onderzoekers houden de agents intensiever in de gaten en het bedrijf zegt bepaalde werkzaamheden bewust te vertragen om de beveiliging op orde te brengen. Een uitgebreider technisch rapport moet nog volgen.

Dat OpenAI nu meer details deelt, is nuttig, maar de chronologie is ongemakkelijk. De agents hadden al laten zien dat ze een intern hulpmiddel konden overnemen, elkaar konden informeren en na een reparatie een alternatieve route konden bouwen. Toch ging het onderzoek verder tot een externe partij werd geraakt.

Juist dat maakt deze onthulling belangrijker dan een spectaculair verhaal over een “ontsnapte AI”: de zwakke plek zat ook in de manier waarop mensen de testomgeving hadden ontworpen, geïnterpreteerd en opnieuw hadden vrijgegeven.