OpenAI heeft beveiligingsbedrijf Promptfoo overgenomen. De startup ontwikkelt tools die organisaties helpen kwetsbaarheden in AI-systemen op te sporen en te verhelpen. De technologie van Promptfoo is geïntegreerd in
OpenAI Frontier, een platform dat bedrijven gebruiken om AI-agents te beheren.
Met de overname wil OpenAI de veiligheid van
AI-agents binnen organisaties verbeteren. Deze digitale assistenten, door OpenAI zelf ook wel “AI-collega’s” genoemd, zijn steeds vaker ingezet voor taken zoals data-analyse, klantenservice en interne automatisering. Tegelijkertijd ontstaan er nieuwe beveiligingsrisico’s.
Bescherming tegen promptinjecties en datalekken
Promptfoo ontwikkelt software die kwetsbaarheden in AI-systemen kan detecteren. Daarbij gaat het onder meer om problemen zoals:
- promptinjecties
- jailbreaks van AI-modellen
- datalekken
- misbruik van tools
- AI-gedrag dat buiten bedrijfsregels valt
Door Promptfoo te integreren in Frontier wil OpenAI bedrijven beter laten zien hoe hun AI-systemen functioneren en waar mogelijke risico’s liggen. Organisaties kunnen zo sneller ingrijpen wanneer een AI-agent ongewenst gedrag vertoont.
Steeds meer bedrijven gebruiken AI-agents
Volgens de oprichters van Promptfoo gebruikt inmiddels meer dan een kwart van de Fortune 500-bedrijven hun platform om AI-systemen te testen en te beveiligen. Dat onderstreept hoe snel AI-agents hun weg vinden naar grote ondernemingen.
Frontier moet bedrijven helpen deze AI-agents centraal te beheren. Zo kunnen organisaties bijvoorbeeld bepalen:
- welke taken een AI-agent mag uitvoeren
- welke systemen toegankelijk zijn
- welke informatie gebruikt mag worden
Door beveiligingstools zoals Promptfoo te integreren wil OpenAI voorkomen dat AI-agents onbedoeld gevoelige informatie lekken of misbruik maken van bedrijfssoftware.
Open source blijft onderdeel van het project
Naast het commerciële platform werkt Promptfoo ook aan een open-source commandline-tool en bibliotheek voor het evalueren en “red-teamen” van
LLM-applicaties. Daarmee kunnen ontwikkelaars AI-systemen actief testen op kwetsbaarheden.
OpenAI heeft aangekondigd dat het deze open-sourceprojecten wil blijven ondersteunen en samen met het Promptfoo-team verder wil ontwikkelen.
Promptfoo is opgericht in 2024 en groeide snel dankzij de toenemende vraag naar AI-beveiliging. Over de financiële details van de overname heeft OpenAI niets bekendgemaakt.