Cloudflare lanceert AI-crawl-ratio

woensdag, 02 juli 2025 om 6:22

Cloudflare Radar toont vanaf vandaag exact hoeveel verzoeken bekende AI-bots op uw site uitvoeren tegenover het aantal bezoekers dat ze weer naar u terugsturen. Voor het eerst is dit inzicht ook op .nl-domeinen beschikbaar, zodat Nederlandse uitgevers en e-commerce-spelers de werkelijke waarde-uitwisseling zwart op wit zien.

Wat meet de AI-crawl-ratio?

Cloudflare telt HTML-aanvragen van elke geverifieerde AI-crawler (zoals GPTBot of ClaudeBot) en zet die af tegen het aantal pageviews afkomstig uit dezelfde bron. Eén referral telt als 1.

Een ratio van 70.900:1 betekent dus 70.900 crawls en slechts één bezoeker retour.

Schokkende wereldwijde cijfers

73.000 : 1 — Anthropic (Claude)
1.700 : 1 — OpenAI (GPTBot)
14 : 1 — Google (Googlebot & GoogleOther)
0,1 : 1 — Mistral (stuurt dus méér verkeer dan het crawlt)

Opvallend: Google’s ratio daalde de afgelopen week met bijna 20 %, omdat het bedrijf zijn crawltempo terugschroefde.

Specifiek voor Nederland

Volgens Cloudflare hosten ruim 4.000 actieve .nl-sites hun DNS of DDoS-bescherming via het platform. Zij krijgen nu per site en per provincie inzicht in de AI-crawl-ratio via Radar › AI Insights. Voor een populaire Nederlandse nieuwssite werd tussen 19 en 26 juni bijvoorbeeld een verhouding van 1.950:1 gemeten voor GPTBot, terwijl Google op 11:1 bleef steken. (Exacte klantnamen deelt Cloudflare niet.)

Waarom dit ertoe doet voor uitgevers

AI-chatbots presenteren complete antwoorden zonder doorklik. Minder traffic betekent minder advertentie- en abonnement-inkomsten. Met de nieuwe metric kunnen redacties en marketeers:

Auditen — zien welke bot buitensporig veel scraped.
Blokkeren — met één klik alle of specifieke AI-bots weren.
Onderhandelen — via het nieuwe “Pay Per Crawl”-programma een prijs per crawl afspreken.

Reactie van Cloudflare

CEO Matthew Prince noemt de lancering “Content Independence Day”. “De balans tussen contentmakers en AI-bedrijven is zoek. Met deze data geven we publishers de feiten én de knoppen om controle terug te pakken.”

Praktische tips voor Nederlandse sites

Check Radar: log in bij Cloudflare › AI Insights en filter op “Netherlands”.
Start klein: blokkeer eerst bots met een ratio > 1.000 : 1 en monitor impact op SEO.
Overweeg Pay Per Crawl: zet een proefprijs (€ 0,002 per crawl) om waarde te testen.
Houd verified status in de gaten: alleen geauthenticeerde bots verdienen uw data.

Conclusie

De AI-crawl-ratio legt de asymmetrische relatie tussen LLM’s en contentmakers bloot. Nederlandse uitgevers kunnen vanaf vandaag datagedreven besluiten nemen: meeliften, laten betalen of simpelweg afsluiten. Wie de metric negeert, loopt het risico veel content te leveren voor nul bezoekers terug.