Cloudflare beschuldigt Perplexity van webcrawlen ondanks blokkades

Cloudflare, één van de grootste Amerikaanse bedrijven in internetinfrastructuur, beschuldigt de AI-zoekdienst Perplexity ervan bewust websites te bezoeken die expliciet verboden hadden data te delen. Volgens een nieuw rapport, gepubliceerd door Cloudflare deze maand, negeert Perplexity website-eigenaren die de toegang van crawlers hebben geweigerd. Perplexity zou bots gebruiken die zich verhullen als bijvoorbeeld Google Chrome op een Mac, zodat ze toch binnenkomen op geblokkeerde sites, aldus The Verge op 4 augustus. 

Websitebeheerders- en makers kunnen met een robots.txt bestand of firewallregels aangeven welke pagina's op hun website wel of niet niet geïndexeerd moeten worden door crawlers. Een crawler is een soort bot die systematisch webpagina's indexeert. Zoekmachines maken hier gebruik van om een goed beeld te krijgen van alle websites. Als de eigenaar van een website niet wil dat de site of bepaalde pagina's niet worden geïndexeerd, kunnen ze dit met robots.txt aangeven. Jarenlang was dit de standaard, maar nu blijkt dat AI-bedrijven robots.txt dit bestandje steeds vaker omzeilen.

Wanneer Perplexity’s officiële bots, zoals PerplexityBot, worden geblokkeerd, zou het bedrijf van identiteit wisselen: het verstuurt vanaf andere IP-adressen en servers die niet in hun officiële IP-lijst staan. Daarbij gebruikt het bedrijf bots die zich voordoen als gewone browsers. Daarnaast verandert Perplexity vaak van Autonomous System Number (ASN), het netwerknummer dat hoort bij een specifiek bedrijf, om blokkades te omzeilen. Cloudflare ontdekte dat dit gedrag dagelijks voorkomt op tienduizenden websites.

In een reactie op de beschuldigingen van Cloudflare noemt Perplexity de ontdekking een “publiciteitsstunt”. De startup stelt dat hun AI-gestuurde hulpagents alleen pagina’s ophalen wanneer een gebruiker daarom vraagt. Perplexity zou ook verkeerd zijn geïnterpreteerd door Cloudflare, meldt het bedrijf.

Cloudflare heeft Perplexity verwijderd van zijn lijst met goedgekeurde bots en stuurt nu nieuwe regels uit om dergelijk gedrag te blokkeren. Cloudfare CEO Matthew Prince noemde deze strategie vergelijkbaar met die van cybercriminelen ("zoals Noord-Koreaanse hackers") en roept op tot transparantie van AI-bedrijven over hoe zij data verzamelen.