Apple heeft recentelijk de Applebot Extended geïntroduceerd, wat een uitbreiding is van hun bestaande web crawler. Met deze tool kunnen website eigenaren bepalen of hun content mag worden gebruikt voor het trainen van kunstmatige intelligentie (AI) modellen. Apple heeft het product ontworpen als reactie op zorgen over het ongevraagd gebruik van data voor
AI training, toch blijken veel bedrijven niet gediend voor het openstellen van hun eigen data.
Hoewel Applebot Extended nog maar net komt kijken, hebben een aantal websites deze al
geblokkeerd. Dit houdt in dat ze actief hun robots.txt-bestanden bijwerken om bepaalde bots, zoals Applebot Extended, te blokkeren als ze geen commerciële overeenkomsten hebben met de AI-bedrijven die deze bots beheren. Belangrijke platforms zoals Facebook en Instagram zijn er niet van gediend om hun data open te stellen voor AI training. Ze hebben dan ook snel gereageerd door hun data uit te sluiten van Apple's AI training.
Ook zijn veel grote mediabedrijven zoals The New York Times, The Financial Times, The Atlantic, Vox Media en Condé Nast (het moederbedrijf van WIRED) overgegaan tot het blokkeren van de Applebot Extended. Deze bedrijven kiezen ervoor om hun data te beschermen totdat er commerciële overeenkomsten zijn waarin de waarde van hun content wordt erkend en gecompenseerd.
Anthropic onder vuur voor agressieve dataverzameling
Apple is niet het enige bedrijf dat kritiek krijgt te verduren. Ook het AI bedrijf Anthropic, dat wordt gezien als een sterke concurrent van OpenAI, wordt
beschuldigd van agressieve dataverzameling van websites zoals Freelancer.com en iFixit.com.
Freelancer.com rapporteerde maar liefst 3,5 miljoen bezoeken van een Anthropic webcrawler binnen een tijdsbestek van vier uur, wat veel meer is dan gebruikelijk. Ook iFixit.com ondervond 1 miljoen hits in 24 uur, wat leidde tot verstoringen. Hoewel de websites het protocol ‘robots.txt’ gebruikten om crawlers te reguleren, zou Anthropic deze regels hebben genegeerd.