Cloudflare heeft plannen aangekondigd om webcrawlers voor gemengd gebruik te blokkeren die websites indexeren voor zoekmachines en als AI-agenten dienen. Deze verschuiving markeert een afwijking van het eerdere beleid van het bedrijf, waarbij klanten zich konden afmelden voor het doorzoeken van hun sites op AI-chatbots. Cloudflare neemt nu standaard een meer defensieve houding aan.
CEO Matthew Prince verklaarde: “Nu het merendeel van het internetverkeer niet-menselijk is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan.” Het nieuwe beleid is bedoeld om website-eigenaren meer controle te geven over hoe hun inhoud door AI-bedrijven wordt gebruikt, terwijl de zichtbaarheid en commerciële kansen behouden blijven.
Vanaf 15 september 2026 zullen nieuwe klanten en bestaande Cloudflare-abonnees die nieuwe websites lanceren standaard zoeken toestaan, maar AI-training en agentgebruik blokkeren voor pagina’s waarop advertenties worden gehost. Crawlers voor gemengd gebruik waarmee site-eigenaren het AI-gebruik niet kunnen controleren, worden ook geblokkeerd op door advertenties ondersteunde pagina’s. Gebruikers van gratis accounts zullen overstappen op deze nieuwe standaardinstellingen, tenzij ze zich vóór de deadline afmelden.
Cloudflare verbetert zijn Pay Per Crawl-functie, nu Pay Per Use genoemd. Door deze wijziging kunnen site-eigenaren inkomsten verdienen op basis van de manier waarop hun inhoud wordt gebruikt in AI-chatbotreacties, in plaats van alleen maar op basis van crawls. Momenteel werkt het bedrijf samen met Ceramic.AI en You.com, wat erop wijst dat er nog meer AI-bedrijven bij betrokken zullen worden.
Het beleid lijkt ook indirect op Google gericht. De aankondiging van Cloudflare geeft aan dat de “grootste zoekmachine toegang heeft tot ongeveer 2x meer informatie dan toonaangevende AI-bedrijven”, omdat het zoekindexering integreert met AI-training. Googlebot is verantwoordelijk voor zowel indexering als training, maar het ontbreekt uitgevers aan mogelijkheden om het gebruik van inhoud te scheiden van traditionele zoek- en AI-applicaties.
Cloudflare heeft tot doel crawlers voor gemengd gebruik aan te moedigen een duidelijker onderscheid te maken tussen zoek- en AI-trainingsfuncties. De nieuwe maatregelen zijn gepositioneerd als een strategie om Google en andere bedrijven met soortgelijke praktijken ertoe aan te zetten hun aanpak te herzien.
