Cloudflares Kreuzzug gegen die AI-Crawler

Am 1. Juli rief Cloudflare, der größte Anbieter für digitale Infrastruktur- und Sicherheitsdienste, den Content Independence Day aus:

That changes today, July 1, what we’re calling Content Independence Day. Cloudflare, along with a majority of the world's leading publishers and AI companies, is changing the default to block AI crawlers unless they pay creators for their content. That content is the fuel that powers AI engines, and so it's only fair that content creators are compensated directly for it.

Das hat große Wellen geschlagen, weil Cloudflare damit ironischerweise das Unternehmen bevorzugt, das die Abwärtsspirale der Publisher maßgeblich zu verantworten hat: Google. Cloudflare kann nämlich nicht den herkömmlichen Googlebot blocken, andernfalls würden keine neuen Webseiteninhalte ihrer Kunden mehr in der Google-Suche erscheinen. Und das wäre natürlich genau das Gegenteil von dem, was sie erreichen wollen, da dann noch weniger Traffic bei den Publishern landen würde. Sie können also nur Google Extended-Crawls aussperren, die explizit Inhalte für den Gemini-Chatbot crawlen. Googles Search Generative Experiences (SGE) – wozu die AI Overviews und der AI Mode gehören – werden allerdings über den Googlebot gefüttert. Ergo blockiert Cloudflare alle AI-Crawler der Konkurrenz, während Google seine wichtigsten AI-Produkte weiter mit neuen Daten beliefern kann. Cloudflares radikale Maßnahme muss deshalb nicht per se schlecht sein, da man so vielleicht wenigstens etwas bewegt. Das Grundproblem löst sie jedoch bei Weitem nicht.

Fast spannender war jedoch eine zweite, unscheinbarere Beta-Ankündigung, die Cloudflare zeitgleich bekanntgab und gewissermaßen ein Follow-up zu meinem Artikel zur Wiedergeburt des Open Webs darstellt:

Introducing pay per crawl

Pay per crawl, in private beta, is our first experiment in this area. Pay per crawl integrates with existing web infrastructure, leveraging HTTP status codes and established authentication mechanisms to create a framework for paid content access. Each time an AI crawler requests content, they either present payment intent via request headers for successful access (HTTP response code 200), or receive a 402 Payment Required response with pricing. Cloudflare acts as the Merchant of Record for pay per crawl and also provides the underlying technical infrastructure.

[...]

At its core, pay per crawl begins a technical shift in how content is controlled online. By providing creators with a robust, programmatic mechanism for valuing and controlling their digital assets, we empower them to continue creating the rich, diverse content that makes the Internet invaluable…The true potential of pay per crawl may emerge in an agentic world. What if an agentic paywall could operate entirely programmatically? Imagine asking your favorite deep research program to help you synthesize the latest cancer research or a legal brief, or just help you find the best restaurant in Soho — and then giving that agent a budget to spend to acquire the best and most relevant content. By anchoring our first solution on HTTP response code 402, we enable a future where intelligent agents can programmatically negotiate access to digital resources.

Diese neue Form der Vergütung für Publisher kommt einem Vorschlag von Ben Thompson in einem Stratechery-Update aus dem Mai sehr nahe. Cloudflare erweitert diesen Ansatz jedoch, indem das Unternehmen neue, bisher nicht dagewesene Inhalte stärker gewichten und besser bezahlen möchte als reproduzierte Inhalte, um gleichzeitig neue Anreize für qualitativere Inhalte zu schaffen. Das 500. Muffin-Rezept zu schreiben, wäre dann nicht mehr so lukrativ wie eine vollkommen neue Kreation.

Wir werden sehen, wie diese Beta verläuft und ob das Open Web wirklich noch einmal einen zweiten Frühling erleben wird. Es stimmt mich jedoch hoffnungsvoll, zu wissen, dass viele schlaue Köpfe nach über 20 Jahren endlich wieder motiviert sind, an Lösungen zu arbeiten. Diese könnten das Internet am Ende besser machen, als es jemals war.