Während die einen Bots blockieren, lehren die anderen sie, ihren Ausweis vorzulegen. Im Jahr 2026 haben sich Cloudflare, Google, Amazon, Akamai und OpenAI um einen gemeinsamen Standard versammelt — Web Bot Auth. Die Idee ist einfach und radikal: automatisischer Traffic wird nicht mehr anhand der IP-Adresse und des User-Agent-Strings überprüft, die leicht gefälscht werden können. Stattdessen signiert der Agent jede Anfrage kryptografisch, und die Website überprüft die Signatur sofort. Am 2. März 2026 wurde die fünfte Version des Architekturentwurfs (draft-meunier-web-bot-auth-architecture-05) veröffentlicht, im Mai begann Google mit den Tests im Echtbetrieb, und die IETF-Arbeitsgruppe plant, den Standard bis August 2026 zu veröffentlichen. Lassen Sie uns herausfinden, was dieser Mechanismus ist, wer dahintersteckt und warum dies für alle, die mit Scraping und Multi-Accounting arbeiten, eine 180-Grad-Wende bedeutet.
Was passiert ist: Bots erhalten eine kryptografische Identität
Die klassische „Freund-Feind“-Überprüfung im Web basierte auf zwei Stützen. Die erste — User-Agent: eine Zeile, die der Client über sich selbst angibt und die jedes Skript in eine Codezeile umschreibt. Die zweite — IP-Adresslisten: Die Website führt eine Liste von „offiziellen“ Bereichen von Googlebot, Bingbot und anderen und vergleicht die umgekehrte DNS. Beide Ansätze sind 2026 endgültig zusammengebrochen.
Cloudflare formuliert das Problem direkt in seiner technischen Dokumentation: dieselbe IP kann von vielen Benutzern oder Diensten gleichzeitig verwendet werden, und die Bereiche ändern sich ständig mit der Infrastruktur. Der User-Agent ist zudem kein Beweis — es ist einfach eine Selbstdarstellung. Die kryptografische Signatur soll laut den Autoren eine Authentifizierung bieten, die sich weder auf „ständig wechselnde IP-Bereiche“ noch auf „fälschbare Header wie User-Agent“ stützt.
Technisch basiert Web Bot Auth auf dem bereits angenommenen Standard HTTP Message Signatures (RFC 9421). Jedem Agenten wird ein Schlüsselpaar Ed25519 zugewiesen. Vor dem Senden der Anfrage signiert der Agent nicht alles, sondern die Authority des Ziel-URI — also die Domain, auf die zugegriffen wird (beim Besuch von example.com wird genau example.com signiert). In die Anfrage werden die Header Signature-Input (Gültigkeitsfenster mit den Markierungen created und expires, Schlüssel-ID keyid im JWK Thumbprint-Format und Tag web-bot-auth) und Signature-Agent eingefügt, der auf das Verzeichnis mit den öffentlichen Schlüsseln (JWKS) verweist. Die Website lädt den öffentlichen Schlüssel aus diesem Verzeichnis herunter und überprüft die Signatur. Es ist unmöglich, sie ohne den privaten Schlüssel zu fälschen, und das Gültigkeitsfenster schützt vor der Wiederholung einer abgefangenen Anfrage.
Wer hinter dem Standard steht
Dies ist kein Experiment eines Unternehmens. Web Bot Auth wird von Cloudflare, Amazon, Akamai und OpenAI unterstützt. Der Architekturentwurf wird gemeinsam von Thibaut Meunier (Cloudflare) und Sandor Major (Google) verfasst. AWS WAF hat bereits die Unterstützung zur Überprüfung von Signaturen hinzugefügt, Cloudflare hat sie in sein Programm Verified Bots integriert und in seiner Edge-Umgebung aktiviert. Eine separate IETF-Arbeitsgruppe für Web Bot Auth wurde 2026 gegründet und zielt darauf ab, die Spezifikation bis August 2026 zur Standardisierung einzureichen.
Google ist eingestiegen — und das ist ein Wendepunkt
Am 6. Mai 2026 wurde bekannt, dass Google Web Bot Auth testet, um den eigenen Bot-Traffic zu überprüfen. Der Sinn dahinter ist, dass die Website sicherstellen kann, dass die Anfrage, die sich als Google ausgibt, tatsächlich von Google stammt und nicht von jemandem, der einfach Googlebot im User-Agent eingegeben hat. Der signierte AI-Traffic von Google läuft unter der Identität agent.bot.goog — Website-Besitzer können die öffentlichen Schlüssel von Google von diesem Endpunkt abrufen und die Header Signature und Signature-Input validieren.
Warum das gerade jetzt wichtig ist. Genau aus dem Grund, über den wir geschrieben haben, als es um die Blockierung von Agentenbrowsern ging: Ab dem 15. September 2026 wird Cloudflare standardmäßig „gemischte“ AI-Crawler auf Werbeseiten neuer Domains blockieren, und über das Cloudflare-Netzwerk läuft etwa ein Fünftel des gesamten Webs. Das Web schließt sich. Und Web Bot Auth geht nicht darum, „wie man blockiert“, sondern darum,
Signierte Agenten: die erste Kohorte
Eine separate Kategorie sind die signed agents (signierte Agenten). Das sind Bots, die von einem Endbenutzer gesteuert werden, nicht von einem Unternehmen: die Plattform oder der Remote-Browser, auf dem der Agent arbeitet, signiert seine HTTP-Anfragen, und Cloudflare validiert die Signaturen. In die erste Kohorte gehören ChatGPT agent (OpenAI), Goose (Block), Browserbase, Anchor Browser und Cloudflare Browser Rendering. Dawe Osinga von Block beschrieb den Vorteil direkt: „Web Bot Auth ermöglicht es Websites, Goose zu vertrauen und dabei das zu bewahren, was es einzigartig macht“.
Der entscheidende Unterschied: der signed agent handelt im Namen einer Person (ein hypothetischer Assistent, der auf Ihre Anfrage die Website besucht), während der „Such“- oder „Trainings“-Crawler für ein Unternehmen arbeitet. Cloudflare trennt diese Entitäten bereits in den Sicherheitsrichtlinien — und genau diese Unterscheidung wird bestimmen, wem im Web 2026–2027 die Türen geöffnet werden und wem nicht.
Was das für Scraping und Proxys bedeutet
Auf den ersten Blick scheint es, dass die Kryptosignatur anonymes Scraping beerdigt. In der Praxis ist alles komplizierter — das Web spaltet sich in zwei Fahrspuren, und für unser Publikum ändert sich die Taktik, anstatt sie abzulehnen.
- Fahrspur der signierten Agenten. Ein enger, privilegierter Durchgang für große Plattformen und „benutzerdefinierte“ Assistenten aus der Whitelist. Um dorthin zu gelangen, sind ein privater Schlüssel, ein öffentliches JWKS-Verzeichnis, eine Registrierung bei einem CDN und die Einhaltung der Richtlinien erforderlich. Für ein typisches Parsing-Projekt, Anti-Detect-Farmen oder SMM-Automatisierung ist dieser Weg gesperrt: Sie sind nicht Google und nicht OpenAI, Ihnen wird keine Signatur ausgestellt.
- Fahrspur aller anderen. Hier leben nach wie vor unabhängige Scraper, Preisüberwachungen, Datensammlungen, Multi-Accounting. Und genau hier steigen die Anforderungen an die Qualität der Proxys und die Glaubwürdigkeit des Fingerabdrucks an. Da „legitime“ durch die Signatur zugelassen werden, wird der Umgang mit allem nicht signierten Traffic standardmäßig strenger.
Mit anderen Worten, Web Bot Auth tötet nicht den Bedarf an Proxys — es erhöht die Anforderungen für diejenigen, die nicht auf der Whitelist stehen. Früher konnte man hoffen, mit einem grauen User-Agent durchzukommen, aber jetzt fällt eine nicht signierte Anfrage sofort in die Kategorie „beweise, dass du ein lebender Mensch bist“. Und das wird durch eine Kombination aus reinem IP und plausiblem Verhalten bewiesen.
Warum Residential- und Mobile-IPs noch wertvoller werden
Wenn die Signatur nicht verfügbar ist, ist der einzige Weg, legitim auszusehen, nicht von einem normalen Benutzer zu unterscheiden. Rechenzentrumsadressen lösen dieses Problem nicht: Laut verschiedenen Messungen lässt Cloudflare Rechenzentrums-IPs nur in 40–60% der Fälle durch, während residential proxies eine Durchlassrate von 85–99% bieten. Der Grund liegt genau darin, dass die Residential-Adresse einem echten Internetanbieter und einem lebenden Abonnenten gehört — aufgrund des Rufs der IP ist sie nicht von einer Person hinter demselben Router zu unterscheiden.
Die Situation ist noch strenger bei den am besten geschützten Plattformen und mobilen Anwendungen, wo Mobilfunknetze eine Rolle spielen. Hier helfen mobile Proxys: hinter einer IP eines Anbieters sitzen Tausende lebende Abonnenten, weshalb es massenhaft zu sperren, eine solche Adresse zu blockieren, bedeutet, echte Kunden abzuschneiden. Genau dieser Effekt des „gemeinsamen Topfes“ macht mobile IPs zur stabilsten Währung in einer Welt, in der alles andere durchleuchtet wird.
Aber eine reine IP reicht nicht mehr aus. Da die Identitätsprüfung von Netzwerken auf Kryptografie umschwenkt, durchläuft die gesamte nicht signierte Armee von Bots Verhaltens- und Browser-Fingerabdrücke: TLS/JA4, Canvas, WebGL, Schriftarten, Timings. Proxys entfernen ein Alarmsignal (den Ruf der Adresse), beseitigen jedoch nicht die anderen. Die Arbeitskombination des Jahres 2026 — residential oder mobile IP plus ein Anti-Detect-Umfeld mit einem konsistenten Fingerabdruck. Ein Bestandteil ohne den anderen entlarvt den Bot bereits auf der ersten Schutzebene.
Wie man jetzt handeln kann
- Teilen Sie Projekte nach Fahrspuren auf. Wenn die Aufgabe eine offizielle Integration im Namen eines großen Produkts ist, studieren Sie den Weg des signed agent: Registrierung bei einem CDN und Erhalt von Schlüsseln. Für alles andere planen Sie die Arbeit in der „Fahrspur aller anderen“ und legen Sie deren Regeln fest.
- Investieren Sie in die Qualität der IPs, nicht in die Quantität. Günstige Rechenzentrums-Pools sind 2026 zunehmend ein Stop-Faktor. Setzen Sie auf Residential- und Mobile-Adressen mit Rotation je nach Aufgabe.
- Synchronisieren Sie den Fingerabdruck mit dem Netzwerk. IP aus einem Land, während die Sprache des Browsers, die Zeitzone und die Locale aus einem anderen stammen — das ist ein klassisches Versagen. Der Fingerabdruck muss konsistent mit der Geolokalisierung des Proxys übereinstimmen.
- Beobachten Sie den Standard. Bis August 2026 plant die IETF, die Spezifikation zu finalisieren. Sobald Web Bot Auth eine Voraussetzung für den Zugang zu einer bestimmten Plattform wird, muss die Taktik im Voraus überarbeitet werden, nicht nachträglich.
Fazit
Web Bot Auth ist kein weiterer Anti-Bot, sondern eine Veränderung der Logik des Vertrauens im Web: von „wer bist du nach IP“ zu „beweise kryptografisch, wer du bist“. Für Giganten wie Google und OpenAI ist dies der Zugang zum sich schließenden Internet. Für unabhängige Scraper und Multi-Account-Projekte ist dies ein Signal, dass graue Methoden endgültig nicht mehr funktionieren, und die Kluft zwischen „wie ein Mensch aussehen“ und „wie ein Bot aussehen“ entscheidend wird. In der neuen Realität wird nicht der gewinnen, der mehr IPs hat, sondern der, der eine saubere Residential- oder Mobile-Adresse und einen makellosen konsistenten Fingerabdruck hat. Kryptopässe wurden nicht jedem ausgestellt — das bedeutet, dass alle anderen überzeugender sein müssen.
```