Agenten-Web unter Verschluss: Warum Websites AI-Browser wie Comet und ChatGPT Atlas blockieren

Am 1. Juli 2026 veranstaltete Cloudflare den zweiten „Tag der Unabhängigkeit des Inhalts“ und stellte erstmals offiziell AI-Agenten in eine eigene Kategorie von Bots. Der Traffic wird nun in drei Klassen unterteilt – Search, Agent und Training – und ab dem 15. September 2026 werden Bots der Kategorien Agent und Training standardmäßig auf Seiten mit Werbung blockiert. Parallel dazu schließen Gerichte und große Einzelhändler bereits die Türen vor „Agenten-Browsern“ wie Perplexity Comet und ChatGPT Atlas. Lassen Sie uns untersuchen, was mit dem Agenten-Web passiert und warum autonome KI-Assistenten ohne Residential-Proxys immer häufiger an eine Wand stoßen.

Was passiert ist: Bots haben eine dritte Kaste erhalten

Früher kannte das Web zwei Arten von automatischem Traffic: Suchcrawler, die Seiten indizieren, und Trainingscrawler, die Inhalte für das Training von Modellen extrahieren. Im Jahr 2026 kam eine dritte hinzu – Agent. Cloudflare, durch dessen Netzwerk etwa 20 % des gesamten Web-Traffics fließen, gab ihm eine präzise Definition: Es handelt sich um „automatisiertes Verhalten, das in der Regel in Echtzeit im Namen eines Menschen handelt, um sofort etwas zu tun“.

Unter diese Definition fallen Fetch-Bots von Chat-Assistenten (zum Beispiel ChatGPT-User, der frische Informationen auf Anfrage des Nutzers abruft) und vollwertige Browser-Use-Agenten – Gemini oder Claude, die einen echten Chrome steuern. Die Logik der neuen Politik ist einfach: Eine Werbeanzeige ist ein Signal, dass der Website-Besitzer die Seite einem Menschen zeigen und dessen Aufmerksamkeit monetarisieren wollte. Daher schneidet Cloudflare standardmäßig Bots ab, die diese Aufmerksamkeit von monetarisierten Seiten abziehen – Trainings- und Agenten-Bots.

Die Daten sind wichtig zu merken: Die Änderungen treten am 15. September 2026 in Kraft und betreffen neue Domains, die sich mit Cloudflare verbinden. Search-Bots bleiben erlaubt – Websites benötigen weiterhin Traffic von Suchmaschinen. Multi-Purpose-Crawler wie Googlebot werden jedoch nach der Gesamtheit ihrer Rollen bewertet: Wenn der Besitzer die Trainingsblockierung aktiviert hat, wird auch ein solcher gemischter Bot vollständig blockiert.

Agenten-Browser: Wer ist in zwei Jahren auf das Feld gekommen

Bereits Anfang 2025 klang „Browser mit KI“ wie ein Experiment. Mitte 2026 war dies bereits ein überfüllter Markt autonomer Assistenten, die selbst klicken, scrollen, Formulare ausfüllen und Käufe tätigen. Die wichtigsten Akteure:

• Perplexity Comet – gestartet im Juli 2025, kostenlos, funktioniert auf Desktop, Android und iOS;
• ChatGPT Atlas von OpenAI – Oktober 2025, abonnierbar, mit einem separaten „Agent Mode“;
• Chrome + Gemini – Integration von Google, Januar 2026, für Abonnenten von AI Pro und Ultra;
• Claude for Chrome – Erweiterung für den bestehenden Browser, August 2025;
• Edge Copilot Mode – kostenloser Modus von Microsoft, Juli 2025;
• Opera Neon – September 2025, öffentliche Veröffentlichung im Dezember, Abonnement etwa 19,90 $ pro Monat.

Alle funktionieren ähnlich: Der Agent steuert die Benutzeroberfläche über Screenshots und Eingabebefehle – er „sieht“ die Seite, klickt, tippt und folgt Links anstelle von Ihnen. Genau diese menschenähnliche Mechanik macht sie zu einem Kopfzerbrechen für Anti-Bot-Systeme: Formal handelt es sich nicht um einen Crawler, der die API anruft, sondern um eine Sitzung eines echten Browsers, hinter der die Anfrage eines lebenden Benutzers steht. Google führte sogar im März 2026 eine separate Kennung Google-Agent ein, damit Website-Besitzer solche Anfragen in den Protokollen unterscheiden können.

Gerichte stehen bereits auf der Seite der Websites

Während Cloudflare die Einstellungen verteilt, hat der Konflikt um die Agenten die Gerichte erreicht. Der auffälligste Fall ist Amazon gegen Perplexity. Amazon reichte bereits im November 2025 Klage ein und beschuldigte das Start-up, absichtlich die Natur seiner KI-Agenten „zu verbergen“, um weiterhin die Website des Einzelhändlers ohne Genehmigung zu scrapen.

Am 10. März 2026 stellte Richterin Maxine Chesney sich auf die Seite von Amazon. In der Entscheidung heißt es, dass das Unternehmen „überzeugende Beweise“ vorgelegt hat: Der Comet-Browser besuchte die Website auf Anweisung des Nutzers, jedoch „ohne Genehmigung“ des Einzelhändlers. Laut Amazon „maskierte“ Comet seine automatische Natur, indem er sich als lebender Käufer ausgab, um an den Erkennungssystemen vorbeizukommen. Amazon dokumentierte sogar die Ausgaben – über 5.000 $ für die Entwicklung von Werkzeugen, die Comet den Zugang zu internen Kundendaten verwehren. Perplexity erklärte im Gegenzug, dass sie „weiter für das Recht der Internetnutzer kämpfen werden, jede KI zu wählen, die sie möchten“.

Amazon handelt auch ohne Gerichte. Über die Datei robots.txt schloss der Einzelhändler den Zugang für die Bots ChatGPT-User und OAI-SearchBot (Suchmaschine SearchGPT) und zuvor – für den Trainings-GPT-Bot. Betroffen sind auch Crawler, die mit Meta, Google und Perplexity verbunden sind. Ironischerweise baut OpenAI parallel dazu einen eigenen Verkaufstrichter auf: Die Funktion Instant Checkout ermöglicht es bereits, Produkte direkt in ChatGPT bei Walmart, Etsy, Shopify und Target zu kaufen. Einzelhändler möchten über KI zu ihren Bedingungen verkaufen – und wollen nicht, dass fremde Agenten unkontrolliert durch ihre Schaufenster schlendern.

Wie Websites Agenten erkennen – und warum IP nicht alles entscheidet

Es ist naiv, einen Agenten nur anhand des User-Agent-Namens zu blockieren: Dieser lässt sich leicht fälschen. Daher betrachtet der Anti-Bot-Stack von Cloudflare und ähnlichen Diensten eine Kombination von Signalen, und hier haben autonome Browser es schwer:

• Fingerprint eines headless Browsers. Die Headless-Umgebung gibt sich durch eine Reihe von Inkonsistenzen zu erkennen: Bildschirmauflösung 0x0, keine installierten Schriftarten, GPU, die sich als Software-Renderer „SwiftShader“ ausgibt. Echte Benutzer sehen so nicht aus – und das wird in Millisekunden erfasst.
• TLS-Fingerprinting. Selbst mit perfekten HTTP-Headern zeigt das TLS-Handshake eine Diskrepanz zwischen der angegebenen Identität des Browsers und den tatsächlichen Eigenschaften der Verbindung. Detailliert haben wir diesen Vektor in dem Artikel über JA4 und TLS-Fingerprinting behandelt – heute ist dies eines der Hauptinstrumente zur Erkennung.
• Verhaltensanalyse. Ein Mensch scrollt mit Pausen, bewegt die Maus nicht perfekt. Der Agent hingegen handelt mit „brutaler robotischer Effizienz“ – lädt die Seite in Millisekunden und extrahiert sofort Daten, wodurch er auffällt.
• IP-Reputation. Die Bereiche von Cloud-Anbietern – AWS, Google Cloud, Azure – sind seit langem als „Bot-freundlich“ katalogisiert und erhalten schwere Strafen in den Reputationsfiltern, egal wie sauber der restliche Fingerabdruck ist.

Hier kommt der Proxy ins Spiel. Die IP-Reputation ist die erste Barriere, an der ein Agent, der von einer Rechenzentrumsadresse aus gestartet wurde, scheitert. Residential-Proxys stellen IP-Adressen echter Heimgeräte zur Verfügung, und der Traffic des Agenten hört auf, wie eine Anfrage aus einem Serverrack auszusehen. Für mobile Szenarien – soziale Netzwerke, Apps mit strenger Erkennung – sind mobile Proxys mit IPs von Mobilfunkanbietern noch zuverlässiger. Rechenzentrumsadressen verschwinden dabei nicht: Für Aufgaben, die nicht empfindlich auf Reputation reagieren, bieten Rechenzentrums-Proxys Geschwindigkeit und Preis, die Residential-Proxys nicht bieten können.

Wichtiger Hinweis: Proxys sind nur eine Schicht

Eine Residential-IP überwindet nur eine der vier Barrieren. Wenn der Agent weiterhin in einem Headless-Browser mit dem Fingerabdruck „SwiftShader“ läuft und sich wie ein Roboter verhält, wird ihn eine saubere IP nicht retten – die Erkennung wird aus den anderen Signalen bestehen. Die funktionierende Kombination im Jahr 2026 ist nicht „Proxy oder Anti-Detect“, sondern alles zusammen: ein Residential- oder mobiler Ausgangsknoten, Maskierung des Browser- und TLS-Fingerabdrucks unter einem echten Gerät und menschenähnliches Timing der Aktionen. Scraping und Automatisierung haben sich endgültig in ein Spiel der Identitäten und nicht der Adressen verwandelt.

Was das in der Praxis bedeutet

Für Unternehmen und Entwickler, die Automatisierung über Agenten-Browser aufbauen, sind die Schlussfolgerungen folgende:

1. 15. September – kein abstraktes Datum. Wenn Ihre Agenten auf Websites mit Werbung zugreifen, bereiten Sie sich darauf vor, dass einige von ihnen anfangen werden, Platzhalter anstelle von Inhalten auszugeben. Planen Sie die Infrastruktur im Voraus.
2. Rechenzentrumsagent – Ziel Nummer eins. Das erste, was zu tun ist, ist, den Agenten-Traffic aus den Cloud-Bereichen auf Residential- oder mobile IPs zu verlagern. Das ist günstiger, als die Logik nach massiven Sperren neu zu schreiben.
3. Juristisches Risiko ist real. Der Fall Amazon gegen Perplexity zeigt: Die „Maskierung“ des Agenten als Mensch ist keine Grauzone, sondern ein Argument für das Gericht. Respektieren Sie robots.txt dort, wo es kritisch ist, und geben Sie Automatisierung nicht als lebenden Benutzer auf Websites aus, die dies ausdrücklich verbieten.
4. Offizielle Kanäle wachsen. Instant Checkout und Partnerschaften von KI mit Einzelhändlern sind ein Signal, dass einige Agentenszenarien in legale APIs übergehen werden. Aber bisher ist die Abdeckung fragmentarisch, und autonomen Agenten wird es schwerfallen, in einer Welt zu leben, in der die Hälfte der Websites sie nicht erwartet.

Fazit

Das Agenten-Web ist bereits kein Konzept aus Präsentationen mehr, sondern ein echter Traffic, den Websites gelernt haben und wollen zu filtern. Cloudflare gab den Eigentümern einen Hebel, die Gerichte schufen einen Präzedenzfall, die Einzelhändler gaben ein Beispiel. Für autonome KI-Assistenten ist dies kein Todesurteil, sondern ein klares Signal: Damit ein Agent sein Ziel erreicht, muss er auf allen Ebenen wie ein Mensch aussehen – von der Ausgangs-IP bis zum Timing der Klicks. Residential- und mobile Proxys sind hier kein Luxus, sondern eine grundlegende Schicht, ohne die andere Tricks nicht funktionieren. Das Web schließt sich nicht für Agenten für immer – es lässt einfach diejenigen nicht mehr herein, die mit einem Schild „Ich bin ein Bot“ kommen.