Meta erlaubt sich das Crawlen von Werbetreibenden-Websites: Bedingungen ab dem 30. Oktober und Scraping

Ab dem 30. Oktober 2026 treten die aktualisierten Commercial Terms von Meta in Kraft – Bedingungen für alle, die Facebook, Instagram, Messenger und WhatsApp zu kommerziellen Zwecken nutzen: Werbung schalten, eine Marken-Seite führen, über einen Katalog verkaufen. In den neuen Text wurde ein Absatz aufgenommen, den Juristen und Medien erst Mitte Oktober bemerkten: Das Unternehmen erlaubt Meta, automatisch auf seine Websites zuzugreifen – Inhalte zu indexieren, zu cachen, zu sammeln und zu analysieren. Von diesem Punkt kann man nicht separat zurücktreten, man kann nur aufhören, die Geschäftsprodukte von Meta zu nutzen.

Die Geschichte ist nicht nur für Verleger interessant. Es handelt sich um genau das Meta, das jahrelang gegen Scraper, einschließlich Bright Data, geklagt hat und einen entscheidenden Rechtsstreit genau zu der Frage verloren hat, „wen die Nutzungsbedingungen binden“. Jetzt nutzt das Unternehmen denselben vertraglichen Mechanismus zu seinem Vorteil. Lassen Sie uns untersuchen, was in den Bedingungen steht, was Meta nach dem Skandal geändert hat und welche praktischen Schlussfolgerungen sich daraus für diejenigen ergeben, die selbst Daten sammeln oder ihre Website vor Bots schützen.

Was genau in den neuen Bedingungen von Meta steht

Meta kündigte das Update Anfang Oktober im Business Help Center und in der Meta Business Suite an. Es betrifft mehrere Dokumente: Commercial Terms, die Bedingungen für Produktkataloge, die Bedingungen für selbstständige Werbung und die Bedingungen für die Erstellung von Werbemitteln mit Hilfe von KI. Die vorherige Version der Commercial Terms war seit dem 6. März 2024 in Kraft, und laut der Analyse von PPC Land gab es in ihr keine Formulierungen zum Crawlen.

In der neuen Fassung wurde Abschnitt 1 von „Lizenzen“ in „Lizenzen und Rechte, die Sie Meta gewähren“ umbenannt. Die Schlüsselformulierungen in der ursprünglichen Version:

• Das Unternehmen erlaubt Meta „oder jeder Person, die in ihrem Namen handelt“, automatisierte Software zu verwenden, um auf Domains, Seiten und URLs zuzugreifen, sie zu indexieren, zu cachen, zu analysieren, zu sammeln und zu crawlen sowie regelmäßig Updates abzurufen;
• Betroffen sind Websites, die „mit den Produkten oder Dienstleistungen des Unternehmens verbunden“ sind oder über die Nutzung von Meta-Produkten zugänglich sind. Was „verbunden“ bedeutet, wird im Text nicht definiert;
• Die von Meta erhaltenen Inhalte können verwendet werden, um „ihre Produkte bereitzustellen, zu entwickeln, zu verbessern, zu erforschen, zu trainieren und die Integrität“ ihrer Produkte zu unterstützen;
• Meta hat das Recht, „Testanmeldeinformationen“ für den Zugriff auf diese Ressourcen zu erstellen. Was das in der Praxis bedeutet, wird in den Bedingungen nicht erklärt.

Die Zustimmung wird für Plattformen gewohnt formuliert: Wenn Sie die Geschäftsprodukte nach der Benachrichtigung über die Änderungen weiterhin nutzen, stimmen Sie diesen zu. Ein Beitrag auf der Unternehmensseite am 31. Oktober gilt bereits als Annahme. Eine teilweise Ablehnung des Absatzes über das Crawlen ist nicht möglich.

Reaktion der Juristen und Antwort von Meta

Die Geschichte wurde am 15. Oktober von Nieman Lab aufgegriffen, das drei Juristen befragte. Ihre Einschätzungen waren hart:

• Matt Topic (Loevy & Loevy) sagte, dass unklar sei, ob das Gericht einen solchen Punkt anerkennt, aber Verleger „sollten davon ausgehen, dass er durchsetzbar sein wird“;
• James Grimmelmann (Cornell Law School) nannte den Absatz eine klare Erlaubnis von Meta, KI mit Inhalten von Verlegern zu trainieren. Separat wies er auf die „Testanmeldeinformationen“ hin: Seiner Meinung nach könnte dies es ermöglichen, fiktive Benutzer zu erstellen und Registrierungswände zu umgehen;
• Benjamin Sobel (University of Wisconsin) wies auf ein mögliches Problem der „Bindung“ hin: Um die benötigten Produkte nutzen zu können, muss das Unternehmen auch dem Crawlen zustimmen.

Der Leiter der News/Media Alliance, Daniel Coffey, nannte die Bedingungen „empörend und wahrscheinlich illegal“. Jason Kint von Digital Content Next fragte, warum Meta umfassende Rechte fordern und das Training von KI in einem verbindlichen Vertrag ausdrücklich festschreiben müsse, wenn, laut Meta, nichts sich ändere.

Die Position von Meta: Am 16. Oktober nannte Kommunikationsdirektor Andy Stone die Veröffentlichungen „falsch“ und erklärte, dass sich an der Art und Weise, wie Meta Web-Crawler nutzt, nichts ändere. Laut dem Unternehmen waren die Formulierungen zum Crawlen zuvor in verschiedenen Dokumenten verstreut, einschließlich der Bedingungen für generative KI in der Werbung, und wurden jetzt einfach an einem Ort zusammengefasst. Die Eigentümer von Inhalten können laut Meta weiterhin den Zugriff über robots.txt verwalten.

Am 17. Oktober wurde der Text geändert. Laut Nieman Lab wurde das Wort „train“ aus der Liste der Ziele entfernt, und die Nutzung wurde auf Werbe- und Geschäftsprodukte anstelle aller Produkte von Meta beschränkt. Einige Publikationen berichten unter Berufung auf The Verge, dass der umstrittene Punkt vollständig entfernt wurde. Dennoch glauben die Experten, mit denen Nieman Lab sprach, dass die umfassenden Rechte zum Crawlen in den Bedingungen weiterhin bestehen und dass Geschäftsaccounts bis zum 30. Oktober keine Möglichkeit haben, abzulehnen. Die endgültige Formulierung sollte auf der Seite der Commercial Terms vor Inkrafttreten überprüft werden.

Doppelmoral: wie Meta gegen Bright Data verlor und was sie daraus gelernt hat

Um zu verstehen, warum Juristen so besorgt sind, muss man sich an den Fall Meta Platforms v. Bright Data erinnern. Am 23. Januar 2024 entschied Richter Edward Chen (Northern District of California) zugunsten von Bright Data in einer Klage wegen Vertragsverletzung. Die Logik des Gerichts: Die Bedingungen von Meta verbieten das Scraping, binden aber nur Benutzer, die sich in ihr Konto eingeloggt haben. Das Sammeln öffentlicher Daten ohne Login fällt nicht unter diese Bedingungen. Das Gericht fand auch keine Beweise dafür, dass Bright Data Daten sammelte, die nur nach dem Login zugänglich waren, und wies die Idee zurück, dass ein ehemaliger Benutzer unbegrenzt an die Bedingungen gebunden ist.

Die Lehre aus diesem Fall, auf die sich die gesamte Branche seitdem stützt: Der Vertrag bindet den, der ihn angenommen hat. Die neuen Commercial Terms funktionieren nach demselben Schema, nur umgekehrt. Meta kann nicht erzwingen, dass eine fremde Website ihren Crawler zulässt, kann aber die Zustimmung des Eigentümers über einen Vertrag erhalten, den dieser bereits angenommen hat, um Werbung zu schalten. Und robots.txt ist hier ein schwacher Trost: Die Bedingungen sprechen nicht darüber, und Juristen befürchten, dass Meta sich auf den Vertrag berufen könnte, um eine stärkere Erlaubnis zu erhalten als das Verbot in der technischen Datei.

Welche Crawler Meta auf Websites unterwegs sind

In der Dokumentation für Webmaster listet Meta derzeit fünf Agenten auf. Welcher von ihnen kommt, entscheidet darüber, ob das Verbot in robots.txt wirksam wird:

• meta-externalagent – sammelt Seiten zum Trainieren grundlegender KI-Modelle und zur Indexierung in Produkten. Ein Token für beide Aufgaben, daher kann man die Indexierung erlauben und das Training separat nicht verbieten;
• meta-webindexer – indexiert das Web für die Suche und Zitate in Meta AI;
• meta-externalads – ein Crawler für Werbe- und Geschäftsprodukte, also genau für den Bereich, den Meta in dem neuen Punkt eingeschränkt hat;
• meta-externalfetcher – lädt einzelne Links auf Anfrage des Benutzers herunter, auch für agentenbezogene KI-Aufgaben. Laut Dokumentation kann er robots.txt ignorieren, da dies eine Anfrage einer Person ist;
• facebookexternalhit – erstellt eine Vorschau des Links, wenn er geteilt wird. Kann ebenfalls robots.txt umgehen, um Sicherheits- und Integritätsprüfungen durchzuführen.

Was sollte ein Website-Besitzer mit einem Geschäftsaccount bei Meta tun

Wenn Sie über Instagram verkaufen oder Werbung auf Facebook schalten, können Sie den vertraglichen Teil nicht ändern. Der technische Teil liegt in Ihren Händen.

1. Entscheiden Sie, was Sie bereit sind abzugeben. Eine Vorschau der Links (facebookexternalhit) ist notwendig, sonst erscheinen Beiträge mit Ihrer Website ohne Bild. Der Werbe-Crawler (meta-externalads) ist erforderlich, wenn Sie einen Produktkatalog und dynamische Werbung nutzen. Das Training von Modellen (meta-externalagent) bringt für den Shop nichts.
2. Formulieren Sie Regeln in robots.txt für die einzelnen Agenten, zum Beispiel: User-agent: meta-externalagent und Disallow: /. Meta warnt, dass Crawler die Datei cachen und Änderungen bis zu 24 Stunden dauern können.
3. Überprüfen Sie die Protokolle. Filtern Sie die Anfragen nach den Zeilen meta-externalagent, meta-externalads und meta-webindexer, zählen Sie, welche Bereiche sie umgehen und wie viele. Dies ist die Basis, um das Verhalten nach dem 30. Oktober zu vergleichen.
4. Schützen Sie wertvolle Inhalte auf Serverebene, nicht nur über robots.txt: Preise, Wissensdatenbanken, kostenpflichtige Materialien – hinter einer Authentifizierung oder mit Einschränkungen nach User-Agent auf dem CDN. robots.txt bleibt eine freiwillige Vereinbarung und kein Schloss.
5. Speichern Sie die aktuelle Version der Bedingungen (Screenshot oder PDF mit Datum). Die Formulierungen wurden bereits zwei Wochen nach der Ankündigung geändert, und in einem Streit wird die Version nützlich sein, die zu einem bestimmten Datum galt.

Was bedeutet das für diejenigen, die selbst Daten parsen

Für Teams, die Daten von Plattformen sammeln, ist die Geschichte von Meta eine anschauliche Illustration, wo die rechtliche Grenze tatsächlich verläuft.

• Einloggen ist die Unterschrift unter dem Vertrag. Die Entscheidung zu Bright Data schützt das Sammeln öffentlicher Daten ohne Login. Sobald der Parser von einem Konto aus arbeitet, gelten die Bedingungen der Plattform für Sie, und das Verbot des automatisierten Sammelns wird zu einer vertraglichen Verpflichtung. Mehr dazu, welche praktischen Folgen dies hat, haben wir in der Analyse der Risiken bei der Verletzung der Nutzungsbedingungen bei der Arbeit über Proxys geschrieben.
• Trennen Sie die Infrastruktur. Geschäftsaccounts, über die Sie Werbung schalten, und Datensammler sollten sich weder bei Konten noch bei IPs überschneiden. Für das öffentliche Sammeln ohne Login reichen in der Regel Rechenzentrums-Proxys, und für Plattformen mit strengen Anti-Bot-Filtern – residential IPs mit Rotation.
• robots.txt ist ein Signal, kein Gesetz, in beide Richtungen. Meta selbst gibt zu, dass zwei ihrer Agenten ihn umgehen können. Aber für Ihr Projekt bleibt die Einhaltung von robots.txt ein Argument für die Fairness, falls es zu einem Streit kommt. Die Praxis ist im Material über ethisches Parsen und robots.txt beschrieben.
• Beobachten Sie die Änderungen der Bedingungen. Plattformen ändern sie durch „die Fortsetzung der Nutzung bedeutet Zustimmung“. Einmal im Quartal ist es nützlich, die aktuellen Bedingungen der Plattformen, mit denen Sie unter Ihrem Account arbeiten, mit den gespeicherten Kopien zu vergleichen.

Fazit

Die neuen Commercial Terms von Meta zeigen, wohin der Kampf um Webdaten im Jahr 2026 geht: von technischen Barrieren zu vertraglichen. Ein Unternehmen, das einen Streit darüber verloren hat, wen seine Bedingungen binden, nutzt nun dieselben Bedingungen, um die Zustimmung zum Umgehen der Websites seiner Werbetreibenden zu erhalten. Nach der Änderung am 17. Oktober wurden die Formulierungen milder, aber die Möglichkeit, abzulehnen, besteht weiterhin nicht, und die Bedingungen treten am 30. Oktober in Kraft. Website-Besitzern wird geraten, robots.txt nach Agenten einzurichten und eine Kopie der Bedingungen zu speichern, während Teams, die Daten parsen, erneut überprüfen sollten, wo ihre Sammlung unter einem Login erfolgt und welche Konsequenzen dies hat.