Robots.txt und Proxys: So analysieren Sie Wettbewerber legal und vermeiden einen Website-Bann

Das Parsen von Wettbewerbsdaten ist eine gängige Praxis für Marketer, Marktplatzverkäufer und Agenturen. Sie überwachen die Preise auf Wildberries, sammeln Anzeigen von Avito und analysieren das Sortiment der Wettbewerber. Aber die meisten Websites blockieren massenhafte Anfragen, und das Ignorieren der robots.txt-Datei kann zu rechtlichen Problemen führen. In diesem Artikel werden wir besprechen, wie man Proxys ethisch zum Parsen verwendet: die Regeln der Websites einhalten, Blockierungen vermeiden und Daten ohne Risiken für das Geschäft sammeln.

Was ist robots.txt und warum ist es für Websites wichtig?

Die robots.txt-Datei ist ein Textdokument im Stammverzeichnis einer Website, das Suchrobotern und Parsern mitteilt, welche Bereiche gescannt werden dürfen und welche nicht. Zum Beispiel kann ein Online-Shop die Indizierung des Warenkorbs oder des Benutzerkontos verbieten, damit diese Seiten nicht in Google erscheinen.

Eine typische robots.txt-Datei sieht so aus:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /api/
Crawl-delay: 10

User-agent: Googlebot
Allow: /

Sitemap: https://example.com/sitemap.xml

Analyse der Direktiven:

• User-agent: * — Regeln für alle Bots (Sternchen bedeutet "jeder Bot")
• Disallow: /admin/ — das Scannen des Bereichs /admin/ ist verboten
• Crawl-delay: 10 — Verzögerung von 10 Sekunden zwischen Anfragen
• User-agent: Googlebot — spezielle Regeln für Google (alles erlaubt)

Warum Websites robots.txt verwenden:

1. Schutz vor Serverüberlastung — massenhaftes Parsen erzeugt eine Last auf dem Server, die die Leistung für echte Benutzer verlangsamt
2. Verstecken technischer Seiten — Warenkörbe, Zahlungsformulare, API-Endpunkte sollten nicht indiziert werden
3. Schutz kommerzieller Daten — Marktplätze möchten nicht, dass Wettbewerber ihren gesamten Produktkatalog leicht abrufen können
4. Traffic sparen — jede Anfrage eines Bots kostet den Website-Besitzer Geld

Wichtig: robots.txt ist eine Empfehlung und kein technisches Hindernis. Die Datei blockiert den Zugang nicht physisch, aber das Ignorieren der Regeln kann zur Blockierung Ihrer IP oder zu Klagen führen (insbesondere in den USA und Europa).

Rechtliche Risiken des Parsens: Was sagt das Gesetz?

Das Parsen von Daten befindet sich in einer Grauzone des Gesetzes. In verschiedenen Ländern gelten unterschiedliche Regeln, aber es gibt allgemeine Prinzipien, die wichtig sind, um keine Klage zu riskieren.

Gesetzgebung in Russland

In Russland gibt es kein spezielles Gesetz über das Parsen, aber allgemeine Normen gelten:

• Urheberrecht (Zivilgesetzbuch der Russischen Föderation, Artikel 1259) — es ist verboten, einzigartige Texte, Fotos, Produktbeschreibungen ohne Erlaubnis des Rechteinhabers zu kopieren. Das Parsen von Preisen und Eigenschaften ist in der Regel sicher, da es sich um faktische Daten handelt.
• Personenbezogene Daten (152-FZ) — das Sammeln personenbezogener Daten von Benutzern (Name, Telefonnummern, E-Mail) ohne Zustimmung ist verboten. Dies betrifft das Parsen von Profilen in sozialen Netzwerken oder Kontaktlisten.
• Unlauterer Wettbewerb (Artikel 14.33 des Ordnungswidrigkeitengesetzes der Russischen Föderation) — wenn das Parsen zur Kopie eines Geschäftsmodells oder zur Irreführung von Kunden verwendet wird, kann eine Geldstrafe von bis zu 500.000 Rubel verhängt werden.

Gesetzgebung in den USA und Europa

In den USA und der EU sind die Gesetze strenger:

• CFAA (Computer Fraud and Abuse Act, USA) — unbefugter Zugang zu Computersystemen gilt als Straftat. Das Ignorieren von robots.txt kann als "unbefugter Zugang" ausgelegt werden. Ein bekannter Fall: LinkedIn gegen hiQ Labs (2022) — das Gericht entschied, dass das Parsen öffentlicher Daten legal ist, aber das Ignorieren technischer Barrieren (z.B. Captchas) nicht.
• GDPR (Allgemeine Datenschutzverordnung, EU) — das Sammeln personenbezogener Daten von EU-Bürgern ohne ausdrückliche Zustimmung ist verboten. Geldstrafen bis zu 20 Millionen Euro oder 4% des Jahresumsatzes des Unternehmens.
• Nutzungsbedingungen (Terms of Service) — viele Websites verbieten das Parsen ausdrücklich in ihren Regeln. Ein Verstoß kann zu einer Klage wegen Vertragsverletzung führen.

Was sicher zu parsen ist

Ethisches Parsen: Wie man Daten ohne Verstöße sammelt

Ethisches Parsen ist ein Gleichgewicht zwischen Geschäftszielen und Respekt gegenüber den Website-Besitzern. Sie können die benötigten Daten sammeln, ohne Probleme für die Zielressource zu verursachen und ohne gegen Gesetze zu verstoßen.

Grundprinzipien des ethischen Parsens

1. Halten Sie sich an robots.txt — wenn ein Bereich für das Parsen verboten ist, versuchen Sie nicht, ihn zu umgehen. Suchen Sie nach alternativen Datenquellen.
2. Begrenzen Sie die Geschwindigkeit der Anfragen — senden Sie nicht 1000 Anfragen pro Sekunde. Machen Sie Verzögerungen von 2-10 Sekunden zwischen den Anfragen, um den Server nicht zu überlasten.
3. Verwenden Sie den User-Agent Ihres Parsers — tarnen Sie sich nicht als normaler Benutzer. Geben Sie einen ehrlichen User-Agent an, z.B.: "MyCompanyParser/1.0 (contact@mycompany.com)". Dies ermöglicht es den Website-Administratoren, Sie zu kontaktieren, wenn Probleme auftreten.
4. Parsen Sie nur öffentliche Daten — versuchen Sie nicht, auf geschützte Bereiche, APIs oder Datenbanken zuzugreifen.
5. Verkaufen Sie die kopierten Daten nicht weiter — verwenden Sie die gesammelten Informationen für interne Zwecke (Wettbewerbsanalyse, Preisüberwachung), nicht zur Erstellung eines konkurrierenden Dienstes.
6. Cache-Daten — fragen Sie dieselbe Seite nicht mehrmals ab. Speichern Sie die Ergebnisse lokal und aktualisieren Sie sie nach einem Zeitplan (einmal täglich, einmal wöchentlich).

Wann man NICHT parsen sollte

Es gibt Situationen, in denen das Parsen mehr Probleme verursacht als Nutzen:

• Die Website bietet eine API an — viele Marktplätze (Wildberries, Ozon, Yandex.Market) haben offizielle APIs für Partner. Verwenden Sie diese anstelle des Parsens — das ist schneller, legaler und zuverlässiger.
• Daten sind durch Captchas oder Authentifizierung geschützt — das Umgehen des Schutzes kann als Hacking des Systems angesehen werden.
• Die Website verbietet das Parsen ausdrücklich in den Nutzungsbedingungen — das Risiko einer Klage ist zu hoch.
• Sie sammeln personenbezogene Daten — dies verstößt gegen GDPR und 152-FZ mit hohen Geldstrafen.

Wie man robots.txt richtig liest und einhält

Die robots.txt-Datei befindet sich im Stammverzeichnis der Domain: https://example.com/robots.txt. Überprüfen Sie immer diese Datei, bevor Sie mit dem Parsen beginnen.

Wichtige Direktiven in robots.txt

Beispiele für robots.txt und wie man sie interpretiert

Beispiel 1: Vollständiges Verbot des Parsens

User-agent: *
Disallow: /

Das bedeutet: "Allen Bots ist es verboten, die gesamte Website zu scannen". Das Parsen einer solchen Website verstößt gegen die Regeln des Eigentümers. Suchen Sie nach alternativen Datenquellen.

Beispiel 2: Selektive Einschränkungen

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /cart/
Allow: /products/
Crawl-delay: 5

Das bedeutet: "Der Bereich /products/ (Produkte) kann geparst werden, aber /admin/, /api/ und /cart/ sind verboten. Machen Sie eine Verzögerung von 5 Sekunden zwischen den Anfragen". Dies sind normale Bedingungen — Sie können Produkte parsen, während Sie die Limits einhalten.

Beispiel 3: Regeln für bestimmte Bots

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /
Crawl-delay: 10

Das bedeutet: "Google kann die gesamte Website scannen, aber alle anderen Bots nicht". Wenn Sie nicht Google sind, ist das Parsen verboten.

Wie man robots.txt vor dem Parsen überprüft

Die meisten Programmiersprachen haben Bibliotheken zur automatischen Überprüfung von robots.txt. Beispiel in Python:

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url("https://example.com/robots.txt")
rp.read()

# Überprüfen, ob die Seite geparst werden kann
url = "https://example.com/products/item123"
user_agent = "MyParser/1.0"

if rp.can_fetch(user_agent, url):
    print("Parsen erlaubt")
else:
    print("Parsen durch robots.txt verboten")

Dies überprüft automatisch die Regeln und informiert, ob eine bestimmte URL geparst werden kann.

Rate Limiting und Verzögerungen zwischen Anfragen

Rate Limiting (Anfragegeschwindigkeitsbegrenzung) ist ein Schutzmechanismus für Websites gegen Überlastung. Wenn Sie zu viele Anfragen in kurzer Zeit senden, kann der Server Ihre IP blockieren oder ein Captcha anzeigen.

Warum es wichtig ist, Verzögerungen einzuhalten

• Vermeidung der IP-Blockierung — Websites verfolgen die Häufigkeit von Anfragen von einer IP. Wenn Sie 100 Anfragen pro Minute senden, werden Sie als Bot blockiert.
• Reduzierung der Serverlast — massenhaftes Parsen kann die Website "lahmlegen", insbesondere wenn es sich um eine kleine Ressource auf einem günstigen Hosting handelt.
• Einhalten von Crawl-delay aus robots.txt — wenn die Website eine Verzögerung von 10 Sekunden angegeben hat, ist das Ignorieren dieser Regel unethisch.
• Natürliches Verhalten — normale Benutzer öffnen nicht 10 Seiten pro Sekunde. Verzögerungen machen Ihren Parser menschlicher.

Empfohlene Verzögerungen für verschiedene Aufgaben

Wie man Verzögerungen im Code implementiert

Beispiel in Python unter Verwendung der time-Bibliothek:

import time
import requests

urls = [
    "https://example.com/product1",
    "https://example.com/product2",
    "https://example.com/product3"
]

for url in urls:
    response = requests.get(url)
    print(f"Geparst: {url}")
    
    # Verzögerung von 3 Sekunden vor der nächsten Anfrage
    time.sleep(3)

Für komplexere Szenarien verwenden Sie zufällige Verzögerungen (random delay), um das Verhalten noch natürlicher zu gestalten:

import time
import random

for url in urls:
    response = requests.get(url)
    
    # Zufällige Verzögerung von 2 bis 5 Sekunden
    delay = random.uniform(2, 5)
    time.sleep(delay)

Proxy-Rotation für ethisches Parsen

Selbst wenn Sie sich an robots.txt halten und Verzögerungen einhalten, kann das Parsen großer Datenmengen von einer IP Verdacht erregen. Die Rotation von Proxys hilft, Anfragen zwischen verschiedenen IP-Adressen zu verteilen und das Verhalten vieler realer Benutzer zu simulieren.

Warum Proxy-Rotation notwendig ist

• Umgehung von Rate Limiting — wenn das Limit 100 Anfragen/Stunde von einer IP beträgt, geben Ihnen 10 Proxys 1000 Anfragen/Stunde.
• Geografische Verteilung — für das Parsen regionaler Daten (Preise auf Wildberries in Moskau und Wladiwostok) sind Proxys aus verschiedenen Städten erforderlich.
• Reduzierung von Verdachtsmomenten — Anfragen von verschiedenen IPs sehen aus wie Traffic von echten Benutzern.
• Reservierung — wenn ein Proxy blockiert wird, wechselt der Parser automatisch zu einem anderen.

Welche Proxys für ethisches Parsen verwendet werden sollten

Empfehlung für ethisches Parsen: Verwenden Sie Residential Proxys mit automatischer Rotation. Sie bieten ein Gleichgewicht zwischen Kosten und Zuverlässigkeit, und ihre IPs sehen aus wie normale Benutzer.

Strategien zur Proxy-Rotation

1. Rotation bei jeder Anfrage — jede Anfrage erfolgt von einer neuen IP. Geeignet für das Parsen von Websites mit strengen Limits (soziale Netzwerke, Marktplätze).
2. Rotation nach Zeit (alle 5-10 Minuten) — eine IP wird für mehrere Anfragen verwendet, bevor sie gewechselt wird. Natürlicheres Verhalten.
3. Sticky Sessions — eine IP wird für die gesamte Benutzersitzung verwendet (z.B. Authentifizierung + Parsen des Benutzerkontos). Unbedingt erforderlich für Websites mit Authentifizierung.
4. Geografische Rotation — für jede Region wird ein Proxy aus dieser Region verwendet. Beispiel: Preisparsen auf Wildberries in Moskau — Proxy aus Moskau.

Beispiel für Proxy-Rotation in Python

import requests
import random
import time

# Liste der Proxys (ersetzen Sie durch echte)
proxies_list = [
    {"http": "http://user:pass@proxy1.example.com:8080"},
    {"http": "http://user:pass@proxy2.example.com:8080"},
    {"http": "http://user:pass@proxy3.example.com:8080"}
]

urls = [
    "https://example.com/product1",
    "https://example.com/product2",
    "https://example.com/product3"
]

for url in urls:
    # Wählen Sie einen zufälligen Proxy aus
    proxy = random.choice(proxies_list)
    
    try:
        response = requests.get(url, proxies=proxy, timeout=10)
        print(f"Geparst {url} über {proxy}")
    except Exception as e:
        print(f"Fehler mit Proxy {proxy}: {e}")
    
    # Verzögerung von 3 Sekunden
    time.sleep(3)

Praktische Fälle: Parsen von Marktplätzen und Wettbewerbern

Lassen Sie uns reale Szenarien für ethisches Parsen im Geschäft betrachten.

Fall 1: Preisüberwachung auf Wildberries

Aufgabe: Sie verkaufen Produkte auf Wildberries und möchten die Preise der Wettbewerber überwachen, um Ihre anzupassen.

Probleme:

• Wildberries blockiert IPs bei häufigen Anfragen
• Preise hängen von der Lieferregion ab
• Es müssen täglich 100-500 Produkte geparst werden

Ethische Lösung:

1. Überprüfen Sie robots.txt — Wildberries erlaubt das Parsen von Produktkarten, verbietet jedoch API-Endpunkte.
2. Verwenden Sie Residential Proxys — für jede Region (Moskau, St. Petersburg, Nowosibirsk) nehmen Sie Proxys aus dieser Region.
3. Rotation bei jeder Anfrage — jedes Produkt wird von einer neuen IP geparst.
4. Verzögerung von 2-3 Sekunden — zwischen den Anfragen machen wir eine Pause.
5. Parsen Sie einmal täglich — aktualisieren Sie die Preise nicht jede Stunde, tägliche Überwachung reicht aus.

Ergebnis: Sie erhalten aktuelle Preise der Wettbewerber ohne Blockierungen. Wildberries bemerkt keine anomale Last, da die Anfragen zeitlich und IP-seitig verteilt sind.

Fall 2: Parsen von Anzeigen auf Avito

Aufgabe: Sie sind Immobilienmakler und möchten alle Anzeigen für den Verkauf von Wohnungen in Ihrer Stadt sammeln, um den Markt zu analysieren.

Probleme:

• Avito zeigt ein Captcha bei verdächtiger Aktivität an
• Es müssen 5000+ Anzeigen geparst werden
• Daten werden täglich aktualisiert

Ethische Lösung:

1. Überprüfen Sie robots.txt — Avito erlaubt das Parsen von Anzeigenseiten, jedoch mit einer Crawl-delay von 5 Sekunden.
2. Verwenden Sie Residential Proxys — Rotation alle 10 Anfragen (nicht bei jeder Anfrage, um nicht verdächtig zu wirken).
3. Verzögerung von 5-7 Sekunden — halten Sie sich an die Crawl-delay aus robots.txt.
4. Parsen Sie nachts — wenn die Last auf der Website minimal ist (2-6 Uhr).
5. Cache-Daten — parsen Sie dasselbe Angebot nicht zweimal, speichern Sie die Ergebnisse in einer Datenbank.

Ergebnis: Über Nacht sammeln Sie alle neuen Anzeigen ohne Captchas und Blockierungen. Avito erfährt keine Überlastung, Sie erhalten die benötigten Daten.

Fall 3: Analyse des Sortiments eines Wettbewerbers

Aufgabe: Sie sind der Besitzer eines Online-Shops für Elektronik und möchten herausfinden, welche neuen Produkte bei einem Wettbewerber verfügbar sind.

Probleme:

• Die Website des Wettbewerbers ist auf einem geschützten Hosting mit einem Anti-Bot-System
• Es müssen 10.000 Produkte aus dem Katalog geparst werden
• Sie möchten dies wöchentlich tun

Ethische Lösung:

1. Überprüfen Sie robots.txt — das Parsen von /catalog/ ist erlaubt, /admin/ und /api/ sind verboten.
2. Verwenden Sie die Sitemap — anstatt alle Seiten manuell zu durchsuchen, nehmen Sie die Liste der URLs aus sitemap.xml (das ist schneller und erzeugt keine zusätzliche Last).
3. Residential Proxys mit Rotation alle 5 Minuten — eine IP macht 20-30 Anfragen, dann wechselt sie.
4. Verzögerung von 3-5 Sekunden — simulieren Sie das Verhalten eines normalen Benutzers.
5. Parsen Sie nur neue Produkte — vergleichen Sie den aktuellen Katalog mit dem vorherigen und parsen Sie nur die Änderungen.

Ergebnis: Sie erhalten wöchentlich eine Liste neuer Produkte des Wettbewerbers ohne Blockierungen. Die Website des Wettbewerbers hat keine Probleme, Sie erhalten einen Wettbewerbsvorteil.

Werkzeuge zur Automatisierung unter Einhaltung der Regeln

Es gibt fertige Tools, die das ethische Parsen erleichtern und automatisch robots.txt einhalten.

Scrapy (Python)

Scrapy ist ein beliebtes Framework für das Parsen in Python. Es überprüft automatisch robots.txt und hält sich an die Regeln.

Einrichten der Einhaltung von robots.txt in Scrapy:

# settings.py

# Aktivieren Sie die Einhaltung von robots.txt
ROBOTSTXT_OBEY = True

# Verzögerung zwischen Anfragen (in Sekunden)
DOWNLOAD_DELAY = 3

# Zufällige Verzögerung (von 0,5 bis 1,5 * DOWNLOAD_DELAY)
RANDOMIZE_DOWNLOAD_DELAY = True

# Begrenzung gleichzeitiger Anfragen an eine Domain
CONCURRENT_REQUESTS_PER_DOMAIN = 1

# User-Agent Ihres Parsers
USER_AGENT = 'MyCompanyParser/1.0 (+http://mycompany.com/bot)'

Mit diesen Einstellungen überprüft Scrapy automatisch robots.txt vor dem Parsen und hält sich an alle Regeln.

Apify (Cloud-Plattform)

Apify ist eine Cloud-Plattform für Web-Scraping ohne Code. Sie erstellen einen Parser über eine visuelle Schnittstelle, und Apify verwaltet automatisch Proxys und die Einhaltung von Limits.

Vorteile für ethisches Parsen:

• Integrierte Proxy-Rotation (Residential und Datacenter)
• Automatische Einhaltung von robots.txt
• Einrichten von Verzögerungen über die Schnittstelle
• Planung des Starts (Parsen einmal täglich/wöchentlich)

Octoparse (Parser ohne Code)

Octoparse ist eine Desktop-Anwendung für das Parsen ohne Programmierung. Es eignet sich für Marketer und Verkäufer, die keine Programmierkenntnisse haben.

So richten Sie ethisches Parsen in Octoparse ein:

1. Öffnen Sie die Aufgabeneinstellungen (Task Settings)
2. Aktivieren Sie "Respect robots.txt"
3. Stellen Sie eine Verzögerung (Delay) von 3-5 Sekunden ein
4. Verbinden Sie Proxys im Abschnitt "Proxy Settings"
5. Planen Sie den Start (Schedule)

Puppeteer/Playwright (JavaScript)

Puppeteer und Playwright sind Bibliotheken zur Automatisierung von Browsern. Sie eignen sich für das Parsen von Websites mit JavaScript-Rendering.

Beispiel für ethisches Parsen mit Puppeteer:

const puppeteer = require('puppeteer');
const robotsParser = require('robots-parser');

async function ethicalScrape(url) {
  // Überprüfen Sie robots.txt
  const robots = robotsParser('https://example.com/robots.txt', 
    'MyParser/1.0');
  
  if (!robots.isAllowed(url)) {
    console.log('Parsen verboten durch robots.txt');
    return;
  }
  
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // Verzögerung vor dem Laden der Seite
  await new Promise(resolve => setTimeout(resolve, 3000));
  
  await page.goto(url);
  const data = await page.evaluate(() => {
    return document.querySelector('h1').innerText;
  });
  
  console.log(data);
  await browser.close();
}

ethicalScrape('https://example.com/product1');

Fazit

Ethisches Parsen über Proxys ist ein Gleichgewicht zwischen Geschäftszielen und Respekt gegenüber den Website-Besitzern. Indem Sie robots.txt einhalten, Verzögerungen zwischen Anfragen einhalten und Proxy-Rotation verwenden, können Sie die benötigten Daten ohne rechtliche Risiken und Blockierungen sammeln. Die Hauptprinzipien: Überprüfen Sie robots.txt vor dem Parsen, begrenzen Sie die Geschwindigkeit der Anfragen, verwenden Sie einen ehrlichen User-Agent und parsen Sie nur öffentliche Daten. Dies schützt Ihr Geschäft vor Klagen und gewährleistet einen stabilen Betrieb der Parser.

Wenn Sie planen, Marktplätze, Wettbewerber-Websites zu parsen oder Daten zur Marktanalyse zu sammeln, empfehlen wir die Verwendung von Residential Proxys mit automatischer Rotation. Sie bieten...