So richten Sie einen Reverse-Proxy ein, um Ihre Website vor Bots, Scannern und Parsern zu schützen: Eine umfassende Anleitung

Jeden Tag wird Ihre Website von Hunderten von Bots angegriffen: Einige stehlen Preise und Inhalte, andere überlasten den Server mit Anfragen, wieder andere suchen nach Schwachstellen. Wenn Sie einen Online-Shop auf Wildberries oder Ozon betreiben, Landingpages für Werbekampagnen in Facebook Ads führen oder die Websites von Kunden verwalten — dieses Problem betrifft Sie direkt. Ein Rückwärts-Proxy (reverse proxy) ist die erste Verteidigungslinie, die ohne tiefgehende technische Kenntnisse eingerichtet werden kann.

Was ist ein Rückwärts-Proxy und wie unterscheidet er sich von einem normalen

Die meisten Menschen kennen Proxys als Werkzeug zum Ändern der IP-Adresse: Sie verbinden sich mit einem Proxy-Server, und die Websites sehen dessen Adresse anstelle Ihrer. Dies wird als direkter Proxy (forward proxy) bezeichnet — er schützt den Benutzer.

Ein Rückwärts-Proxy (reverse proxy) arbeitet auf der anderen Seite. Er steht vor Ihrem Server und nimmt alle eingehenden Anfragen anstelle von ihm entgegen. Der Besucher denkt, dass er direkt mit Ihrer Website kommuniziert — aber tatsächlich gelangt er zuerst auf den Proxy-Server, der die Anfrage überprüft, verdächtige Aktivitäten filtert und erst dann den legitimen Verkehr an Ihren echten Server weiterleitet.

Der entscheidende Unterschied zu einem normalen Proxy besteht auch darin, dass Ihre echte IP-Adresse des Servers verborgen bleibt. Angreifer und Bots wissen nicht, wo sich Ihre Website physisch befindet — sie sehen nur die Adresse des Rückwärts-Proxys. Das schneidet bereits einen erheblichen Teil der Angriffe ab.

Für Eigentümer von Online-Shops, Vermarkter und Arbitragehändler, die Dutzende von Landingpages betreiben, ist dies von entscheidender Bedeutung: Wettbewerber können Ihr echtes Hosting nicht finden und es direkt angreifen, ohne die Schutzmaßnahmen zu umgehen.

Warum Bots und Scanner gefährlich für Ihr Geschäft sind

Viele Website-Besitzer unterschätzen die Bedrohung durch Bots und betrachten sie als "technisches Problem". In Wirklichkeit sind dies direkte Geschäftseinbußen. Lassen Sie uns spezifische Szenarien betrachten, mit denen unsere Leser konfrontiert sind.

Preisscannen durch Wettbewerber

Wenn Sie auf Marktplätzen verkaufen oder einen eigenen Online-Shop betreiben, können Wettbewerber einen Parser starten, der alle 15-30 Minuten Ihre Preise abruft und automatisch ihre um 1-2% niedriger anzeigt. Sie verlieren Verkäufe, ohne zu verstehen, warum. Bots, die Preise scannen, belasten auch den Server: Hunderte von Anfragen pro Minute verlangsamen die Website für echte Käufer, was sich direkt auf die Konversion auswirkt.

Klickbetrug (click fraud)

Arbitragehändler und Vermarkter, die mit Facebook Ads und Google Ads arbeiten, sehen sich regelmäßig mit Klickbetrug konfrontiert. Klick-Bots klicken auf Ihre Anzeigen und verbrennen das Budget ohne Konversionen. Laut Studien machen Bots bis zu 20-30% des Werbetraffics in bestimmten Nischen aus. Ein Rückwärts-Proxy mit den richtigen Regeln hilft, solche Quellen zu identifizieren und zu blockieren.

Schwachstellenscanner

Automatische Scanner wie Shodan, Masscan und Hunderte weniger bekannter Tools durchsuchen ständig das gesamte Internet nach ungeschützten Websites. Sie überprüfen veraltete CMS-Versionen, offene Ports, Standardpasswörter. Wenn Ihre Website auf WordPress oder einer anderen beliebten Plattform läuft — sie ist definitiv bereits in ihren Datenbanken. Ohne Schutz ist es nur eine Frage der Zeit, bis eine Schwachstelle gefunden wird.

DDoS-Angriffe und Serverüberlastung

Wettbewerber oder einfach nur böswillige Personen können einen Angriff organisieren, der Ihre Website im ungünstigsten Moment lahmlegt — zum Beispiel während eines Verkaufs oder einer aktiven Werbekampagne. Selbst ein kleiner DDoS-Angriff mit mehreren tausend Anfragen pro Sekunde kann ein günstiges Hosting "zum Absturz bringen".

Wie ein Rückwärts-Proxy die Website schützt: Funktionsweise

Ein Rückwärts-Proxy schützt die Website auf mehreren Ebenen. Das Verständnis dieser Ebenen hilft Ihnen, das System richtig einzurichten und keine wichtigen Schritte zu übersehen.

Ebene 1 — Verstecken der echten IP

Sobald Sie den Verkehr über einen Rückwärts-Proxy leiten, hört Ihre echte IP-Adresse des Servers auf, öffentlich zu sein. Bots und Angreifer können nicht direkt auf den Server zugreifen — sie stoßen auf den Proxy. Dies ist besonders wichtig zum Schutz vor DDoS: Selbst wenn ein Angreifer die Domain Ihrer Website kennt, kann er den Server nicht umgehen.

Ebene 2 — Analyse und Filterung von Anfragen

Jede eingehende Anfrage wird anhand mehrerer Parameter überprüft: User-Agent (welcher Browser/Bot die Anfrage stellt), Anfragerate von einer IP, Geolokalisierung, Verhaltensmuster. Bots stellen in der Regel Anfragen zu schnell, verwenden nicht standardmäßige User-Agent-Strings oder kommen von bekannten IP-Adressen von Rechenzentren. Ein Rückwärts-Proxy kann all dies überwachen und blockieren.

Ebene 3 — Rate Limiting (Anfragefrequenzbegrenzung)

Ein echter Mensch kann nicht 500 Seiten einer Website pro Minute durchsuchen. Ein Rückwärts-Proxy ermöglicht es, Limits festzulegen: zum Beispiel nicht mehr als 60 Anfragen pro Minute von einer IP. Wenn jemand das Limit überschreitet — erhält er eine temporäre Sperre oder eine CAPTCHA-Prüfung. Dies stoppt die meisten Parser und Scanner effektiv, ohne die normalen Besucher zu beeinträchtigen.

Ebene 4 — Caching und Lastenreduzierung

Ein Rückwärts-Proxy cached statische Inhalte (Bilder, CSS, JavaScript) und liefert sie direkt aus, ohne auf Ihren Server zuzugreifen. Selbst wenn Bots durch die Filter gelangen, erhalten sie gecachte Seiten — die Last auf dem echten Server ist minimal. Außerdem beschleunigt dies die Website für echte Besucher, was sich positiv auf SEO und Konversion auswirkt.

Ebene 5 — SSL/TLS-Terminierung

Ein Rückwärts-Proxy übernimmt die Verschlüsselung des Verkehrs. Ihr Server arbeitet schneller, da er keine Ressourcen für die Verschlüsselung jeder Anfrage aufwenden muss. Und die Besucher sehen eine gesicherte HTTPS-Verbindung — das ist wichtig sowohl für das Vertrauen als auch für das Ranking bei Google.

Übersicht der Lösungen: Cloudflare, Nginx, Caddy — was wählen

Es gibt mehrere beliebte Lösungen zur Einrichtung eines Rückwärts-Proxys. Die Wahl hängt von Ihrem technischen Niveau, Budget und dem Umfang der Aufgabe ab.

Für die meisten Website-Besitzer, Vermarkter und Arbitragehändler, die sich nicht mit Servereinstellungen auseinandersetzen möchten, ist Cloudflare die optimale Wahl. Der kostenlose Tarif deckt 90% der Aufgaben zum Schutz vor Bots und Scannern ab. Genau damit beginnen wir die Schritt-für-Schritt-Anleitung.

Einrichtung von Cloudflare als Rückwärts-Proxy: Schritt für Schritt

Cloudflare ist ein Cloud-Service, der nach einer einfachen Änderung der DNS-Server zu einem Rückwärts-Proxy für Ihre Website wird. Kein Programmieren, kein Serverzugang — nur Einstellungen im Browser.

Schritt 1 — Registrierung und Hinzufügen der Website

Besuchen Sie cloudflare.com und erstellen Sie ein Konto. Nach dem Einloggen klicken Sie auf die Schaltfläche "Add a Site" und geben Sie die Domain Ihrer Website ein (z.B. myshop.ru). Wählen Sie den kostenlosen Tarif Free — für den Anfang reicht dieser völlig aus.

Cloudflare wird automatisch Ihre DNS-Einträge scannen und eine Liste anzeigen. Überprüfen Sie, ob alle Einträge vorhanden sind (normalerweise ist dies ein A-Eintrag mit der IP des Servers und MX-Einträge für die E-Mail). Klicken Sie auf "Continue".

Schritt 2 — Änderung der DNS-Server beim Domain-Registrar

Cloudflare wird Ihnen zwei Nameserver-Adressen geben — etwas wie alex.ns.cloudflare.com und diana.ns.cloudflare.com. Gehen Sie in das Control Panel Ihres Domain-Registrars (RU-CENTER, Reg.ru, Namecheap usw.) und ersetzen Sie die aktuellen Nameserver durch diese beiden Adressen.

Die Aktualisierung der DNS kann zwischen 15 Minuten und 48 Stunden dauern. Sobald alles aktualisiert ist, wird der gesamte Verkehr zu Ihrer Website automatisch über die Server von Cloudflare geleitet — der Rückwärts-Proxy wird automatisch aktiviert.

Schritt 3 — Aktivierung des "Under Attack"-Modus bei Bedarf

Gehen Sie im Cloudflare-Dashboard zu Security → Overview. Hier sehen Sie das Schutzniveau (Security Level). Für die meisten Websites ist das Niveau "Medium" geeignet. Wenn Ihre Website aktiv angegriffen wird — schalten Sie vorübergehend auf "Under Attack Mode": Alle Besucher müssen eine JS-Prüfung bestehen, die Bots normalerweise nicht bestehen.

Schritt 4 — Einrichtung des Bot Fight Mode

Gehen Sie zu Security → Bots. Aktivieren Sie den Schalter "Bot Fight Mode" — dies ist der grundlegende Schutz vor automatischen Bots, der kostenlos verfügbar ist. Cloudflare erkennt und blockiert automatisch den Verkehr von bekannten böswilligen Bots, indem es eine Datenbank mit Milliarden von Anfragen verwendet.

In den kostenpflichtigen Tarifen (Pro und höher) ist der Super Bot Fight Mode mit detaillierteren Einstellungen verfügbar: Sie können das Verhalten für Suchbots (Googlebot, Yandexbot sollten durchgelassen werden!), für verifizierte Bots (Uptime-Überwachung) und für verdächtige automatische Anfragen separat einstellen.

Schritt 5 — Erstellung von Firewall-Regeln (Firewall Rules)

Gehen Sie zu Security → WAF → Firewall Rules und erstellen Sie Regeln für Ihre Aufgaben. Hier sind einige Beispiele für Regeln, die Sie sofort hinzufügen sollten:

Schritt 6 — Einrichtung von Rate Limiting

Erstellen Sie im Abschnitt Security → WAF → Rate limiting rules eine Regel zur Begrenzung der Anfragefrequenz. Zum Beispiel: nicht mehr als 100 Anfragen pro Minute von einer IP-Adresse. Wenn das Limit überschritten wird — zeigen Sie CAPTCHA an oder blockieren Sie vorübergehend. Dies stoppt die meisten Parser, die versuchen, alle Seiten Ihrer Website schnell zu sammeln.

Einrichtung von Nginx als Rückwärts-Proxy: Grundkonfiguration

Wenn Sie einen eigenen VPS-Server haben (zum Beispiel bei Timeweb, Selectel oder DigitalOcean), können Sie Nginx als Rückwärts-Proxy einrichten. Dies gibt Ihnen mehr Kontrolle und Flexibilität, erfordert jedoch grundlegende Kenntnisse im Umgang mit der Kommandozeile.

Typisches Schema: Sie haben einen Hauptserver mit einer Anwendung (zum Beispiel einen Online-Shop auf Port 8080) und einen separaten Server oder denselben Server mit Nginx auf Port 80/443, der den gesamten Verkehr annimmt und an die Anwendung weiterleitet.

Die Grundkonfiguration von Nginx als Rückwärts-Proxy mit Schutz vor Bots sieht folgendermaßen aus:

server {
    listen 80;
    server_name mysite.ru www.mysite.ru;

    # Weiterleitung auf HTTPS
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name mysite.ru www.mysite.ru;

    ssl_certificate /etc/letsencrypt/live/mysite.ru/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/mysite.ru/privkey.pem;

    # Blockierung leerer User-Agent (Bots ohne UA)
    if ($http_user_agent = "") {
        return 403;
    }

    # Blockierung bekannter Scanner nach User-Agent
    if ($http_user_agent ~* (sqlmap|nikto|nmap|masscan|zgrab|python-requests)) {
        return 403;
    }

    # Rate Limiting — Anwendung der Begrenzungszone
    limit_req zone=one burst=20 nodelay;

    # Weiterleitung der Anfragen an den echten Server
    location / {
        proxy_pass http://127.0.0.1:8080;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # Verstecken von Informationen über den echten Server
        proxy_hide_header X-Powered-By;
        proxy_hide_header Server;
    }
}

# Definition der Rate Limiting-Zone (in den http-Block einfügen)
# limit_req_zone $binary_remote_addr zone=one:10m rate=60r/m;

Beachten Sie die Direktive proxy_hide_header — sie verbirgt Header, die Informationen über Ihren echten Server und CMS offenbaren. Dies erschwert die Arbeit von Schwachstellenscannern: Sie wissen nicht, wonach sie suchen.

Die Zone limit_req_zone begrenzt jede IP-Adresse auf 60 Anfragen pro Minute. Der Parameter burst=20 erlaubt kurzfristige Spitzen (ein echter Benutzer kann schnell mehrere Seiten öffnen), aber eine anhaltend hohe Last wird blockiert.

Regeln zur Blockierung von Bots und Scannern: Checkliste

Nach der grundlegenden Einrichtung des Rückwärts-Proxys verwenden Sie diese Checkliste, um sicherzustellen, dass der Schutz umfassend eingerichtet ist. Jeder Punkt ist ein separater Angriffsvektor, den es zu schließen gilt.

✅ Grundschutz (unbedingt für alle)

• Bot Fight Mode in Cloudflare aktiviert (oder Äquivalent in einer anderen Lösung)
• Rate Limiting eingerichtet: nicht mehr als 60-100 Anfragen pro Minute von einer IP
• Anfragen mit leerem User-Agent blockiert
• Bekannte Scanner blockiert: sqlmap, nikto, nmap, masscan
• Header Server und X-Powered-By verborgen (Version des Servers und CMS nicht angezeigt)
• HTTPS eingerichtet, HTTP leitet automatisch auf HTTPS um
• Echte IP des Servers erscheint nicht in öffentlichen Datenbanken (Shodan, Censys)

✅ Erweiterter Schutz (für aktiv angegriffene Websites)

• Honeypot eingerichtet — versteckte Seite, die nur Bots sehen (echte Benutzer gehen dort nicht hin). IPs, die den Honeypot besucht haben, werden automatisch blockiert
• Überprüfung der Browser-Integrität aktiviert (Browser Integrity Check in Cloudflare)
• CAPTCHA für verdächtigen Verkehr eingerichtet (nicht für alle — nur für Verdächtige)
• Geo-Blockierung von Ländern, aus denen kein legitimer Verkehr erwartet wird
• Überwachung der Protokolle: Alarme bei plötzlichem Anstieg von 403/429-Fehlern eingerichtet
• Blockierung von IP-Bereichen großer Cloud-Anbieter (AWS, Azure, GCP) — die meisten Bots arbeiten aus Clouds
• robots.txt mit Verbot für aggressive Bots eingerichtet

✅ Schutz spezifischer Seiten

• Anmeldeseite (/admin, /wp-admin, /login) — strenges Rate Limiting (5-10 Versuche pro Minute) und Zwei-Faktor-Authentifizierung
• API-Endpunkte — verpflichtende Authentifizierung über API-Schlüssel oder Token
• Preisseiten — zusätzliche Prüfungen für häufige Anfragen (Schutz vor Parsing)
• Registrierungs-/Antragsformular — CAPTCHA oder unsichtbare Honeypot-Falle für Bots

Proxy zur Überwachung: Wie Sie den Schutz Ihrer Website überprüfen

Nach der Einrichtung des Rückwärts-Proxys ist es wichtig sicherzustellen, dass der Schutz korrekt funktioniert und echte Benutzer nicht blockiert werden. Hier kommen normale Proxys ins Spiel — jetzt von der anderen Seite: Sie selbst werden zum "externen Benutzer" und überprüfen das Verhalten der Website.

Warum Vermarkter und Arbitragehändler ihre Websites über Proxys überprüfen sollten

Stellen Sie sich folgendes Szenario vor: Sie haben den Schutz vor Bots eingerichtet, die Geo-Blockierung aktiviert, und plötzlich bemerken Sie, dass die Konversion gesunken ist. Möglicherweise haben Sie versehentlich echte Benutzer aus bestimmten Regionen oder Geräten blockiert. Dies kann überprüft werden, indem Sie über Proxys aus verschiedenen Ländern und mit verschiedenen Verbindungstypen auf die Website zugreifen.

Für solche Aufgaben sind mobile Proxys hervorragend geeignet — sie simulieren eine Verbindung von einem echten mobilen Gerät über einen Mobilfunkanbieter. Wenn Ihre Blockierungsregeln den mobilen Verkehr korrekt durchlassen, bedeutet das, dass normale Benutzer mit Smartphones nicht unter dem Schutz leiden.

Praktische Szenarien zur Überprüfung

Szenario 1 — Überprüfung der Geo-Verfügbarkeit. Sie haben Werbung in Facebook Ads für ein Publikum aus mehreren Regionen Russlands geschaltet. Über Proxys mit IPs aus Nowosibirsk, Jekaterinburg und Krasnodar überprüfen Sie, ob die Landingpage korrekt geöffnet wird, keine CAPTCHA anzeigt und schnell lädt.

Szenario 2 — Test der Rate Limiting. Öffnen Sie mehrere Tabs über einen Proxy und wechseln Sie schnell zwischen den Seiten. Wenn Sie bei normalem Verhalten blockiert werden — ist der Schwellenwert zu niedrig, er muss erhöht werden.

Szenario 3 — Überprüfung von verschiedenen IP-Typen. Versuchen Sie, über einen Proxy aus einem Rechenzentrum (Simulation eines Bots/Servers) zuzugreifen — wenn Ihr Schutz funktioniert, sollte eine solche Anfrage CAPTCHA oder eine Blockierung erhalten. Versuchen Sie dann, über einen residential Proxy (Simulation eines normalen Heimbenutzers) zuzugreifen — der Zugang sollte frei sein.

Szenario 4 — Überprüfung durch Wettbewerber. Wenn Sie überprüfen möchten, wie schwierig es ist, Ihre Website zu parsen, versuchen Sie es selbst mit einem einfachen Tool. Wenn der Parser bereits nach 10-20 Anfragen blockiert wird — funktioniert der Schutz. Wenn er Daten ohne Probleme sammelt — müssen die Regeln verschärft werden.

Überwachung der Effektivität des Schutzes

Gehen Sie in Cloudflare zu Security → Overview — hier sehen Sie Diagramme der blockierten Anfragen, Bedrohungstypen und die Geografie der Angriffe. Achten Sie auf:

• Plötzlicher Anstieg der blockierten Anfragen — ein Zeichen für einen aktiven Angriff oder Parsing
• Hoher Prozentsatz des Verkehrs aus einem Land — möglicherweise sollten Sie eine Geo-Blockierung hinzufügen
• Anstieg von 403/429-Fehlern in den Protokollen — überprüfen Sie, ob echte Benutzer blockiert werden
• Regelmäßige Anfragen an /admin, /wp-login.php — Versuche, in das System einzudringen, verstärken Sie den Schutz dieser Pfade

Fazit: Rückwärts-Proxy ist keine Option, sondern eine Notwendigkeit

Ein Rückwärts-Proxy ist längst nicht mehr nur ein Werkzeug für große Unternehmen. Heute benötigt selbst ein kleiner Online-Shop, eine Landingpage für eine Arbitragekampagne oder die Website einer SMM-Agentur einen grundlegenden Schutz vor Bots, Scannern und Parsing durch Wettbewerber.

Die wichtigsten Erkenntnisse aus diesem Leitfaden: Cloudflare ist der schnellste Einstieg ohne technische Kenntnisse, Nginx bietet maximale Kontrolle, wenn ein eigener Server vorhanden ist. In beiden Fällen kann der grundlegende Schutz in 30-60 Minuten eingerichtet werden und deckt 80-90% typischer Bedrohungen ab. Vergessen Sie nicht zu überprüfen, dass nützliche Bots (Googlebot, Yandexbot) auf der Whitelist bleiben und echte Benutzer nicht unter zu aggressiven Regeln leiden.

Ein separater Punkt für diejenigen, die Proxys in ihrer Arbeit verwenden: Wenn Sie Werbekampagnen überprüfen, Wettbewerber überwachen oder die Verfügbarkeit Ihrer Websites aus verschiedenen Regionen testen — für diese Aufgaben sind residential Proxys am besten geeignet. Sie haben IP-Adressen echter Haushaltsbenutzer, daher durchlaufen sie die meisten Schutzsysteme wie normale Besucher und geben ein objektives Bild davon, was Ihr Publikum sieht.