Automatisierte Überwachung von öffentlichen Ausschreibungen und Tendern über Proxys: Einrichtung ohne Sperren

Manuelle Überwachung von Ausschreibungen auf den Plattformen EIS (Zakupki.gov.ru), Sberbank-AST, RTS-Tender kostet täglich 3-5 Stunden. Die Automatisierung über Parser löst das Problem, aber staatliche Plattformen blockieren aktiv automatische Anfragen – die IP wird nach 50-100 Anfragen gesperrt. Proxys ermöglichen es, Einschränkungen zu umgehen und Daten über neue Ausschreibungen rund um die Uhr zu sammeln, ohne das Risiko einer Sperrung der Haupt-IP des Unternehmens.

In diesem Leitfaden werden wir behandeln: welche Proxys für verschiedene Ausschreibungsplattformen geeignet sind, wie man automatisches Parsing ohne Sperren einrichtet, welche fertigen Tools verwendet werden können und wie man typische Fehler vermeidet, die zu einer Sperrung führen.

Warum Ausschreibungsplattformen automatische Anfragen blockieren

Staatliche und kommerzielle Ausschreibungsplattformen verwenden mehrstufigen Schutz gegen automatisierte Datensammlung. Dies hat mehrere Gründe: Die Last auf den Servern durch Parser kann 60-70% des gesamten Traffics erreichen, Wettbewerber nutzen gesammelte Daten für Dumping, und es gibt Anforderungen zum Schutz personenbezogener Daten der Teilnehmer an den Ausschreibungen.

Das Einheitliche Informationssystem (EIS) ist die am stärksten geschützte Plattform. Das System erfasst folgende Parameter jeder Anfrage: IP-Adresse, User-Agent des Browsers, Anfragerate, Handlungsfolge auf der Website. Wenn von einer IP mehr als 100 Anfragen pro Stunde eingehen oder die Anfragen zu gleichmäßig erfolgen (z.B. alle 5 Sekunden), wird die IP für 24-72 Stunden gesperrt. Die Sperre gilt für den gesamten Subnetzbereich, sodass das gesamte Unternehmen betroffen sein kann.

Kommerzielle Plattformen (Sberbank-AST, RTS-Tender, Fabrikant) verwenden einen milderen Schutz, überwachen jedoch ebenfalls verdächtige Aktivitäten. Die Hauptauslöser für eine Sperrung sind: fehlende Cookies, deaktiviertes JavaScript, zu schnelle Navigation zwischen den Seiten (weniger als 2 Sekunden pro Seite), identische Zeitintervalle zwischen den Anfragen.

Welchen Proxytyp für die Überwachung von Ausschreibungen wählen

Für die Überwachung von Ausschreibungsplattformen eignen sich drei Proxytypen, jeder mit seinen eigenen Anwendungseigenschaften. Die Wahl hängt vom Umfang des Parsings, dem Budget und den Anforderungen an die Zuverlässigkeit ab.

Residential Proxys sind die optimale Wahl für die meisten Aufgaben der Überwachung von Ausschreibungen. Sie verwenden IP-Adressen echter Heimnutzer, sodass die Plattformen die Anfragen als Handlungen gewöhnlicher Personen wahrnehmen. Für EIS wird empfohlen, russische Residential Proxys mit einer Rotation alle 10-15 Minuten zu verwenden. Dies ermöglicht es, Daten über 500-1000 Ausschreibungen täglich ohne eine einzige Sperrung zu sammeln.

Rechenzentrums-Proxys eignen sich für weniger geschützte kommerzielle Plattformen: RTS-Tender, Fabrikant, B2B-Center. Sie sind 3-5 Mal günstiger als Residential Proxys und arbeiten schneller, aber EIS erkennt und blockiert solche IPs häufig. Verwenden Sie sie für erste Tests des Parsers oder zur Überwachung kleiner regionaler Plattformen.

Mobile Proxys haben das höchste Vertrauensniveau, da sie IPs von Mobilfunkanbietern (MTS, Beeline, Megafon) verwenden. Plattformen blockieren solche Adressen praktisch nie, da hinter einer IP des Anbieters Tausende von echten Nutzern stehen können. Nachteil – höhere Kosten. Verwenden Sie mobile Proxys, wenn Sie mit besonders wertvollen Ausschreibungen arbeiten oder bereits Sperrungen bei der Verwendung von Residential Proxys erhalten haben.

Besonderheiten des Schutzes verschiedener Plattformen: EIS, Sberbank-AST, RTS-Tender

Jede Ausschreibungsplattform hat ihre eigenen Besonderheiten im Schutz gegen Parsing. Das Verständnis dieser Mechanismen ermöglicht es, den Parser so einzustellen, dass das Risiko einer Sperrung minimiert wird.

EIS (Zakupki.gov.ru) – maximaler Schutz

Das Einheitliche Informationssystem verwendet den strengsten Schutz unter allen Plattformen. Die Hauptmechanismen: Limit von 100 Anfragen pro Stunde von einer IP, obligatorische Unterstützung von Cookies und JavaScript, Überprüfung des Referers (woher der Benutzer kam), Analyse von Verhaltensfaktoren (Zeit auf der Seite, Mausbewegung, Scrollen).

Empfehlungen für das Parsing von EIS: Verwenden Sie Residential oder mobile Proxys mit russischen IPs, aktivieren Sie die automatische Rotation der Proxys nach 80-90 Anfragen (um das Limit nicht zu erreichen), fügen Sie zufällige Verzögerungen zwischen den Anfragen von 3 bis 8 Sekunden hinzu, verwenden Sie Headless-Browser (Puppeteer, Selenium) anstelle einfacher HTTP-Anfragen – sie emulieren das Verhalten eines echten Browsers vollständig.

Sberbank-AST – mittleres Schutzniveau

Die Plattform der Sberbank verwendet mildere Einschränkungen: Limit von etwa 200-300 Anfragen pro Stunde, Cookies sind obligatorisch, aber JavaScript wird nicht immer überprüft, eine Sperrung tritt bei offensichtlich robotergesteuertem Verhalten ein (identische Intervalle zwischen Anfragen, fehlender Referer).

Für Sberbank-AST sind Residential Proxys mit einer Rotation nach 200 Anfragen ausreichend. Einfachere Parsing-Tools können ohne vollständige Emulation des Browsers verwendet werden, aber fügen Sie unbedingt zufällige Verzögerungen von 2-5 Sekunden und korrekte User-Agent-Header hinzu.

RTS-Tender, Fabrikant, B2B-Center – grundlegender Schutz

Kommerzielle Plattformen haben einen minimalen Schutz: Limits von 500+ Anfragen pro Stunde, die Hauptüberprüfung ist das Vorhandensein von Cookies und einem angemessenen User-Agent, Rechenzentrums-Proxys werden selten blockiert.

Für diese Plattformen eignen sich sogar Rechenzentrums-Proxys mit grundlegender Rotation. Einfache HTTP-Parser können ohne Emulation des Browsers verwendet werden. Das Wichtigste ist, die Anfragen nicht zu häufig zu senden (mindestens 1-2 Sekunden zwischen den Anfragen) und die IP regelmäßig zu wechseln.

Fertige Tools für das Parsing von Ausschreibungen ohne Programmierung

Für die Überwachung von Ausschreibungen ist es nicht notwendig, Code von Grund auf neu zu schreiben. Es gibt fertige Lösungen mit grafischen Benutzeroberflächen, die die Arbeit über Proxys unterstützen.

Octoparse – ein visueller Parser mit Unterstützung für Proxys und einem Aufgabenplaner. Erlaubt es, einen Parser für jede Ausschreibungsplattform über eine grafische Benutzeroberfläche zu erstellen: Sie klicken einfach auf die Elemente der Seite, die gesammelt werden sollen (Ausschreibungsnummer, Auftraggeber, Betrag, Frist), und das Programm erstellt automatisch den Parsing-Algorithmus. In den Einstellungen können Sie eine Liste von Proxys angeben, und Octoparse wird sie automatisch rotieren. Kosten – ab 75 $/Monat, es gibt eine kostenlose Version mit Einschränkungen.

ParseHub – ein Pendant zu Octoparse mit einer einfacheren Benutzeroberfläche. Gut geeignet für Anfänger. Unterstützt JavaScript-Seiten (wichtig für EIS), die Arbeit über Proxys, den Export von Daten nach Excel/Google Sheets. Die kostenlose Version erlaubt die Erstellung von bis zu 5 Parsing-Projekten. Die kostenpflichtige Version – ab 149 $/Monat mit der Möglichkeit, das Parsing nach Zeitplan auszuführen (z.B. alle 2 Stunden neue Ausschreibungen überprüfen).

Screaming Frog SEO Spider – ursprünglich ein SEO-Tool, eignet sich aber hervorragend zum Parsen strukturierter Daten. Unterstützt Proxys und kann Daten von Seiten anhand vorgegebener CSS-Selektoren sammeln. Nachteil – man muss sich ein wenig mit der HTML-Struktur der Seiten auskennen. Kosten – 149 £/Jahr (ca. 15.000 Rubel), was günstiger ist als vergleichbare Produkte.

Spezialisierte Dienste zur Überwachung von Ausschreibungen – Kontur.Zakupki, Tender.Pro, B2B-Center haben bereits integrierte Überwachungssysteme mit Filtern und Benachrichtigungen. Sie erfordern keine Proxy-Einstellungen, da sie im Namen des Dienstes arbeiten. Kosten – von 5.000 bis 30.000 Rubel pro Monat, abhängig von der Anzahl der überwachten Kategorien. Nachteil – Sie sind von den Möglichkeiten des Dienstes abhängig und können keine zusätzlichen Daten sammeln oder in Ihr CRM integrieren.

Schritt-für-Schritt-Anleitung zur Einrichtung der Überwachung über Proxys in 20 Minuten

Lassen Sie uns die Einrichtung der automatischen Überwachung von Ausschreibungen am Beispiel von Octoparse – einem der beliebtesten Tools mit grafischer Benutzeroberfläche – betrachten. Dieses Beispiel eignet sich für die Überwachung von EIS, Sberbank-AST und anderen Plattformen.

Schritt 1: Proxys erhalten. Registrieren Sie sich bei einem Proxy-Anbieter und erhalten Sie eine Liste von IP-Adressen mit Ports und Authentifizierungsdaten. Für die Überwachung von EIS werden mindestens 10 russische Residential Proxys mit automatischer Rotation empfohlen. Der Anbieter stellt die Daten im Format IP:PORT:USERNAME:PASSWORD zur Verfügung (z.B. 185.123.45.67:8000:user123:pass456).

Schritt 2: Octoparse installieren und einrichten. Laden Sie Octoparse von der offiziellen Website herunter und installieren Sie es auf Ihrem Computer. Nach dem Start erstellen Sie ein neues Parsing-Projekt, indem Sie die URL der Seite mit den Suchergebnissen für Ausschreibungen auf EIS eingeben (z.B. Suche nach dem Schlüsselwort "Ausrüstung" in Ihrer Region).

Schritt 3: Proxy in Octoparse einrichten. Öffnen Sie Einstellungen → Proxy-Einstellungen. Wählen Sie den Modus "Benutzerdefinierten Proxy verwenden". Fügen Sie Ihre Proxys zur Liste hinzu, indem Sie IP, Port, Typ (HTTP oder SOCKS5), Benutzername und Passwort angeben. Aktivieren Sie die Option "Proxy nach jeder Anfrage rotieren" – dies zwingt das Programm, den Proxy nach jeder Anfrage zu wechseln, um die Last zu verteilen und Sperren zu vermeiden.

Schritt 4: Parsing-Algorithmus erstellen. Im visuellen Konstruktormodus klicken Sie auf die Elemente der Seite, die gesammelt werden sollen: Ausschreibungsnummer, Bezeichnung, Auftraggeber, Startpreis, Frist für die Einreichung von Anträgen, Region. Octoparse erkennt automatisch die Datenstruktur und erstellt den Sammelalgorithmus. Überprüfen Sie das Ergebnis bei den ersten 5-10 Einträgen – das Programm zeigt das vorläufige Ergebnis des Parsings an.

Schritt 5: Paginierung einrichten. Ausschreibungsplattformen zeigen die Ergebnisse seitenweise an (normalerweise 10-50 Ausschreibungen pro Seite). Fügen Sie in Octoparse die Aktion "Klick auf die Paginierungsschaltfläche" hinzu und geben Sie die Schaltfläche "Nächste Seite" an. Das Programm wechselt automatisch zwischen den Seiten und sammelt alle Ergebnisse.

Schritt 6: Verzögerungen hinzufügen. Stellen Sie im Parser die zufälligen Verzögerungen zwischen den Anfragen ein: mindestens 3 Sekunden, maximal 8 Sekunden. Dies simuliert das Verhalten eines echten Benutzers und verringert das Risiko einer Sperrung. Fügen Sie auch eine Verzögerung von 5-10 Sekunden nach dem Laden jeder Seite hinzu – dies gibt den JavaScript-Elementen Zeit, vollständig zu laden.

Schritt 7: Zeitplan einrichten. Im Abschnitt "Aufgabenzeitplan" richten Sie die automatische Ausführung des Parsings ein. Für die Überwachung neuer Ausschreibungen ist es optimal, die Überprüfung alle 2-4 Stunden während der Arbeitszeit zu starten. Zum Beispiel: 9:00, 13:00, 17:00, 21:00. Dies ermöglicht es, neue Veröffentlichungen im Laufe des Tages zu verfolgen, ohne die Plattform übermäßig zu belasten.

Schritt 8: Daten exportieren. Richten Sie den automatischen Export der gesammelten Daten in ein bequemes Format ein: Excel, Google Sheets, MySQL-Datenbank oder Versand über API in Ihr CRM-System. Octoparse kann neue Daten nach jedem Start des Parsers automatisch senden, was es ermöglicht, Benachrichtigungen über neue Ausschreibungen in Echtzeit zu erhalten.

Einrichtung der Proxy-Rotation und Verzögerungen zwischen Anfragen

Die richtige Einrichtung der Proxy-Rotation und der Verzögerungen ist ein entscheidender Faktor für erfolgreiches Parsing ohne Sperren. Selbst bei hochwertigen Proxys führt eine falsche Konfiguration zu einer Sperrung.

Strategien zur Proxy-Rotation: Es gibt drei Hauptansätze zum Wechseln von IP-Adressen während des Parsings.

Rotation nach jeder Anfrage – die sicherste, aber langsame Methode. Jede Anfrage an die Plattform erfolgt von einer neuen IP. Geeignet für EIS bei Parsing großer Datenmengen (1000+ Ausschreibungen). Nachteil – erhöht die Parsing-Zeit, da für die Herstellung einer neuen Verbindung über den Proxy 200-500 ms benötigt werden.

Rotation nach Anzahl der Anfragen – ein optimaler Kompromiss zwischen Geschwindigkeit und Sicherheit. Ein Proxy wird für 50-100 Anfragen verwendet, dann wird er durch den nächsten ersetzt. Für EIS wird empfohlen, die Proxys nach 80 Anfragen zu wechseln (etwas unter dem Limit von 100). Für kommerzielle Plattformen kann dies auf 200-300 Anfragen pro IP erhöht werden.

Rotation nach Zeit – Wechsel der IP alle 10-15 Minuten unabhängig von der Anzahl der Anfragen. Geeignet für längeres Parsing mit geringer Intensität (z.B. Überwachung von Updates während des Tages). Einige Proxy-Anbieter bieten automatische Rotation nach Zeit an – Sie erhalten eine Proxy-URL, aber die IP ändert sich automatisch alle N Minuten.

Einrichtung der Verzögerungen zwischen den Anfragen: Ein Mensch kann nicht sofort zwischen Seiten wechseln – er benötigt Zeit zum Lesen, Scrollen, Klicken. Der Parser sollte dieses Verhalten simulieren.

Es ist wichtig, genau zufällige Verzögerungen im angegebenen Bereich zu verwenden. Wenn der Parser Anfragen genau alle 5 Sekunden sendet, kann das Schutzsystem den Roboter leicht identifizieren. Die Funktion der zufälligen Verzögerung ist in allen gängigen Parsing-Tools vorhanden.

Typische Fehler, die zu einer Sperrung führen

Selbst bei Verwendung hochwertiger Proxys kann der Parser aufgrund technischer Fehler in der Konfiguration gesperrt werden. Hier sind die häufigsten Probleme und deren Lösungen.

Fehler 1: Verwendung des gleichen User-Agent. Der User-Agent ist eine Zeichenfolge, die der Website mitteilt, welcher Browser und welches Betriebssystem verwendet werden. Wenn alle Anfragen mit dem gleichen User-Agent (z.B. dem Standard für die Python-Bibliothek requests) gesendet werden, ist dies ein eindeutiges Zeichen für einen Bot. Lösung: Verwenden Sie eine Liste von 10-20 beliebten User-Agents für verschiedene Browser (Chrome, Firefox, Safari) und Betriebssysteme (Windows, macOS, Linux) und rotieren Sie sie zufällig bei jeder Anfrage.

Fehler 2: Deaktivierte Cookies. Die meisten Websites setzen Cookies bei der ersten Besichtigung und überprüfen deren Vorhandensein bei nachfolgenden Anfragen. Wenn der Parser keine Cookies speichert, sieht jede Anfrage wie ein erstes Besuch von einem neuen Gerät aus, was verdächtig ist. Lösung: Aktivieren Sie die Unterstützung von Cookies in den Einstellungen des Parsers. In Octoparse und ParseHub geschieht dies automatisch. Wenn Sie Ihren eigenen Parser in Python schreiben, verwenden Sie die Bibliothek requests.Session() – sie speichert Cookies automatisch zwischen den Anfragen.

Fehler 3: Parsing ohne Ausführung von JavaScript. Moderne Websites, einschließlich EIS, verwenden aktiv JavaScript zum Laden von Inhalten. Wenn der Parser einfach den HTML-Code der Seite herunterlädt, ohne JavaScript auszuführen, erhält er unvollständige Daten, und der Server registriert verdächtiges Verhalten. Lösung: Verwenden Sie Headless-Browser (Puppeteer, Selenium, Playwright), die die Seite vollständig laden, JavaScript ausführen und sogar die Seite scrollen können, um dynamische Inhalte zu laden.

Fehler 4: Ignorieren von Captchas. Einige Plattformen zeigen Captchas bei verdächtigen Aktivitäten an. Wenn der Parser die Captcha nicht lösen kann, bleibt er hängen und beginnt, wiederholte Anfragen zu senden, was zur Sperrung der IP führt. Lösung: Verwenden Sie Dienste zur automatischen Lösung von Captchas (2Captcha, Anti-Captcha) – sie kosten etwa 1-3 $ für 1000 gelöste Captchas. Die meisten Parsing-Tools haben eine integrierte Integration mit solchen Diensten.

Fehler 5: Parsing zu Stoßzeiten. Von 10:00 bis 16:00 Uhr an Werktagen ist die Aktivität der Benutzer auf den Ausschreibungsplattformen am höchsten, und die Schutzsysteme arbeiten am strengsten. Intensives Parsing zu dieser Zeit führt schneller zu einer Sperrung. Lösung: Führen Sie den Großteil des Parsings am Abend (18:00-23:00) oder nachts durch. Während der Arbeitszeiten führen Sie nur punktuelle Überprüfungen neuer Ausschreibungen mit minimaler Intensität durch.

Fehler 6: Verwendung von "schmutzigen" Proxys. Einige billige Proxy-Anbieter verkaufen IPs, die bereits für Spam oder andere verdächtige Aktivitäten verwendet wurden und auf schwarzen Listen stehen. Lösung: Testen Sie Proxys vor der massenhaften Verwendung. Senden Sie 20-30 Testanfragen an die Plattform von jeder neuen Proxy und überprüfen Sie, ob Captchas oder Sperrungen auftreten. Wenn der Proxy "schmutzig" ist, ersetzen Sie ihn beim Anbieter.

Skalierung: Überwachung von 10+ Plattformen gleichzeitig

Wenn die grundlegende Überwachung von ein oder zwei Plattformen eingerichtet und stabil läuft, stellt sich die Aufgabe der Skalierung – gleichzeitiges Parsing von Dutzenden von Ausschreibungsplattformen, um die maximale Marktabdeckung zu erreichen.

Verteilung der Proxys zwischen den Plattformen. Verwenden Sie nicht dieselben Proxys gleichzeitig für verschiedene Plattformen. Erstellen Sie Proxy-Pools: z.B. 10 Proxys für EIS, 5 für Sberbank-AST, 5 für RTS-Tender usw. Dies verhindert, dass eine Sperrung auf einer Plattform die Arbeit des Parsers auf einer anderen beeinflusst.

Priorisierung der Plattformen. Nicht alle Ausschreibungsplattformen sind für Ihr Geschäft gleich wichtig. Bestimmen Sie 3-5 Schlüsselplattformen, auf denen die meisten relevanten Ausschreibungen veröffentlicht werden, und weisen Sie ihnen mehr Ressourcen zu: die besten Proxys, häufigere Überprüfungen, detaillierteres Parsing (einschließlich der Sammlung von Dokumentationen). Für andere Plattformen verwenden Sie die grundlegende Überwachung nur der Hauptparameter der Ausschreibungen.

Automatisierung der Datenverarbeitung. Beim Parsing von 10+ Plattformen erhalten Sie täglich Hunderte neuer Ausschreibungen. Eine manuelle Verarbeitung ist unmöglich. Richten Sie eine automatische Filterung ein: nach Schlüsselwörtern im Titel der Ausschreibung, nach Region des Auftraggebers, nach Preisspanne, nach Frist für die Einreichung von Anträgen. Nur die Ausschreibungen, die alle Filter bestanden haben, gelangen auf die Liste zur manuellen Überprüfung.

Integration in CRM und Benachrichtigungssysteme. Richten Sie den automatischen Versand der gefilterten Ausschreibungen in Ihr CRM-System oder in den Unternehmensmessenger (Slack, Telegram, Microsoft Teams) ein. Die Manager erhalten Benachrichtigungen über neue passende Ausschreibungen in Echtzeit und können schnell über die Teilnahme entscheiden.

Überwachung der Parser-Arbeit. Bei der Arbeit mit vielen Plattformen ist es entscheidend, den Status jedes Parsers zu überwachen. Richten Sie ein Dashboard ein, auf dem zu sehen ist: wann jeder Parser zuletzt ausgeführt wurde, wie viele Ausschreibungen gesammelt wurden, ob Fehler oder Sperrungen auftraten. Tools wie Octoparse haben integrierte Dashboards. Wenn Sie eigene Skripte verwenden, können Sie das Logging in Google Sheets oder spezialisierten Überwachungssystemen wie Grafana einrichten.

Fazit

Die Automatisierung der Überwachung von staatlichen und kommerziellen Ausschreibungen über Proxys ermöglicht es, Informationen über neue Beschaffungen in Echtzeit zu erhalten, täglich bis zu 4 Stunden bei der manuellen Suche zu sparen und die Anzahl der eingereichten Anträge um 30-50% zu erhöhen. Die Schlüsselfaktoren für den Erfolg: die richtige Wahl des Proxytyps je nach Plattform, die korrekte Einrichtung der IP-Rotation und der Verzögerungen zwischen den Anfragen, die Verwendung von Tools mit Unterstützung für JavaScript und Cookies.

Für die Überwachung geschützter Plattformen wie EIS verwenden Sie Residential oder mobile Proxys mit russischen IP-Adressen – sie bieten das höchste Vertrauensniveau und das geringste Risiko von Sperrungen. Für kommerzielle Plattformen mit grundlegenden Schutzmaßnahmen sind kostengünstigere Rechenzentrums-Proxys ausreichend. Beginnen Sie mit der Automatisierung von 2-3 Schlüsselplattformen, optimieren Sie die Einstellungen und skalieren Sie dann das System auf den gesamten Markt der Ausschreibungen in Ihrer Branche.

Wenn Sie eine Rund-um-die-Uhr-Überwachung von Ausschreibungsplattformen einrichten möchten, empfehlen wir die Verwendung von Residential Proxys – sie gewährleisten einen stabilen Betrieb der Parser ohne Sperrungen, selbst bei hoher Intensität der Anfragen an geschützte staatliche Plattformen.