ロシア、カザフスタン、EU諸国、アメリカで入札を監視している企業は、早かれ遅かれ同じ問題に直面します:政府調達ポータルが突然データを返さなくなり、CAPTCHAが表示されるか、IPアドレスが禁止されるのです。これは、政府のプラットフォームが自動情報収集から積極的に保護されているためです。なぜそうなるのか、どの国が特に厳しくトラフィックをフィルタリングしているのか、安定した入札監視のためにどのタイプのプロキシを選ぶべきかを解説します。
なぜ政府調達ポータルはデータ収集をブロックするのか
形式的には、多くの国で政府調達に関する情報は公開されています — これは予算支出の透明性に関する法律の要件です。しかし、「公開されている」とは「自動化された収集が産業規模で可能である」という意味ではありません。ロシアのEIS(zakupki.gov.ru)、カザフスタンのポータルgoszakup.gov.kz、欧州のTED(Tenders Electronic Daily)やアメリカのSAM.govは、ブラウザを通じて手動で閲覧することを前提としており、スクリプトからの1分間に数千のリクエストには対応していません。
1つのIPアドレスから異常な活動が発生すると — 秒間に数十のリクエスト、同じUser-Agent、クリック間の休止がない — 保護システム(多くの場合、Cloudflare、DataDome、または政府機関の独自開発)はこれをボットとして認識します。その後、3つのシナリオが考えられます:CAPTCHAの表示、IPの一時的なブロック(15〜60分)、またはサブネット全体の完全な禁止です。入札監視をビジネスとしている企業にとって、これらのシナリオのいずれも、見逃した調達や失ったお金を意味します。
さらに難しいのは、多くの入札プラットフォームが電子署名(ECP)を通じた認証を要求したり、ブラウザのJavaScriptチェックを通過した後にのみデータを提供したりすることです。これは、単にIPを変更するだけでは不十分であり、実際のユーザーの行動を模倣し、実際のブラウザ環境を再現する必要があることを意味します。
国別のオープンデータ:収集が最も難しい場所
保護レベルとAPIの可用性は国によって大きく異なります。調達アナリストや入札専門家が最も頻繁に扱う主要な法域を解説します。
| 国 / 地域 | ポータル | 保護レベル | 特徴 |
|---|---|---|---|
| ロシア | zakupki.gov.ru, B2B-Center | 中程度〜高い | 公式APIあり、ただし制限と登録が必要 |
| カザフスタン | goszakup.gov.kz | 中程度 | リクエストが多いと頻繁にタイムアウトが発生 |
| 欧州連合 | TED (ted.europa.eu) | 低〜中程度 | XML/CSVでのオープンエクスポートあり、ただし一部データに地理的制限あり |
| アメリカ | SAM.gov | 高い | 厳格なブラウザチェックがあり、登録とAPIキーが必要 |
| ウクライナ | Prozorro | 低い | 完全にオープンなAPIで、プロキシはほとんど必要ない |
| イギリス | Contracts Finder, Find a Tender | 中程度 | イギリス以外からのリクエストに対する地理的ブロック |
表からの主な結論:形式的にオープンなAPIがある場合でも、しばしば地理的制限や1つのIPからのリクエスト数に厳しい制限が適用されます。イギリスからデータを収集する場合、物理的に他の国にいると、リクエストはボットチェックの前に拒否される可能性があります — 単にIPがイギリスのものでないからです。ここでプロキシの役割が始まります:必要な地理的位置からデータをリクエストし、数十のアドレス間で負荷を分散させることができます。
入札プラットフォームに必要なプロキシの種類
政府調達を監視するための「すべてのケースに適した1つのプロキシタイプ」という普遍的な解決策はありません。選択は、どのプラットフォームで作業しているか、そしてその保護がどれほど攻撃的であるかによって異なります。
| プロキシの種類 | 使用するタイミング | ブロックのリスク |
|---|---|---|
| データセンターのプロキシ | オープンAPIと弱い保護のプラットフォーム(Prozorro、部分的にTED) | 中程度 — データセンターのサブネットは時々ブラックリストに載っていることがあります |
| レジデンシャルプロキシ | Cloudflare/DataDome、地理的制限のあるプラットフォーム(SAM.gov、Contracts Finder) | 低い — IPは通常の家庭ユーザーのように見えます |
| モバイルプロキシ | 特定の入札のポイントチェック、リクエストの頻度が低い | 最小限ですが、トラフィックのコストは高くなります |
実際には、複数の国で同時に入札を監視しているほとんどの企業は、組み合わせを使用しています:オープンAPIのあるプラットフォームにはデータセンターのIPを、厳重な保護がある場合や正確な地理的位置が必要な場合にはレジデンシャルプロキシを使用します(例えば、リクエストはロンドンから行われる必要があり、ヨーロッパの任意の地点からではありません)。レジデンシャルプロキシは、ポータルがIPだけでなく、タイムゾーン、ブラウザの言語、リクエストの地理的位置の一致を確認する場合に特に便利です — これらのパラメータが一致しないと、自動トラフィックとして認識されます。
データ収集の設定:実践的なスキーム
コードを書かない調達アナリストが、契約者や既存のサービスを通じてデータ収集プロセスを管理する際には、プログラミングに直接触れずとも設定のロジックを理解することが重要です。以下は、入札部門が使用するステップバイステップのスキームです:
- ターゲットポータルを特定します。 監視が必要な国ごとのプラットフォームのリストを作成し、公式APIがあるかどうかを確認します — これによりプロキシへの負荷が軽減されます。
- 地理的要件を確認します。 プラットフォームが自国以外からのリクエストをブロックする場合(例えば、イギリスのContracts Finder)、必要な地理的位置を持つレジデンシャルプロキシを予算に組み込みます。
- IPのローテーションを設定します。 定期的なデータ収集(1日に数回)には、5〜15分ごとに自動的にIPを変更する必要があります。これにより、1つのアドレスからのリクエストの制限を超えないようにします。
- リクエスト間に休止を追加します。 人間の行動を模倣するために、ページへのアクセス間に3〜10秒の遅延を設けることで、ボット対策システムの作動確率を低下させます。
- CAPTCHAと禁止を監視します。 CAPTCHAの数が増加した場合に通知を設定します — これは現在のIPプールが「温まって」おり、新しいアドレスへのローテーションが必要であることを示す信号です。
- リクエストの履歴を保存します。 各ポータルごとに成功したリクエストとブロックされたリクエストのログを保持します — これにより、特定のプラットフォームに対してどのタイプのプロキシが最も効果的であるかを理解するのに役立ちます。
実践的なアドバイス:
3〜4か国から同時に入札を監視している場合は、すべてのプラットフォームに同じIPプールを使用しようとしないでください。事前に国ごとにプロキシを分けることで、1つのポータルでの禁止が他のポータルのIPの評判に影響を与えるリスクを軽減します。
入札監視のためのツール
企業は通常、ゼロからパーサーを作成することはなく、既存のソリューションを使用するか、いくつかのツールを組み合わせて使用します。政府調達データ収集に使用される主要なカテゴリは以下の通りです:
- 既製の入札パーサー — Tenderplan、Контур.Закупки、B2B-Centerなどのサービスは、すでにCAPTCHA回避のロジックが組み込まれていますが、特定のポータルに合わせた設定にはスケーリング用のプロキシが必要になることがあります。
- No-codeパーシングプラットフォーム — Octoparse、ParseHubは、コードを書くことなくビジュアルインターフェースを通じてデータ収集を設定でき、外部プロキシの接続もサポートしています。
- アンチデテクトブラウザ — データ収集がポータルでの認証を必要とする場合(例えば、zakupki.gov.ruの個人アカウント)、Dolphin AntyやAdsPowerのようなツールは、各プロキシとユニークなブラウザのフィンガープリンティングを持つ複数のアカウントを同時に管理するのに役立ちます。
- ポータルからのRSSおよびメール通知 — これが利用可能な場合(Prozorroのように)、アクティブなパースやプロキシの必要性を減少させます。
ツールの選択はボリュームに依存します:1〜2カテゴリの調達を1か国で監視するには、無料のRSS通知で十分かもしれません。しかし、5〜10か国での入札の包括的な監視を行う場合、パーサー + プロキシプール + IPローテーションの組み合わせが必要です。
政府調達のパース時のよくある間違い
入札監視中のブロックの大部分は、データ収集そのものの事実によるものではなく、設定の技術的な誤りによるものです。以下は、禁止につながることが最も多い原因です:
- リクエストの頻度が高すぎる。 最大速度で1回のセッションで全ての調達レジストリを収集しようとすると、ほぼ常にCAPTCHAやIPの一時的な禁止で終わります。
- 複数の国に対して同じIPを使用する。 1つのアドレスがロシアとカザフスタンのポータルに短時間でアクセスすると、両方の保護システムにとって疑わしく見えます。
- User-Agentやブラウザのヘッダーを無視する。 良好なプロキシを使用していても、「空」のまたは古いブラウザのヘッダーを持つリクエストはボットとして認識される可能性があります。
- 長時間の監視時にローテーションがない。 1つのIPから数時間にわたってデータ収集が行われると、最初の1時間以降、禁止される可能性が指数関数的に増加します。
- 地理的適合性を軽視する。 オランダのIPからイギリスのポータルにリクエストを送信すると、1回は通過するかもしれませんが、定期的にアクセスするとシステムは不一致に気付き、確認を要求し始めます。
オープンデータ収集の合法性
2つの概念を区別することが重要です:データへのアクセスの合法性と、ポータルの利用規約(ToS)の遵守です。政府調達に関する情報は、圧倒的多数の国で法律により公開されており — これは予算資金の透明性に関する要件です。しかし、特定のポータルは自動アクセスに関する独自のルールを設定することがあります:リクエストの制限、APIの登録要件、大量のスクレイピングを許可しないなどです。
実際には、入札分析を行うほとんどの企業はグレーゾーンで活動しています:データは公開されており、その収集は情報アクセスに関する法律に違反しませんが、ポータルの利用規約に形式的に反することがあります。これは刑事犯罪ではありませんが、合理的な制限を守らずに体系的かつ攻撃的にパースを行うと、IPアドレスの禁止やポータル管理者との法的なやり取りのリスクが存在します。したがって、レジデンシャルまたはデータセンターのプロキシを通じた合理的なIPローテーションは、技術的な解決策だけでなく、評判の解決策でもあります:ポータルのインフラへの負荷を軽減し、対立を最小限に抑えます。
結論
各国の政府調達や入札の監視は、ブロックからの保護に対する異なるアプローチを必要とします。厳しい制限のないオープンAPIがある場合(Prozorro、部分的にTED)では、基本的なIPローテーションで十分です。しかし、厳重な保護や地理的制限のあるプラットフォーム(SAM.gov、Contracts Finder、EISの特定のセクション)には、より厳格なインフラが必要です:必要な地理的位置を持つレジデンシャルプロキシ、リクエスト間の休止、そして実際のユーザーの行動を慎重に模倣することが求められます。
もしあなたが入札監視システムの構築を始めたばかりで、複数の国で同時に作業する予定があるなら、レジデンシャルプロキシから始めるのが賢明です — これにより、ポータルの保護システムからの信頼度が高まり、必要な地理的位置を正確に選択できます。オープンAPIのある保護が少ないプラットフォームには、データセンターのプロキシを使用することでコストを節約できます — これらは、攻撃的な保護がない場所ではより速く、安価です。