パーサーが認証されたアカウントで動作している場合、IPの変更はほぼ常に即座のログアウト、キャプチャ、またはセッションの禁止を意味します。プラットフォームは接続の「フィンガープリント」と失われたセッションの不一致を検知し、クッキーをリセットします。この文書では、IPを変更しながら認証を失わない4つの検証済みスキームと、Pythonの作業コードを解説します。
なぜIP変更時にセッションが失われるのか
認証されたセッションは、単なるsession_idのクッキーだけではありません。現代のプラットフォーム(マーケットプレイス、ソーシャルネットワーク、銀行のアカウント)は、セッションをIPアドレス、User-Agent、TLSフィンガープリント、IPによるジオロケーション、時にはブラウザのCanvas/WebGLフィンガープリンティングといった一連のパラメータに結びつけています。これらのパラメータのいずれかが急に変わると、例えばモスクワのデータセンターから他国のIPに切り替わると、アンチフロードシステムはこれを疑わしい行動と見なし、セッションをリセットして再ログインを要求したり、キャプチャを表示します。
これは、認証されたアカウントからのパースが行われるタスクにとって特に重要です: 売り手の個人アカウントを通じてWildberriesの価格を収集すること、Ozonでの競合の監視、Avitoの非公開セクションのパース、APIを通じてInstagramやVKからデータを収集することなどです。これらの各ケースでは、「アカウント + IP + クッキー」の組み合わせがセッション全体を通じて安定している必要があり、通常の認証なしのパースのようにリクエストごとに変わるべきではありません。
したがって、重要なルールが導き出されます: 認証されたパースにおけるIPのローテーションは、管理されたものでなければならず、ランダムではありません。以下に、異なる難易度と信頼性のバランスでこのタスクを解決する4つのスキームを示します。
スキーム1: スティッキーセッション(IPをアカウントに結びつける)
最もシンプルでありながら最も信頼性の高いスキームは、同じIPを1つのアカウントまたはセッションに固定し、作業期間中(数分から数時間)そのIPを維持し、セッションが自然に終了する(ログアウト、トークンの期限切れ、アカウントの計画的な変更)ときだけIPを変更することです。
技術的には、プロキシプロバイダーのスティッキーポートを介して実現されます: あなたは、指定された時間(通常1〜30分、時には数時間)にわたって同じ出力IPを保持する1つのエンドポイントを取得し、その後IPは自動的に変更されます。認証が必要なタスクには、レジデンシャルプロキシが最適です — これらは、データセンターのブラックリストに載っていない実際の家庭プロバイダーのIPを提供し、通常のユーザーのように見えるため、銀行のアカウントやマーケットプレイス、ソーシャルネットワークの個人アカウントにとって重要です。
ルールはシンプルです: 1つのアカウント = セッションのライフサイクル全体にわたって1つのスティッキーIP。50のアカウントを同時にパースする必要がある場合は、異なるIPを持つ50のスティッキーセッションを立ち上げ、それぞれが独自のクッキーセットで動作し、他のセッションと干渉しません。これは、SMM専門家がDolphin AntyやAdsPowerのアンチデテクトブラウザで数十のクライアントアカウントを管理する際に使用する原則と同じです: 1つのブラウザプロファイル = 1つの固定IP = 自分のクッキーセットが他のものと混ざらない。
スキーム2: クッキープール + IPを一対として扱う
タスクがIPのローテーションを必要とする場合(例えば、1つのセッションのレート制限に引っかからないようにするため)でも、複数の並行した認証状態を保持する必要がある場合は、「ペアプール」スキームが適用されます。アイデアは、異なる認証情報(または異なるスタートIP)でN回ログインし、各セッションの組み合わせcookies + IP + User-Agentを保存し、次のリクエストでは元々セッションが作成されたペアを使用することです。
実際には、データベースまたはRedisに「セッションID → クッキー → プロキシIP → User-Agent → 最後の使用時間」という形式のテーブルが保存されます。各リクエストの前に、パーサーはプールから空いているペアを取得し、それに結びついたIPを介してリクエストを行い、レスポンスからクッキーを更新し、同じレコードに戻します。セッションが期限切れになった場合(サーバーがログインページへのリダイレクトを返した場合)、ペアは無効としてマークされ、プールから削除され、新たにログインを行って新しいペアが作成されます。
このスキームは水平方向にスケールしやすいです: プール内の「cookies + IP」のペアが多いほど、パーサーの合計スループットが高くなり、禁止のリスクが低くなります。このタスクには、データセンタープロキシを使用するのが便利です。速度が匿名性よりも重要な場合、例えば、認証後のオープンカタログのパース時に、プラットフォームがフィンガープリントをそれほど積極的に検知せず、カタログの巡回速度がボトルネックになる場合です。
スキーム3: アンチデテクトによるフィンガープリンティング
第三のスキームは、プラットフォームがIPやクッキーだけでなく、ブラウザの完全なフィンガープリンティング(Canvas、WebGL、フォント、タイムゾーン、システム言語、画面解像度)を確認する場合に必要です。これは、ソーシャルネットワーク(Instagram、TikTok、VK)や高度なアンチフロードを持つ一部のマーケットプレイスに典型的です。この場合、組み合わせを「IP + クッキー + フィンガープリンティング」に拡張し、これを一つのまとまりとして保存する必要があります。さもなければ、正しいIPと有効なクッキーがあっても、ブラウザのフィンガープリンティングの不一致によりセッションが失われてしまいます。
実際には、管理されたフィンガープリンティングを持つヘッドレスブラウザ(Playwright、Puppeteerのstealthプラグイン)や、Dolphin Anty、Multilogin、GoLogin、Octo Browserなどのアンチデテクトブラウザを使用して解決されます。これらのブラウザでは、各プロファイルに独自のフィンガープリンティングパラメータ、内蔵プロキシによる固定IP、独自のクッキー保存庫が割り当てられます。プロファイルは一度ログインし、その後は同じパラメータで再起動するだけです — プラットフォームは同じIP上の同じ「デバイス」を認識するため、セッションは生き続けます。
ソーシャルネットワークやモバイルアプリケーションのAPIを通じてのパースでは、この段階でしばしばモバイルプロキシに移行します — オペレーターのIPはCGNATを使用しており、モバイルネットワークからのトラフィックを期待するシステムに対して疑わしさを引き起こすことが少なく、IPと必要なフィンガープリンティングを組み合わせることで、セッションの安定性が向上します。
スキーム4: 制御された再認証
第四のスキームは、1つのセッションを永遠に保持しようとするのではなく、IP変更時に計画的な再認証のロジックをパーサーに組み込むことです。これは最も労力がかかりますが、最も耐障害性の高いオプションです: 古いクッキーを新しいIPに移行する代わりに(これはほぼ常に禁止につながります)、パーサーはIP変更時に自ら新しいログインを開始します — ログイン/パスワードを入力し(またはリフレッシュトークンを使用し)、新しいIPの下で新しいクッキーを取得し、ゼロから作業を続けます。
このスキームは、APIがリフレッシュトークンをサポートしている場合に必須です(多くのマーケットプレイスや広告アカウント、例えばGoogle Ads API、TikTok Ads APIなど): IP変更時にリフレッシュトークンを新しいアクセストークンと交換するだけで、再度パスワードを入力する必要はありません。リフレッシュトークンがない場合は、完全なログインフローをエミュレートする必要があります: ログインページからCSRFトークンを取得し、ログイン/パスワードを送信し、キャプチャや2FAを通過し、新しいクッキーを保存します。
このスキームの欠点は、頻繁なログインのリスクが疑わしく見える可能性があり、アカウントのブロックを引き起こすことです。そのため、通常はスキーム1と組み合わせて使用されます: IPは滅多に変更されず、計画的な再認証と同期してのみ変更されます。
4つのスキームの比較
| スキーム | 難易度 | 信頼性 | いつ適用するか |
|---|---|---|---|
| スティッキーセッション | 低い | 高い | 1アカウント — 1 IP、小規模なボリューム |
| クッキープール + IP | 中程度 | 中程度〜高い | 複数アカウントでの大規模なパース |
| フィンガープリンティング | 高い | 高い | ソーシャルネットワーク、高度なアンチフロード |
| 再認証 | 高い | 非常に高い | リフレッシュトークンを持つAPI、頻繁なIPローテーション |
コード: セッション + スティキープロキシのPython実装
以下は、requests.Sessionを使用した基本的な例で、クッキーを保存し、セッション全体を通じて同じスティッキープロキシを介して動作します。セッションは自動的にクッキーを保存し、IPへの結びつきはプロキシプロバイダーのスティッキーポートによって達成され、指定された時間枠内のすべてのリクエストに対して同じ出力IPを返します。
import requests
# スティッキーポートはセッションが生きている間、同じIPを保持します
PROXY = {
"http": "http://login:[email protected]:8000",
"https": "http://login:[email protected]:8000",
}
session = requests.Session()
session.proxies.update(PROXY)
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124.0.0.0 Safari/537.36"
})
# ログイン — クッキーは自動的にsession.cookiesに保存されます
login_payload = {"login": "[email protected]", "password": "secret"}
resp = session.post("https://example.com/login", data=login_payload)
assert resp.status_code == 200
# その後のリクエストは同じクッキーと同じIPで行われます
page = session.get("https://example.com/cabinet/orders")
print(page.status_code, len(page.text))
クッキープール + IPのペアスキームの場合、状態をRedisに保存するのが便利です — これにより、セッションの交差なしに複数のワーカーにパーサーをスケールできます:
import json
import redis
import requests
r = redis.Redis(host="localhost", port=6379, db=0)
def get_session_pair(account_id):
raw = r.get(f"session:{account_id}")
if raw:
data = json.loads(raw)
session = requests.Session()
session.cookies.update(data["cookies"])
session.proxies.update({"http": data["proxy"], "https": data["proxy"]})
return session
return None
def save_session_pair(account_id, session, proxy_url):
data = {
"cookies": session.cookies.get_dict(),
"proxy": proxy_url,
}
r.set(f"session:{account_id}", json.dumps(data), ex=3600)
フィンガープリンティングによるスキームの場合、Playwrightで一度ログインしてstorage_stateを保存するだけで済みます — これにはクッキーだけでなく、localStorage/sessionStorageも含まれ、マーケットプレイスやソーシャルネットワークのSPAサイトにとって重要です:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context()
page = context.new_page()
page.goto("https://example.com/login")
page.fill("#login", "[email protected]")
page.fill("#password", "secret")
page.click("#submit")
page.wait_for_selector("#cabinet")
context.storage_state(path="session_state.json") # セッション全体を保存
browser.close()
# 次回の起動時 — 同じIP + 同じセッション
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context(storage_state="session_state.json")
page = context.new_page()
page.goto("https://example.com/cabinet")
よくある間違い
1. 認証されたセッション内での各リクエストごとのIPローテーション。 これは即座の禁止の主な原因です — システムは、1つのsession_idが1分間に10以上の異なるIPで使用されていることを検知し、自動化の明らかな兆候としてブロックします。
2. User-Agentや他のヘッダーなしでのsession_idの保存。 クッキーがあるUser-Agentで取得され、別のUser-Agentで使用されると、IPが変更されていなくてもアンチフロードのトリガーになります。
3. IPのジオロケーションの無視。 アカウントがモスクワからログインし、次のリクエストが他国のIPから送信されると、セッションはほぼ常にリセットされます。クッキーの有効性に関係なく。
4. 期限切れのセッションの処理の欠如。 パーサーは、「サーバーがログインページを返した」と「サーバーが必要なデータを返した」を区別できる必要があり、自動的に再認証を開始し、エラーで落ちるべきではありません。
5. 異なるアカウントに対して同じプロキシプールを使用すること。 もし2つの異なるアカウントが偶然にも同じ出力IPを取得すると、プラットフォームはそれらを関連付ける可能性があります — これは、同時に数十のアカウントを管理するSMMエージェンシーにとって特に危険です。
起動前のチェックリスト
- プラットフォームの保護レベルに応じたスキームが選択されている(スティッキー / プール / フィンガープリンティング / 再認証)
- 各アカウントにセッションのライフサイクル全体にわたって固定IPが割り当てられている
- クッキーとsession_idはIP、User-Agent、ヘッダーと一緒に保存されており、別々ではない
- 重要なリクエストの前にセッションの有効性が確認されている
- 失われたセッションが検出された場合の自動再認証が設定されている
- プロキシはプラットフォームのタイプに合わせて選定されている: 銀行のアカウントやeコマースにはレジデンシャル、ソーシャルネットワークにはモバイル、オープンセクションの高速パースにはデータセンターを使用
- すべてのIP変更と再認証の瞬間がログに記録され、禁止の分析に使用される
結論
主な結論はシンプルです: 認証付きパースでは、IPとセッションは同期して変更されるべきであり、互いに独立してはいけません。最も信頼性の高いスタートは、1つのアカウントが作業期間中に1つのIPに固定されるスティッキーセッションスキームです。複数のアカウントでの大規模なパースにはクッキープール + IPのペアが適しており、高度なアンチフロードを持つソーシャルネットワークにはアンチデテクトブラウザを介したフィンガープリンティングが適しています。APIトークンを使用する場合は、IP変更時に計画的な再認証を行う必要があります。
マーケットプレイスや個人アカウントのために認証付きパースを設定している場合は、スティッキーポートを持つレジデンシャルプロキシから始めてください — これにより、必要な時間に安定したIPを提供し、セッションのブロックリスクを最小限に抑えます。ソーシャルネットワークの認証APIを通じてのパースにはモバイルIPを検討し、ログイン後のオープンカタログの高速巡回には、上記で説明したデータセンタープロキシを使用するのが最適です。