HTTP/2フィンガープリンティングによるブロック回避方法：パースと仲裁のための手法

現代のアンチフロードシステムは、IPアドレスやクッキーだけでなく、HTTP/2リクエストのユニークなフィンガープリンティングを使用して自動化を特定する方法を学びました。Cloudflare、Akamai、DataDomeなどの保護システムは、ヘッダーの順序、ストリームの優先順位、接続のパラメータを分析し、requests、axios、curlなどの標準ライブラリからのリクエストをブロックします。この記事では、HTTP/2フィンガープリンティングの仕組みと、マーケットプレイスのパース、ソーシャルメディアの自動化、トラフィックのアービトラージのためにそれを回避する方法を解説します。

HTTP/2フィンガープリンティングとは何か、どのように機能するか

HTTP/2フィンガープリンティングとは、クライアントとサーバー間のHTTP/2プロトコルによる接続の確立時に形成されるユニークな特性のセットです。HTTP/1.1ではリクエストが順次送信されるのに対し、HTTP/2はマルチプレクシング、ストリームの優先順位、HPACKアルゴリズムによるヘッダーの圧縮を使用します。これらのパラメータは、クライアントのユニークな「署名」を生成します。

HTTP/2フィンガープリンティングの主なコンポーネントは以下の通りです:

• SETTINGSフレーム — 接続のパラメータ（ウィンドウサイズ、最大フレームサイズ、ストリームの制限）
• WINDOW_UPDATE値 — データ転送ウィンドウの更新値
• 優先フレーム — ストリームの優先順位とその依存関係
• ヘッダーの順序 — 疑似ヘッダー内のHTTPヘッダーの順序（:method、:path、:authority）
• ALPNネゴシエーション — TLSレベルでのプロトコルの合意パラメータ
• 接続プレファックス — 接続の初期行

各ブラウザ（Chrome、Firefox、Safari）や各ライブラリ（Python requests、Node.js axios、Go net/http）は、これらのパラメータを異なる順序と異なる値で送信します。例えば、Chrome 120はHEADER_TABLE_SIZE=65536、ENABLE_PUSH=0、MAX_CONCURRENT_STREAMS=1000のパラメータを持つSETTINGSを送信しますが、Pythonライブラリのhttpxは全く異なる値を送信する可能性があります。

Chrome 120からのSETTINGSフレームの例:
SETTINGS_HEADER_TABLE_SIZE: 65536
SETTINGS_ENABLE_PUSH: 0
SETTINGS_MAX_CONCURRENT_STREAMS: 1000
SETTINGS_INITIAL_WINDOW_SIZE: 6291456
SETTINGS_MAX_HEADER_LIST_SIZE: 262144

Python httpxからのSETTINGSフレームの例:
SETTINGS_HEADER_TABLE_SIZE: 4096
SETTINGS_ENABLE_PUSH: 1
SETTINGS_MAX_CONCURRENT_STREAMS: 100
SETTINGS_INITIAL_WINDOW_SIZE: 65535

アンチフロードシステムは、実際のユーザーのフィンガープリンティングの統計を収集し、受信リクエストと比較します。フィンガープリンティングが既知のブラウザのいずれとも一致しない場合、リクエストは疑わしいとしてブロックされます。

なぜサイトはHTTP/2フィンガープリンティングでブロックするのか

HTTP/2フィンガープリンティングによるブロックは、2022年から2023年にかけて一般的な現象となりました。アンチフロードシステムは、従来の保護手段（User-Agentの確認、クッキー、IPアドレス）が簡単に回避されることを理解しました。パーサーはヘッダーを置き換え、アービトレーターはプロキシを使用し、ボットはユーザーの行動をエミュレートしました。しかし、HTTP/2フィンガープリンティングは低レベルのネットワークスタックで形成されるため、変更が難しいのです。

HTTP/2フィンガープリンティングが導入される主な理由は以下の通りです:

• パース対策 — マーケットプレイス（Wildberries、Ozon、Amazon）は、価格の競争調査で数百万を失っています
• 広告プラットフォームの保護 — Facebook Ads、Google Adsは、自動化をブロックしてフロードを防止します
• スカルピングの防止 — チケット販売サイトや限定商品サイトは、ボットと戦っています
• DDoS攻撃からの保護 — HTTP/2フィンガープリンティングは、正当なトラフィックとボットネットを区別するのに役立ちます
• APIライセンスの遵守 — 一部のサービスは、パースの代わりに有料APIの使用を強制したいと考えています

Cloudflareは、2023年にHTTP/2フィンガープリンティングの確認をBot Managementに導入しました。彼らのデータによると、これによりパーサーによる成功した攻撃の数が67%減少しました。AkamaiやDataDomeも同様の技術を使用しています。

アンチフロードシステムはどのようにフィンガープリンティングを特定するのか

現代のアンチフロードシステムは、HTTP/2接続の多層チェックを使用しています。フィンガープリンティングの特定プロセスは、サーバーがHTMLページを送信する前、TCPおよびTLS接続の確立レベルで行われます。

フィンガープリンティング特定のステップ:

1. TLSハンドシェイク分析 — サポートされているTLS拡張（ALPN、SNI、supported_versions）、TLSのバージョン、楕円曲線のパラメータの順序を確認します。これをJA3フィンガープリンティングと呼びます。
2. HTTP/2接続プレファックス — 初期行「PRI * HTTP/2.0\r\n\r\nSM\r\n\r\n」と最初のSETTINGSフレームを確認します。
3. SETTINGSフレームの検証 — パラメータを既知のブラウザやライブラリのデータベースと比較します。SETTINGSがUser-Agentと一致しない場合、リクエストはブロックされます。
4. 優先順位と依存関係の分析 — ストリームの優先順位を確認します。例えば、Chromeは特定の方法でストリームの依存関係のツリーを作成し、Firefoxは別の方法で作成します。
5. ヘッダー順序の確認 — 疑似ヘッダー（:method、:authority、:scheme、:path）および通常のヘッダー（user-agent、accept、accept-encoding）の順序を分析します。
6. WINDOW_UPDATEパターン — WINDOW_UPDATEフレームの値と送信頻度を確認します。

Cloudflareは、HTTP/2接続のすべてのパラメータのハッシュを生成する独自の技術Akamai2を使用しています。このハッシュは、数百万の既知のフィンガープリンティングのデータベースと比較されます。一致がない場合やフィンガープリンティングが疑わしい場合は、JavaScriptチャレンジを通じて追加のチェックが行われるか、ブロックされます。

HTTP/2フィンガープリンティングを回避する方法

HTTP/2フィンガープリンティングのブロックを回避するためのアプローチはいくつかあり、それぞれに利点と制限があります。方法の選択は、データのパース、ソーシャルメディアの自動化、トラフィックのアービトラージ、またはテストの目的によって異なります。

成功する回避のための重要な原則:

• HTTP/2フィンガープリンティングとUser-Agentの一致 — Chromeをエミュレートする場合、フィンガープリンティングは同じバージョンのChromeからのものである必要があります
• 質の高いプロキシの使用 — 正しいフィンガープリンティングでも、IPがすでにブラックリストに載っている場合は救えません
• フィンガープリンティングのローテーション — 同じフィンガープリンティングを数千のリクエストに使用しないでください
• ユーザーの行動のエミュレーション — リクエスト間の遅延、現実的なナビゲーションパターン
• フィンガープリンティングの更新 — ブラウザは4-6週間ごとに更新されるため、フィンガープリンティングも更新する必要があります

パースのためのcurl-impersonateの使用

curl-impersonateは、人気のあるブラウザのHTTP/2フィンガープリンティングを低レベルでエミュレートするために修正されたcurlのバージョンです。このプロジェクトは、アンチフロードシステムを回避するために特別に設計されており、さまざまなバージョンのChrome、Firefox、Safariのフィンガープリンティングをサポートしています。

パースのためのcurl-impersonateの利点:

• HTTP/2フィンガープリンティングの正確なエミュレーション — SETTINGS、Priority、WINDOW_UPDATEは実際のブラウザと同一です
• TLSフィンガープリンティング（JA3）のサポート — HTTP/2だけでなく、TLSハンドシェイクもエミュレートします
• リソースの消費が少ない — ヘッドレスブラウザとは異なり、curlは迅速に動作します
• 簡単な統合 — スクリプト内の通常のcurlの代わりとして使用できます
• 定期的な更新 — フィンガープリンティングは新しいブラウザのバージョンに合わせて更新されます

curl-impersonateのインストール:

# Ubuntu/Debianへのインストール
wget https://github.com/lwthiker/curl-impersonate/releases/download/v0.6.1/curl-impersonate-v0.6.1.x86_64-linux-gnu.tar.gz
tar -xzf curl-impersonate-v0.6.1.x86_64-linux-gnu.tar.gz
sudo cp curl-impersonate-chrome /usr/local/bin/

# インストールの確認
curl-impersonate-chrome --version

プロキシを使用した例:

# プロキシを使用したChrome 120のエミュレーション
curl-impersonate-chrome120 \
  --proxy http://username:password@proxy.example.com:8080 \
  -H "Accept-Language: ru-RU,ru;q=0.9,en;q=0.8" \
  https://www.wildberries.ru/catalog/0/search.aspx?search=ノートパソコン

# Firefox 120のエミュレーション
curl-impersonate-ff120 \
  --proxy socks5://username:password@proxy.example.com:1080 \
  https://www.ozon.ru/api/composer-api.bx/page/json/v2?url=/category/noutbuki

Python開発者向けには、curl-impersonateのPythonラッパーを提供するcurl_cffiライブラリがあります:

from curl_cffi import requests

# インストール: pip install curl_cffi

# Chrome 120のエミュレーションによるリクエスト
response = requests.get(
    'https://www.wildberries.ru/catalog/0/search.aspx?search=ノートパソコン',
    impersonate='chrome120',
    proxies={
        'http': 'http://username:password@proxy.example.com:8080',
        'https': 'http://username:password@proxy.example.com:8080'
    },
    headers={
        'Accept-Language': 'ru-RU,ru;q=0.9'
    }
)

print(response.status_code)
print(response.text[:500])

curl-impersonateは、マーケットプレイスやCloudflareを使用したサイトのパースに特に効果的です。HTTP/2だけでなくTLSフィンガープリンティングもエミュレートします。WildberriesやOzonでのテストでは、質の高いレジデンシャルプロキシを使用した場合、リクエストの成功率は95%に達します。

正しいフィンガープリンティングを持つPlaywrightとPuppeteerの設定

PlaywrightとPuppeteerは、ブラウザの自動化に人気のあるツールですが、デフォルトではヘッドレスモードの特性や特有のHTTP/2フィンガープリンティングによってアンチフロードシステムに特定されます。ブロックを回避するためには追加の設定が必要です。

デフォルトのPlaywright/Puppeteerの問題:

• ヘッドレスモードはnavigator.webdriver、プラグインの欠如、特定のウィンドウサイズを通じて特定されます
• HTTP/2フィンガープリンティングはDevToolsプロトコルの特性により通常のChromeとは異なります
• 一部のWeb API（WebGL、Canvasフィンガープリンティングが異なる可能性があります）
• アクションの同期性 — ボットはアクションをあまりにも早く、均一に実行します

解決策: playwright-extraとpuppeteer-extraをプラグインと共に使用する

# Playwright用のインストール
npm install playwright-extra puppeteer-extra-plugin-stealth

# またはPython用
pip install playwright-stealth

フィンガープリンティングを回避するためのPlaywrightの設定例（Node.js）:

const { chromium } = require('playwright-extra');
const stealth = require('puppeteer-extra-plugin-stealth')();

(async () => {
  const browser = await chromium.launch({
    headless: false, // または追加のパッチを使用してtrue
    proxy: {
      server: 'http://proxy.example.com:8080',
      username: 'user',
      password: 'pass'
    },
    args: [
      '--disable-blink-features=AutomationControlled',
      '--disable-dev-shm-usage',
      '--no-sandbox',
      '--disable-setuid-sandbox',
      '--disable-web-security',
      '--disable-features=IsolateOrigins,site-per-process'
    ]
  });

  const context = await browser.newContext({
    viewport: { width: 1920, height: 1080 },
    userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    locale: 'ru-RU',
    timezoneId: 'Europe/Moscow',
    geolocation: { latitude: 55.7558, longitude: 37.6173 },
    permissions: ['geolocation']
  });

  // 特定を回避するためのパッチ
  await context.addInitScript(() => {
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    });
    
    // プラグインのエミュレーション
    Object.defineProperty(navigator, 'plugins', {
      get: () => [1, 2, 3, 4, 5]
    });
    
    // 言語のエミュレーション
    Object.defineProperty(navigator, 'languages', {
      get: () => ['ru-RU', 'ru', 'en-US', 'en']
    });
  });

  const page = await context.newPage();
  
  // 遅延を持ってサイトに移動
  await page.goto('https://www.wildberries.ru/', {
    waitUntil: 'networkidle'
  });
  
  // マウスの動きのエミュレーション
  await page.mouse.move(100, 100);
  await page.waitForTimeout(Math.random() * 2000 + 1000);
  
  await browser.close();
})();

Python開発者向けには、playwright-stealthライブラリがあります:

from playwright.sync_api import sync_playwright
from playwright_stealth import stealth_sync

with sync_playwright() as p:
    browser = p.chromium.launch(
        headless=False,
        proxy={
            "server": "http://proxy.example.com:8080",
            "username": "user",
            "password": "pass"
        }
    )
    
    context = browser.new_context(
        viewport={'width': 1920, 'height': 1080},
        user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        locale='ru-RU',
        timezone_id='Europe/Moscow'
    )
    
    page = context.new_page()
    stealth_sync(page)  # ステルスパッチの適用
    
    page.goto('https://www.wildberries.ru/')
    page.wait_for_timeout(3000)
    
    browser.close()

これらのパッチを使用しても、Playwright/Puppeteerは高度なアンチフロードシステムを回避する100%の保証を提供しないことを理解することが重要です。Cloudflare Bot ManagementやDataDomeは、行動分析（アクションの速度、クリックパターン、マウスの動き）を通じて自動化を特定することができます。重要なタスクには、アンチデテクトブラウザの使用を推奨します。

フィンガープリンティングを回避するためのアンチデテクトブラウザ

アンチデテクトブラウザは、マルチアカウントやフィンガープリンティングの回避のための専門的なソリューションであり、アービトレーター、SMM専門家、eコマース専門家によって使用されています。Playwrightとは異なり、これらは準備されたUIを提供し、HTTP/2を含むすべてのフィンガープリンティングパラメータを自動的に置き換えます。

HTTP/2フィンガープリンティングをサポートする人気のアンチデテクトブラウザ:

アンチデテクトブラウザはどのようにHTTP/2フィンガープリンティングを置き換えるのか:

• ソースレベルでのChromiumの修正 — コンパイル前にブラウザのHTTP/2パラメータを変更します
• SETTINGSの動的置換 — 各プロファイルに対してユニークで現実的なパラメータを生成します
• Canvas/WebGLフィンガープリンティングとの同期 — すべてのフィンガープリンティングパラメータが相互に一致します
• 実際のフィンガープリンティングのデータベース — 実際のデバイスやブラウザからのフィンガープリンティングを使用します
• 自動更新 — 新しいブラウザのバージョンがリリースされるとフィンガープリンティングが更新されます

Dolphin AntyのHTTP/2フィンガープリンティング回避の設定:

1. 新しいブラウザプロファイルを作成 → オペレーティングシステムを選択（Windows/macOS/Linux）
2. 「フィンガープリンティング」セクションで「実際のフィンガープリンティング」または「新しい生成」を選択
3. User-Agentを指定 — ブラウザは自動的に対応するHTTP/2フィンガープリンティングを選択します
4. プロキシ設定でモバイルプロキシを追加してFacebook/Instagramで使用するか、他のタスク用にレジデンシャルプロキシを追加します
5. 実際のIPを置き換えるために「WebRTC置換」オプションを有効にします
6. 「Canvas」セクションで「Noise」モードを選択してユニークなCanvasフィンガープリンティングを作成します
7. プロファイルを保存して起動 — ブラウザはユニークなHTTP/2フィンガープリンティングを持ちます

アンチデテクトブラウザはフィンガープリンティングの回避において最良の結果を示し、適切な設定で成功率は98%に達します。特にFacebook Ads、TikTok Ads、Instagramでのフィンガープリンティングのブロックが厳しい場合に効果的です。

HTTP/2ブロック回避におけるプロキシの役割

正しいHTTP/2フィンガープリンティングは成功の半分に過ぎません。完璧なフィンガープリンティングを持っていても、IPアドレスがブラックリストに載っているか、知られているデータセンターに属している場合、リクエストはブロックされます。プロキシはフィンガープリンティングを回避する上で重要な役割を果たします。

なぜプロキシがHTTP/2ブロック回避に重要なのか:

• 実際のIPの隠蔽 — アンチフロードシステムはフィンガープリンティングだけでなく、IPの評判も確認します
• 地理的な一致 — フィンガープリンティングがロシアのロケールのWindowsからのもので、IPがアメリカからの場合 — 疑わしいです
• フィンガープリンティングのローテーション — 異なるIPで異なるフィンガープリンティングを使用することができます
• レート制限の回避 — 複数のIPにリクエストを分散させることで、ブロックされる可能性が低くなります
• モバイルデバイスのエミュレーション — モバイルプロキシは通信事業者の実際のIPを提供します

さまざまなタスクに使用するプロキシの種類:

HTTP/2フィンガープリンティングに関するプロキシの重要なパラメータ:

• HTTP/2のサポート — プロキシサーバーがHTTP/2プロトコルをサポートしていることを確認してください
• スティッキーセッション — セッション中に1つのIPを保持する機能（マルチアカウント用）
• IPのローテーション — パースのための自動IP変更（Nリクエストごとまたは時間ごと）
• 地理的な関連性 — 国/都市の選択はフィンガープリンティングと一致する必要があります
• IPのクリーンさ — ブラックリストに載っていないかIPを確認します（IPQualityScoreを通じて可能）

正しいHTTP/2フィンガープリンティングと質の高いプロキシの組み合わせは相乗効果を生み出します — 各要素が他の要素を強化します。例えば、curl-impersonateを使用してWildberriesをレジデンシャルプロキシでパースした場合、リクエストの成功率は97%に達しますが、プロキシなしまたはデータセンタープロキシを使用した場合は60-70%にとどまります。

実践的なケース: パース、アービトラージ、eコマース

HTTP/2フィンガープリンティングの回避をビジネスのさまざまな分野で適用する実際のシナリオを考えてみましょう。

ケース1: Wildberriesでの競合価格のモニタリングのためのパース

タスク: Eコマース会社がWildberriesで電子機器を販売し、500の競合の価格を1日2回自動的に追跡したい。

問題: WildberriesはCloudflare Bot Managementを使用しており、HTTP/2フィンガープリンティングを確認しています。標準ライブラリ（Python requests、Scrapy）は3-5リクエスト後にブロックされます。

解決策:

1. curl-impersonate（Python用のcurl_cffi）を使用してChrome 120をエミュレート
2. レジデンシャルプロキシを接続し、10リクエストごとにローテーション
3. リクエスト間に2-5秒のランダムな遅延を追加
4. Chrome 119、120、121の間でUser-Agentをローテーションし、対応するフィンガープリンティングを使用

import time
import random
from curl_cffi import requests

# パースする商品のリスト
product_ids = [12345678, 87654321, ...]  # 500のSKU

# プロキシ設定（ローテーション付きのレジデンシャル）
proxy = "http://username:password@residential.proxycove.com:8080"

# ローテーション用のChromeバージョン
chrome_versions = ['chrome119', 'chrome120', 'chrome121']

results = []

for product_id in product_ids:
    # ランダムなChromeバージョンを選択
    impersonate = random.choice(chrome_versions)
    
    url = f'https://www.wildberries.ru/catalog/{product_id}/detail.aspx'
    
    try:
        response = requests.get(
            url,
            impersonate=impersonate,
            proxies={'http': proxy, 'https': proxy},
            headers={
                'Accept-Language': 'ru-RU,ru;q=0.9',
                'Accept': 'text/html,application/xhtml+xml'
            },
            timeout=15
        )
        
        if response.status_code == 200:
            # HTMLから価格をパース
            price = parse_price(response.text)
            results.append({'id': product_id, 'price': price})
            print(f'✓ {product_id}: {price} руб.')
        else:
            print(f'✗ {product_id}: HTTP {response.status_code}')
    
    except Exception as e:
        print(f'✗ {product_id}: {str(e)}')
    
    # ランダムな遅延
    time.sleep(random.uniform(2, 5))

# 結果を保存
save_to_database(results)

結果: パースの成功率は45%（フィンガープリンティングを回避しない場合）から96%に向上しました。手動モニタリングに8時間かかるところを、自動パースでは30分で済みました。

ケース2: アービトラージのためのFacebook Adsアカウントのファーム

タスク: アービトラージチームが30のFacebook Adsアカウントで同時に広告を開始し、クリエイティブをテストします。

問題: FacebookはHTTP/2フィンガープリンティングによって関連アカウントを特定し、全てのアカウントをバンします（チェーンバン）。すべてのアカウントに対して1つのブラウザを使用すると、バンのリスクは90%です。

解決策:

1. Dolphin Antyを使用して30のユニークなプロファイルを作成
2. 各プロファイルに対してユニークなHTTP/2フィンガープリンティング、Canvas、WebGL、User-Agentを設定
3. モバイルプロキシを接続（アカウントごとに1つのIP、24時間のスティッキーセッション）
4. オペレーティングシステムごとにアカウントを分割（10 Windows、10 macOS、10 Androidエミュレーション）
5. アカウントのウォームアップ: 広告開始前に3日間の通常の活動（フィードの閲覧、いいね）

Dolphin Antyでの設定:

• プロファイル1: Windows 10、Chrome 120、モバイルプロキシロシア（Beeline）、実際のデバイスからのフィンガープリンティング
• プロファイル2: macOS Sonoma、Safari 17、モバイルプロキシロシア（MTS）、ユニークなフィンガープリンティング
• プロファイル3: Windows 11、Chrome 121、モバイルプロキシウクライナ（Kyivstar）、実際のデバイスからのフィンガープリンティング
• このようにして30のプロファイル全てを設定...

結果: 3ヶ月の運用で30のアカウントのうち2つがバンされました（6.6%対90%のアンチデテクトなし）。ROIは340%増加し、同時により多くの組み合わせをテストできるようになりました。

ケース3: SMMエージェンシーのためのInstagramの投稿自動化

タスク: SMMエージェンシーがInstagramで50のクライアントアカウントを管理し、スケジュールに従って投稿を自動化したい。

問題: Instagramは自動化を検出するとアカウントをブロックします。すべてのアカウントに対して1つのIPと同じフィンガープリンティングを使用すると、大量ブロックが発生します。

解決策:

1. AdsPowerを使用して50のプロファイルを作成（アカウントごとに1つ）
2. クライアントの都市に関連付けられたレジデンシャルプロキシ（クライアントがモスクワの場合 — モスクワのプロキシ）
3. 各プロファイルに対してユニークなHTTP/2フィンガープリンティング
4. AdsPowerの組み込みスケジューラを通じて自動化（コードなし）
5. 手動アクションのエミュレーション: ランダムな遅延、投稿前のフィードの閲覧

自動化の設定:

• AdsPowerにコンテンツをアップロード（写真、テキスト、ハッシュタグ）
• スケジュールの設定: 毎日12:00にクライアントの時間で投稿
• ランダム性の追加: 指定された時間から±30分
• 投稿前: Instagramを開く → フィードを2-3分スクロール