サイトはアメリカの英語を話すユーザーに1つのページを表示し、物理的にマウンテンビューのデータセンターにいるGooglebotには全く異なるページを表示します。これは、地域に合わせてコンテンツを適応させたかっただけでも、形式的にはすでにクロークです。サイトがポジションを失い、手動制裁を受け、パートナーシップネットワークでドメイン全体が禁止される原因となるジオリダイレクトの6つの典型的なエラーを解説します。
ジオリダイレクトとは何か、ビジネスにとってなぜ必要か
ジオリダイレクトとは、ユーザーをその国に合わせたサイトのバージョンに自動的にリダイレクトするメカニズムです：異なる言語、通貨、価格、オファー。オンラインショップは、ドイツの顧客がユーロでの価格が表示されたドイツ語版に直接アクセスできるようにするためにこれを使用します。アービトラージャーは、ジオトラフィックに応じて異なるオファーを表示するためにジオリダイレクトを使用します。たとえば、Tier-1国のユーザーには1つのランディングページを、他のユーザーには別の製品やスタンバイページを表示します。
問題は、ユーザーの国をIPで判断する同じロジックがGooglebotにも適用されることです。そして、GoogleのボットのIPアドレスは物理的にアメリカにあります。ロシア、カザフスタン、ドイツの検索結果のためにページをインデックスしているかどうかにかかわらず。ジオリダイレクトシステムがクローラーと実際の人間を区別できない場合、結果は1つです — Googleは実際の訪問者が見るページとは異なるページを見ています。これはGoogle Search Centralのガイドラインに従ったクロークの正式な定義であり、それに対する罰則は、ランキングの低下からドメインのインデックスからの完全な除外までさまざまです。
なぜGooglebotと人間は異なるページを見るのか
この不一致は、同時に3つの理由から発生し、通常は互いに重なります。まず、GooglebotはGoogleに属するIPアドレスからサイトをクロールし、これらのアドレスは地理サービス（MaxMind、IP2Locationなど）によってほぼ100％の確率でアメリカのものとして識別されます。次に、Googlebotは独自のUser-Agentを送信し、これはしばしば異なるコードの枝で処理されます — 時にはインデックスを壊さないために意図的に、時には単に開発者のミスとして。第三に、GooglebotのJSレンダリング時の動作はブラウザの動作とは異なります：クローラーはクライアントのJavaScriptに依存するリダイレクトを実行しない場合があり、その場合、ユーザーがJSを有効にした状態で見るページとは全く異なるバージョンをインデックスします。
さらに、CDNキャッシングがあり、特定の国のバージョンに「固執」してすべての訪問者にそれを配信する可能性があるため、サイトの所有者が悪意を持っていなくても、検索エンジンはオーディエンスが見るコンテンツと一致しないコンテンツをインデックスすることになります。以下に、これが最も頻繁に発生する6つの具体的なシナリオを示します。
エラー1：User-Agentを確認せずにIPによるリダイレクト
最も一般的なエラーは、リダイレクトのロジックがIPによる国の特定のみに基づいて構築され、リクエストを行っているのが人間かクローラーかを確認しないことです。その結果、アメリカのIPレンジからアクセスするGooglebotは、自動的にUS版のサイトにリダイレクトされます。たとえそのページが元々ロシアやカザフスタンからのリクエストに対してプロモーションされていたとしても。数週間のクロールの後、Googleのインデックスは「異なる」バージョンのコンテンツで埋め尽くされ、ターゲット地域でのポジションが目に見えない理由で低下し始めます。
解決策は、常に既知のUser-Agentと検索ボットのIPレンジ（Googlebot、Bingbot、YandexBot）をジオリダイレクトから除外し、特定の国に関係なくページの正規バージョンを提供することです。User-Agentの確認は必要ですが、十分ではない障壁です。なぜなら、それは簡単に偽造できるからです。そのため、重大なプロジェクトでは、Googlebotの確認のためにGoogleのドキュメントが推奨するように、逆DNSルックアップを通じてIPを追加で検証します。
エラー2：実際のユーザーの代わりにデータセンターのIPでテスト
2つ目のエラーは、テストの段階で発生します。開発者やマーケティング担当者が通常のデータセンターのプロキシやVPNを通じてジオリダイレクトをテストし、そのロジックが必要な国からの実際のユーザーのように機能します。しかし、データセンターのIPは家庭のトラフィックと簡単に区別でき、多くのCDNやアンチフロードシステムはそれに特別なフラグを付けます。そのため、ジオターゲティングの一部のロジックは、通常の家庭のIPプロバイダーとは異なる動作をする可能性があります。
結果として、テストは「成功」し、開発サーバーでのリダイレクトは完璧に機能しますが、本番環境ではターゲット国からの実際のユーザーが異なるバージョンを受け取ります。なぜなら、プロバイダーのジオロケーションデータベースやCDNルールが彼らのIPを異なる解釈をするからです。正確なテストには、レジデンシャルプロキシを使用することをお勧めします。これらは必要な国の実際の家庭プロバイダーのIPを持ち、ジオサービスはそれを実際のユーザーとして識別します。これにより、実際の訪問者が見るものの正確なイメージが得られ、データセンターのIPの「典型的な」バージョンではなくなります。
エラー3：キャッシュとVaryヘッダーの欠如
サイトがCDN（Cloudflare、Fastly、Akamai）の背後にあり、ジオリダイレクトがオリジンサーバーのレベルで実装されている場合、CDNが最初に提供されたページのバージョンをキャッシュし、次の訪問者の国に関係なくそれをすべての人に配信する状況に陥ることが容易です。これは、サーバーの応答に正しいVary: Accept-Languageヘッダーや地理的特徴によるキャッシングのための類似のキーが指定されていない場合に発生します。
この場合、Googlebotは最初の訪問時に「正しい」バージョンをキャッシュし、その後数週間にわたって再訪問時に同じバージョンを受け取ります。たとえ他の国のコンテンツがすでに変更されていても。ユーザーはその間、最新の異なるバージョンを見ており — 非同期が徐々に増加し、異なるジオのサーバー応答を直接比較しない限り診断が難しいです。curlのようなツールを使用してヘッダーを置き換えたり、必要なジオロケーションのプロキシを使用したりする必要があります。
エラー4：ボットが異なる解釈をするJSリダイレクト
GooglebotはJavaScriptを実行できますが、かなりの遅延で実行します（レンダリングの第2波は数日かかる場合があります）し、常にユーザーのブラウザと同じように動作するわけではありません。ジオによるリダイレクトがクライアントのJSを通じて実装されている場合 — たとえば、window.locationを使用してgeo-APIへのfetchリクエストの後 — クローラーがリダイレクトが発生する前にページをインデックスするリスクがあります。つまり、特定の地域の「不正な」バージョンのコンテンツです。
これは特にシングルページアプリケーション（SPA）にとって重要です。なぜなら、すべてのパーソナライズロジックがクライアント側に依存しているからです。正しいアプローチは、サーバー側（CDNのエッジ機能、Node.jsのミドルウェア、Nginxのルール）でジオ特定とリダイレクトを実行することです。これにより、Googlebotとユーザーはページがブラウザでレンダリングされる前にHTTPリダイレクト302を受け取ります。これにより、クローラーが特定の時点でJSをどのように処理するかに依存しなくなります。
エラー5：異なる言語のためのhreflangなしの1つのURL
5つ目のエラーは、hreflangマークアップなしで同じURLで複数の言語バージョンを提供しようとすることです。Googleは明確に推奨しています：もし1つのURLのコンテンツがユーザーのロケールによって異なる場合、各バージョンに異なるURLを提供する必要があります（サブドメイン、サブフォルダ、または別のドメイン）と、相互のhreflangマークアップを追加するか、すべての人、ボットを含めて同じバージョンを誠実に表示し、手動で言語を切り替えるオプションを追加する必要があります。
hreflangがないと、Googleは物理的に理解できません。/productがロシア語で、/productが英語であることは、異なるオーディエンスのために意図的に異なるコンテンツであるのではなく、1つのバージョンを他のバージョンから隠す試みであると。結果として、インデックスにはランダムなバージョン（通常は最後のクロール時にボットがアクセスできたもの）が含まれ、それがすべての地域で同時にランク付けされることになり、結果の関連性やコンバージョンに悪影響を及ぼします。
エラー6：VPNやモバイルプロキシを使用するユーザーのためのフォールバックなし
6つ目のエラーは、Googlebotよりも実際のユーザーに関係していますが、ジオリダイレクトのテーマと直接関連しています。なぜなら、ボットの動作を「修正」しようとする試みが、VPNやモバイルインターネットを使用する生身の人々のためにそれを壊すことがよくあるからです。モバイルオペレーターのユーザーは、CGNAT（Carrier-Grade NAT）を介してネットワークに接続することが多く、数万の加入者が同じ外部IPを使用し、そのジオデータベースがそのIPを隣国に属するものとして識別することがあります。
サイトに手動で国/言語を切り替えるフォールバックがない場合、「不正に」特定されたIPを持つユーザーは、切り替えることができない関連性のないバージョンに留まってしまい、単に離脱します。このようなシナリオをテストするためには、モバイルプロキシを使用して、CGNATの特性を持つ実際の携帯通信事業者のIPをエミュレートすることをお勧めします。これにより、実際のユーザーが問題を発見し、サポートに連絡する前に問題を事前に把握できます。
異なる国からGoogleの目でジオリダイレクトを確認する方法
初期診断のための主なツールは、Google Search Consoleの「Googlebotとして表示」機能です（URL検査ツール）。これにより、Googleのクローラーが実際に受け取るHTMLが表示されます。そこに表示されるバージョンが、あなたが自国のブラウザで見るものと異なる場合 — 問題が確認されます。しかし、Search Consoleは常にアメリカのIPからクロールするため、地域ごとのサイトの動作を比較するには、別のテストレイヤーが必要です。
実際には、マーケティング担当者やSEO専門家は、アンチデテクトブラウザ（Dolphin Anty、AdsPower、Multilogin、GoLoginなど）でいくつかのプロファイルを立ち上げ、各プロファイルに必要な国のプロキシを関連付けて、ユーザーの経路を手動でたどります：サイトを開き、どのバージョンがロードされたか、どのAccept-Languageヘッダーが送信されたか、リダイレクトが作動したか、どのURLにリダイレクトされたかを確認します。このような確認には、レジデンシャルプロキシが便利です。都市やオペレーターを選択できるため、実際の訪問者を最も正確に模倣できます。データセンターのアドレスは、一部のサービスがジオ評価の前に疑わしいとマークすることがあります。
| プロキシの種類 | どのテストに適しているか | 誤った結果のリスク |
|---|---|---|
| レジデンシャルプロキシ | 必要な国/都市の通常の家庭ユーザーを模倣 | 低い |
| モバイルプロキシ | CGNATとモバイルジオロケーションの動作を確認 | 低い |
| データセンターのプロキシ | 国によるリダイレクトの発動を迅速に確認 | 高い：一部のジオデータベースは家庭のIPとは異なるマークを付けます |
サーバーロジックの動作（視覚的レンダリングではなく）を確認するためには、curlを使用してUser-AgentをGooglebotに置き換え、X-Forwarded-Forヘッダーを必要な国のIPに置き換えることで、サーバーの生の応答を確認することが役立ちます。これにより、サーバーがJSレンダリングの前にどのHTTPステータスとLocationを返すかがわかり、上記のリストからエラー4とエラー1を1つのコマンドで捕まえることができます。
安全なジオリダイレクト設定のチェックリスト
- Googlebot、Bingbot、YandexBotはUser-Agentによるジオリダイレクトのロジックから除外され、逆DNSで確認されています
- リダイレクトはサーバー側（302/307）で実装され、クライアントのJavaScriptだけではありません
- ジオ/言語に基づくCDNの正しいキャッシングのために
Varyヘッダーが設定されています - 各言語バージョンには相互のhreflangマークアップを持つ別のURLがあります
- 誤って特定されたIPのためのフォールバックとして、国/言語を手動で切り替えるオプションがあります
- テストは必要な国のレジデンシャルおよびモバイルプロキシを通じて行われ、データセンターのアドレスだけではありません
- 四半期ごとにGoogle Search Consoleが表示する内容を確認し、バージョンが実際のユーザーが見るものと一致していることを確認します
結論
Googlebotが見るものとユーザーが見るものの不一致は、検索エンジンを意図的に欺くことは稀で、むしろ蓄積された技術的負債です：ボットの確認なしのIPによるリダイレクト、Varyヘッダーなしのキャッシュ、クローラーが実行できないJSリダイレクト、言語バージョンのためのhreflangの欠如。これらのエラーのそれぞれは単独では小さな問題に見えますが、組み合わさることでGoogleの目にはクロークの典型的な状況を生み出し、相応の制裁を受けます。
サイトがボットと人間の両方に対して同じように誠実に動作していることを確認する唯一の信頼できる方法は、定期的に必要な国の実際のIPからチェックすることです。この診断には、レジデンシャルプロキシを使用して典型的な家庭ユーザーを模倣し、モバイルプロキシを使用してCGNATのシナリオを確認することをお勧めします。これにより、各地域でオーディエンスが実際に見るものの最も正確なイメージが得られ、Googleのアルゴリズムが問題を見つける前に問題を捕まえるのに役立ちます。