ソーシャルメディアからの潜在顧客の連絡先を収集することは、コールドセール、メールマーケティング、ターゲット広告のためのデータベースを構築する最も効果的な方法の一つです。しかし、Instagram、VK、Facebook、LinkedInなどのプラットフォームは、自動化されたパースに対して積極的に対抗しており、疑わしい活動のわずかな兆候でもアカウントやIPアドレスをブロックします。このガイドでは、ソーシャルメディアから連絡先を安全に収集する方法、使用すべきツール、ブロックから保護するためのプロキシの設定方法について説明します。
なぜソーシャルメディアは連絡先のパースをブロックするのか
ソーシャルプラットフォームは、自動化されたデータ収集を検出するために複雑なアルゴリズムを使用しています。ブロックの主なトリガーには以下が含まれます:
- リクエストの速度が高すぎる:アカウントが1分間に100のプロフィールを閲覧している場合、それは明らかにボットの兆候です。通常のユーザーはその速度で行動できません。
- 繰り返しの行動パターン:リクエスト間の同じ間隔、ランダムな休止の欠如、行動の完璧な順序。
- 疑わしいIPアドレス:一つのIPから同時に多数のアカウントが操作されている場合や、IPがデータセンターに属している場合。
- 自然な活動の欠如:アカウントがデータをパースするだけで、いいねやコメント、コンテンツの投稿を行わない。
- 既知のツールの使用:InstagramやFacebookは、User-Agentやブラウザのフィンガープリントなどの兆候から人気のパーサーを特定できます。
Instagramは特にパースに対して攻撃的であり、プラットフォームは1時間に50〜70のプロフィールを閲覧しただけでアカウントをブロックする可能性があります。VKはAPIを通じたパースには比較的寛容ですが、ウェブインターフェースを通じたスクレイピングは厳しく制限しています。FacebookとLinkedInは段階的な制限を適用しており、最初は一時的なアクション制限、その後はキャプチャ、そして完全なバンが行われます。
重要:連絡先のパースはほとんどのソーシャルメディアの利用規約のグレーゾーンにあります。技術的には法律で禁止されていませんが、プラットフォームの利用規約に違反します。収集したデータは倫理的に使用し、個人データ保護法(GDPR、152-FZ)を遵守してください。
ソーシャルメディアのパースに適したプロキシ
プロキシの種類の選択は、安全なパースにとって非常に重要です。異なるタスクには異なる解決策が必要です:
| プロキシの種類 | 適しているもの | ブロックのリスク | コスト |
|---|---|---|---|
| レジデンシャルプロキシ | Instagram、Facebook、LinkedIn — 厳しい保護のあるプラットフォーム | 低い | 高い |
| モバイルプロキシ | Instagram、TikTok — モバイルアプリのエミュレーション | 非常に低い | 非常に高い |
| データセンタープロキシ | VK(API経由)、Telegram — 保護が少ないプラットフォーム | 中程度 | 低い |
レジデンシャルプロキシは、Instagram、Facebook、LinkedInのパースに最適な選択肢です。これらのIPは実際の家庭のプロバイダーに属しているため、プラットフォームはそれらを通常のユーザーとして認識します。主な利点は、自然な行動パターンを守れば、1つのIPから1日に200〜300のプロフィールをブロックなしでパースできることです。
モバイルプロキシは、モバイルオペレーターのIPを使用するため、最大の保護を提供します。InstagramやTikTokは、モバイルIPをほとんどブロックしません。なぜなら、一つのアドレスの背後には千人の実際のユーザーがいる可能性があるからです(オペレーターのNATによる)。欠点は、高コストで、通常は1つのIPあたり月50〜100ドルです。
データセンタープロキシは、VK(公式API使用時)や保護が少ないプラットフォームにのみ適しています。InstagramやFacebookはデータセンターのIPをすぐに特定し、ブロックします。しかし、VKのAPIを通じて公開データをパースするには十分に機能します、特にローテーションを使用する場合は。
各プラットフォームの安全なリクエスト制限
各ソーシャルネットワークには、アクションの数に関する非公式の制限があります。これらの数字は、パースの実践的な経験に基づいており、プラットフォームのアルゴリズムの変更に応じて定期的に更新されます:
- プロフィールの閲覧:新しいアカウントの場合は1時間に50〜70、1日に300〜400;3ヶ月以上のアクティブなアカウントの場合は1日に600〜800。
- バイオのリンクへの遷移:1時間に30〜40。
- フォロワー/フォローの収集:リクエスト間に2〜3秒の休止を挟んで、1時間に最大200〜300のプロフィール。
- ハッシュタグ検索:1時間に最大20〜30のハッシュタグ、5〜10秒の休止を挟む。
- 必須の休止:1〜1.5時間ごとに15〜20分の休憩を取る。
VK
- API経由:公式制限は1秒あたり3リクエスト(約10,000リクエスト/時間)ですが、安全のために1〜2リクエスト/秒の範囲に留めることをお勧めします。
- ウェブインターフェース経由:1時間に最大100〜150のプロフィール、1日に800〜1000。
- グループのメンバーのパース:API経由で1時間に最大500のプロフィール、ウェブ経由で200〜300。
- 投稿からのIDの収集:API経由で1時間に最大1000の投稿。
- プロフィールの閲覧:1時間に40〜60、アクティブなアカウントの場合は最大400。
- グループのメンバーのパース:1時間に最大100〜150のプロフィール。
- 人の検索:1時間に最大30の検索リクエスト。
- 外部リンクへの遷移:1時間に最大20〜30。
- 重要:Facebookはキャプチャを積極的に使用しており、自動化の兆候が見られると確認を求められます。
- プロフィールの閲覧:無料アカウントの場合は1日に80〜100、Premiumの場合は最大150〜200。
- InMail/メッセージの送信:1日に20〜30。
- フィルターによる検索:1時間に最大15〜20の検索リクエスト。
- 連絡先のエクスポート:LinkedInは厳しく制限しており、Sales Navigator経由で1日に最大50のプロフィール。
アドバイス:常に最小限の制限(指定された数値の50%)から始め、7〜10日間かけて徐々に負荷を増やしてください。これを「アカウントの加熱」と呼び、ブロックのリスクを大幅に減少させます。
プログラミングなしで連絡先をパースするためのツール
ソーシャルメディアから連絡先を収集するためにプログラミングのスキルは必要ありません。多くのグラフィカルインターフェースを持つツールが存在します:
汎用パーサー(複数のプラットフォームで動作)
- Octoparse: Instagram、Facebook、LinkedIn、VKをサポートするビジュアルパーサー。プログラミングは不要で、マウスのクリックでタスクを設定します。プロキシとIPローテーションのサポートが内蔵されています。価格は月75ドルから。
- ParseHub: Octoparseに似ており、無料版では1回の実行で最大200ページをパースできます。動的コンテンツ(JavaScript)でよく機能します。プロキシをサポートしています。
- Phantombuster: Instagram、LinkedIn、Facebook、Twitter用の既製のシナリオを持つクラウドサービス。実行されたアクションの数に応じて支払い。月30ドルから。
Instagram用の専門ツール
- Ingramer(以前のInflact):Instagram用の最も安全なパーサーの一つ。クラウド経由で動作し、人間の行動を模倣します。競合のフォロワー、いいねをした投稿のコメント者を収集できます。月10ドルから。
- Combin Growth: Instagramのパースと自動化のためのデスクトップアプリ。内蔵の安全制限があります。プロキシのサポートが必須です。月15ドルから。
- Jarvee:パース機能を持つ強力な自動化ツール。アンチデテクトブラウザを通じて動作します。技術的な設定が必要です。月約50ドル。
VK用のツール
- TargetHunter: VK用の専門パーサー。グループのメンバー、アクティブユーザー、コメント者を収集します。年齢、性別、都市によるフィルタリング。月1990₽から。
- Pepper.Ninja: API経由でVKをパースするためのクラウドサービス。大量のデータベースを迅速に収集(1日に最大100,000プロフィール)。月29ドルから。
- VK Scraper: Chrome用の無料拡張機能ですが、手動での起動と監視が必要です。小規模なボリューム(最大500プロフィール)に適しています。
LinkedIn用のパーサー
- Dux-Soup: Chrome用の拡張機能で、プロフィールの閲覧と連絡先の収集を自動化します。無料版は1日に100アクションに制限されています。プレミアムは月15ドルから。
- LinkedIn Sales Navigator: B2B販売のためのLinkedInの公式ツール。最大2500の連絡先をCSVにエクスポートできます。月79ドルから。
- Phantombuster LinkedInパーサー:プロフィール、企業、投稿をパースするための既製のボットのセット。クラウドで動作します。
ツールを選択する際は、内蔵の安全制限、プロキシのサポート、アクション間のランダムな遅延の設定が可能かどうかに注意してください。これらの機能がないツールは、アカウントのブロックを迅速に引き起こします。
Instagramからの連絡先のパース:ステップバイステップのガイド
Instagramは、攻撃的なアンチボット保護のため、パースが最も難しいプラットフォームの一つです。アンチデテクトブラウザとレジデンシャルプロキシを使用して連絡先を安全に収集する方法を見ていきましょう。
ステップ1:インフラの準備
- アンチデテクトブラウザをインストールします:Dolphin Anty(10プロフィールまで無料)、AdsPower、またはMultilogin。
- レジデンシャルプロキシを取得します — Instagramには家庭のプロバイダーのIPを使用することが重要です。1つのプロキシを1つのInstagramアカウントに使用します。
- ブラウザのプロフィールを作成します:プロキシを指定し、プロキシの地理的位置に応じたフィンガープリントを選択します。
- Instagramにログインし、認証します。アカウントが新しい場合は、すぐにパースを開始せず、2〜3日間通常の活動(いいね、ストーリーの閲覧、コメント)に費やします。
ステップ2:パーサーの設定
安全なクラウドパーサーとしてIngramerを使用します:
- IngramerにあなたのInstagramアカウントを接続します(サービスは公式API + エミュレーションを通じて動作します)。
- 連絡先のソースを選択します:競合のフォロワー、特定の投稿にいいねをした人、ハッシュタグを使用した人、地理的位置によるユーザー。
- フィルターを設定します:フォロワーの数(ボットを除外するため)、バイオの言語、プロフィールにメール/リンクがあるかどうか。
- 制限を設定します:1時間に50プロフィール、1日に300から始めます。アクション間に3〜7秒のランダムな休止を含めます。
- タスクを開始し、最初の2〜3時間を監視します — Instagramがキャプチャや警告を表示しない場合は続行できます。
ステップ3:データの収集と処理
ほとんどのパーサーは、以下のフィールドを持つCSV/Excelにデータをエクスポートします:
- Username(ユーザー名)
- Full Name(プロフィールからの名前)
- Bio(プロフィールの説明 — ここにメールやリンクが記載されていることが多い)
- External URL(プロフィールからのリンク)
- Followers count(フォロワー数)
- Following count(フォロー数)
- Posts count(投稿数)
Bioからメールを抽出するには、正規表現やEmail Extractorのようなオンラインツールを使用してください。Instagramのビジネスアカウントの約15〜25%がプロフィールの説明にメールを記載しています。
重要な推奨事項:1つのInstagramアカウントから1日に500〜600のプロフィールをパースしないでください、技術的には可能でも。Instagramは長期的なパターンを追跡しており、1週間後の活動の急激な増加はバンにつながる可能性があります。
VKからの連絡先の収集:方法と制限
VKはパースに対してより寛容であり、特に公式APIを使用する場合はそうです。API経由とウェブインターフェース経由の両方の方法を見ていきましょう。
方法1:VK API経由でのパース(推奨)
VKの公式APIを使用すると、ユーザーの公開データを収集できます:名前、姓、都市、年齢、ソーシャルメディアへのリンク。メールや電話はAPIを通じて取得できません — これはプライベートデータです。
- アクセストークンを取得:VK Developers(vk.com/dev)でアプリを登録し、ユーザーデータへのアクセス権を持つaccess_tokenを取得します。
- 既製のパーサーを使用:TargetHunter、Pepper.Ninja、またはvk_apiライブラリを使用してPythonで簡単なスクリプトを書くことができます。
- ユーザーのIDを収集:例えば、競合のグループのメンバーをgroups.getMembersメソッドを通じて収集します(リクエストあたり最大1000のIDを返します)。
- プロフィールデータを取得:users.getメソッドを使用すると、一度の呼び出しで1000ユーザーの情報をリクエストできます。
- 制限を守る:1秒あたり3リクエストを超えないようにし、呼び出し間に遅延を使用します。
APIを通じて取得できるデータの例:
- 名前、姓、生年月日
- 都市、国
- 大学、勤務先
- 友達の数、フォロワーの数
- Instagram、Telegramへのリンク(プロフィールに記載されている場合)
- 最終活動(オンライン/オフライン)
方法2:ウェブインターフェース経由でのパース
追加のデータを収集する必要がある場合(例えば、グループの説明やコメントからのメール)、ブラウザを通じてパースを使用します:
- レジデンシャルまたはデータセンタープロキシを使用してアンチデテクトブラウザを設定します。
- VK ScraperまたはOctoparseの拡張機能を使用して自動化します。
- データ収集を設定します:グループのURLまたは検索クエリを指定し、パースするフィールドを選択します。
- 制限を設定します:1時間に100〜150のプロフィール、リクエスト間に2〜4秒の休止。
- データをCSVにエクスポートします。
VKは公開データのパースに対してブロックすることはほとんどありませんが、活動が高すぎると一時的にいくつかの機能(例えば検索)へのアクセスを制限することがあります。通常、制限は24〜48時間で解除されます。
FacebookとLinkedIn:B2B連絡先のパースの特徴
FacebookとLinkedInは、B2Bリード生成のためのプラットフォームですが、すべてのソーシャルメディアの中で自動化に対する最も厳しい保護を持っています。
Facebookのパース
Facebookは、Cambridge Analyticaのスキャンダルの後、ユーザーデータのパースのためのGraph APIへのアクセスをほぼ完全に閉じました。ウェブインターフェースを通じてのパースのみが残っています:
- 安定したアカウントを使用:Facebookは自動化の兆候が見られると、新しいプロフィールを即座にブロックします。アカウントは最低6ヶ月以上のもので、定期的な活動が必要です。
- レジデンシャルプロキシが必須:FacebookはデータセンターのIPを数秒で特定します。
- グループのメンバーのみをパース:これはリスクが最も低い活動です。検索を通じての大量のプロフィールの閲覧は避けてください。
- 制限:1時間に最大40〜60のプロフィール、1日に300〜400。1.5時間ごとに休憩を取ります。
- キャプチャに備える:Facebookは通常の活動でも確認を表示することが多いです。手動で解決してください。
Facebook用のツール:Phantombuster(クラウド、既製のシナリオ付き)、Octoparse(ビジュアルパーサー)。あまり知られていない拡張機能は避けてください — Facebookはそれらをすぐに検出します。
LinkedInのパース
LinkedInはB2B連絡先のための金鉱ですが、プラットフォームはパースを厳しく制限しています:
- プロフィールの閲覧制限:無料アカウントの場合は1日に80〜100、Premium/Sales Navigatorの場合は最大200。LinkedInは誰がプロフィールを閲覧したかを追跡しているため、隠れたパースは不可能です。
- Sales Navigatorを使用:公式のB2B販売ツールで、月に最大2500の連絡先をエクスポートできます。月79ドルですが、合法的な方法です。
- 代替案 — Dux-Soup:Chrome用の拡張機能で、プロフィールの閲覧と連絡先の収集を自動化します。LinkedInの制限に従って遅く動作しますが、安全です。
- プロキシが必須:複数のアカウントからパースする場合は、それぞれにユニークなレジデンシャルIPが必要です。
LinkedInは最も質の高いB2Bデータを提供します:役職、会社、職歴、教育。多くのユーザーはメール(通常は企業用)をプロフィールや「連絡先」セクションに直接記載しています。
B2B向けのアドバイス:大量のパースの代わりに、組み合わせたアプローチを使用してください — LinkedInを通じて企業のリストを収集し、その後、Hunter.ioやApollo.ioのようなサービスを通じて従業員の企業メールを見つけます。これは合法的で、より効果的です。
安全なパースのためのアンチデテクトブラウザの設定
アンチデテクトブラウザは、ソーシャルメディアのパースにとって非常に重要なツールです。これらは、ブラウザのデジタルフィンガープリントを置き換え、プラットフォームの目には各アカウントをユニークにします。
パース用の人気のアンチデテクトブラウザ
| ブラウザ | 利点 | 価格 |
|---|---|---|
| Dolphin Anty | 10プロフィールまで無料、シンプルなインターフェース、アービトラージャーに人気 | $0-89/月 |
| AdsPower | 2プロフィールまで無料、優れた自動化、スクリプト用のAPI | $0-30/月 |
| Multilogin | 最も進んだフィンガープリント、最大の保護 | €99-399/月 |
| GoLogin | 手頃な価格、クラウドプロフィール、モバイルアプリ | $24-149/月 |
Dolphin Antyでのプロフィールのステップバイステップ設定
- 新しいプロフィールを作成:メインウィンドウで「プロフィールを作成」をクリックします。
- 名前を指定:例えば、「Instagram_parsing_1」として管理しやすくします。
- プロキシを設定:
- タイプを選択:HTTPまたはSOCKS5(プロキシプロバイダーによります)
- データを入力:IP:PORT:USERNAME:PASSWORD
- 「プロキシを確認」をクリック — IPの地理的位置が表示されるはずです
- フィンガープリントを選択:
- オペレーティングシステム:Windows 10/11またはmacOS(プロキシの地理的位置に応じて)
- User-Agent:最新のChrome
- 画面解像度:標準(1920x1080または1366x768)
- ブラウザの言語:プロキシの国に対応(米国の場合はen-US、ロシアの場合はru-RU)
- WebRTCを設定:「置き換える」を選択 — これにより、WebRTCを通じて実際のIPが漏れるのを防ぎます。
- CanvasとWebGL:「ノイズ」を有効にします — これによりフィンガープリントにユニークさが追加されます。
- プロフィールを保存し、ブラウザを起動します。
パース前の設定の確認
パースを開始する前に、フィンガープリントがユニークであることを必ず確認してください:
whoer.netまたはbrowserleaks.comを開きます。- IPアドレスを確認 — あなたのプロキシと一致している必要があります。
- WebRTCを確認 — 実際のIPが表示されてはいけません。
- DNSを確認 — プロキシの国に一致している必要があります。
- タイムゾーンを確認 — プロキシの地理的位置と一致している必要があります。
どれか一つでもパラメータが一致しない場合、Instagram、Facebook、またはLinkedInは不一致を検出し、アカウントをブロックする可能性があります。
よくある誤り:同じプラットフォームの複数のアカウントに対して1つのプロキシを使用すること。InstagramとFacebookはIPでアカウントを関連付けるため、1つがバンされると他もブロックされます。ルール:1アカウント = 1ユニークプロキシ。
結論
ソーシャルメディアからの連絡先の安全なパースには、プロキシの正しい選択、活動の制限の遵守、アンチデテクトブラウザと質の高い自動化ツールの使用が必要です。InstagramとFacebookは最大限の注意が必要であり、レジデンシャルまたはモバイルプロキシが必須で、制限は保守的であるべきです(1日に300〜400のプロフィールを超えない)。VKはより寛容であり、特にAPIを通じて作業する場合は、最小限のリスクで大規模な連絡先データベースを収集できます。
最も重要なルールは、実際のユーザーの行動を模倣することです:アクション間のランダムな休止、定期的な休憩、活動の多様性(パースだけでなく、いいね、コメント、コンテンツの閲覧も)。プラットフォームはボット検出アルゴリズムを常に改善しているため、定期的に方法やツールを更新し、制限の変更を監視してパース戦略を適応させてください。
Instagram、Facebook、LinkedInからの連絡先の安全なパースには、レジデンシャルプロキシの使用をお勧めします — これにより、実際の家庭のプロバイダーのIPのおかげで、ブロックからの最大の保護が提供されます。InstagramやTikTokのようなモバイルプラットフォームで作業する場合は、モバイルプロキシに注目してください — これらは通常のモバイルアプリのユーザーとほとんど区別がつかず、バンのリスクが最小限です。