亚马逊、谷歌评论和Yelp的评论抓取代理：无阻塞的完整指南

您正在启动从亚马逊或谷歌的自动评论收集——在10-20个请求后就会收到验证码或IP封锁。这是一个熟悉的故事吗？市场平台和评论平台积极防止解析：检测机器人，封锁数据中心的IP地址范围，并要求解决验证码。但是，使用正确的代理可以一次性解决这个问题。

在本指南中，我们将讨论每个平台适合的代理类型，如何设置IP轮换，使用哪些工具而无需编写代码——以及最终如何每天收集数千条评论而不被封锁。

为什么亚马逊，谷歌和Yelp会封锁评论解析

在选择代理之前，重要的是要理解：为什么会发生封锁？这不仅仅是因为平台“不想分享数据”。它们有具体的保护机制，需要巧妙地绕过。

来自同一IP的请求过多。 当普通用户在亚马逊上浏览评论时，他每分钟发出2-5个请求。解析器——数百个。系统检测到异常活动并封锁IP。这是数据收集时封锁的最常见原因。

数据中心的IP地址被列入黑名单。 亚马逊，谷歌和Yelp早已将大型云服务提供商的IP范围列入黑名单：AWS，谷歌云，DigitalOcean，Hetzner。如果您使用带有“曝光”地址的廉价数据中心代理——在第一次请求之前就会被封锁。

浏览器指纹分析和请求头。 现代保护系统（Cloudflare，PerimeterX，DataDome）不仅分析IP，还分析HTTP头，User-Agent，鼠标行为，请求序列。如果头部信息显示为机器人——封锁是不可避免的。

地理位置限制。 一些亚马逊的评论仅对特定国家的用户可见。例如，从德国访问amazon.de的评论与从俄罗斯访问的评论是不同的。为了正确收集数据，需要具有所需地理位置的代理。

验证码和JS挑战。 谷歌特别积极地使用reCAPTCHA。Yelp使用JS检查，简单的HTTP请求无法通过。这些机制要求使用浏览器工具或专门的验证码解决服务。

有哪些类型的代理适合评论解析

并非所有代理都适合评论收集。我们将讨论三种主要类型及其适用性。

数据中心代理（Datacenter Proxies）

这些是属于服务器公司的IP地址。它们快速、便宜，适合速度比匿名性更重要的任务。然而，对于亚马逊或谷歌的评论解析，它们效果不佳：大多数此类IP已被列入黑名单。您可以收集几页，但很快就会收到封锁或验证码。

数据中心代理仅适用于测试解析器或保护措施较少的平台——例如，小型地区评论网站。

住宅代理（Residential Proxies）

这些是来自真实家庭用户的IP地址。从亚马逊或谷歌的角度来看——这就是普通的家庭互联网用户。这些代理几乎不会被列入黑名单，因为它们的IP地址不断变化，并且属于真实设备。

住宅代理是解析亚马逊、Yelp和大多数中等保护平台的最佳选择。它们允许从所需地理位置（国家、城市）发出请求，这对于获取本地评论至关重要。

移动代理（Mobile Proxies）

来自移动运营商（4G/5G）的IP地址。这是任何平台上最“可信”的流量类型：移动IP很少被封锁，因为一个IP可能有数十个真实用户（移动运营商的NAT）。谷歌对移动地址特别宽容。

移动代理是解析谷歌评论和Yelp的必备工具，在这些平台上，防止机器人攻击的保护措施尤其激烈。它们比住宅代理更昂贵，但提供最高的成功请求率而无需验证码。

亚马逊评论解析：特点和代理设置

亚马逊是解析最复杂的网站之一。该公司同时使用多个保护层：行为分析、头部检查、地理位置和激进的验证码系统。然而，成千上万的营销人员和分析师每天都在收集亚马逊的评论——他们只是做得对。

成功解析亚马逊评论所需的条件

以下是解析稳定工作的最低条件：

• 住宅或移动代理，具有所需国家的地理位置（亚马逊.com为美国，亚马逊.de为德国）
• IP轮换——每10-30个请求至少一次
• 正确的User-Agent——模拟真实浏览器（Chrome，Firefox）
• 请求之间的延迟——2-5秒，以免看起来像机器人
• Cookies会话——亚马逊对带有保存的Cookies的请求反应更好

亚马逊的逐步设置

步骤1. 选择具有所需国家地理位置的住宅代理。对于amazon.com——美国，对于amazon.co.uk——英国。这一点很重要：亚马逊向来自不同国家的用户展示不同的评论。

步骤2. 设置轮换。如果您使用现成的解析器（例如，Octoparse或ParseHub），请在连接设置中指定代理。大多数此类工具支持自动轮换的代理列表。

步骤3. 设置请求之间的延迟。在Octoparse中，这可以在“延迟设置”部分完成——设置2到6秒的随机间隔。

步骤4. 在50-100个页面上运行测试。如果验证码出现的频率超过5%——请增加延迟或更换代理池。

步骤5. 扩大规模。在成功测试后，可以开始收集数千条评论。良好的住宅代理池允许每天收集5000-10000条评论而不被封锁。

谷歌评论收集：需要知道的重要事项

谷歌评论——谷歌地图和谷歌商业资料中的评论——是营销人员、SEO专家和分析师的重要数据来源。但谷歌对其数据的保护特别激烈：reCAPTCHA v3、行为分析、浏览器指纹检查。

主要难点：谷歌评论无法通过普通的HTTP请求加载。评论是通过JavaScript动态加载的。这意味着简单的HTTP解析器无法工作——需要一个能够渲染JavaScript的工具（浏览器解析器）。

如何正确收集谷歌评论

选项1：现成的服务。 像Outscraper、Apify（谷歌地图解析器）或PhantomBuster这样的工具能够通过浏览器引擎收集谷歌评论。您只需指定URL或商家名称并连接代理。

选项2：带浏览器模式的Octoparse。 Octoparse支持浏览器渲染模式。在设置中指定住宅或移动代理——该工具将像真实用户一样收集评论。

选项3：谷歌地点API。 官方途径是使用谷歌地点API。它提供每个商家最多5条评论的免费访问，但对于更大数量需要付费。这样就不需要任何封锁和代理。

为什么谷歌需要移动代理

谷歌是reCAPTCHA的创建者，也是检测机器人的领导者之一。住宅代理有效，但移动IP的效果明显更好。原因很简单：谷歌本身就是一个移动平台，并且信任移动流量。来自移动IP的请求更少触发验证码，并且更少受到行为分析的影响。

对于大规模收集谷歌评论（每天数千个商家），建议使用具有所需城市或地区地理位置的轮换移动代理。这样评论将与本地搜索最大程度相关。

无封锁的Yelp解析：逐步指南

Yelp是美国最大的评论平台。对于在美国市场工作的营销人员来说，这是获取竞争对手、客户情绪和行业趋势数据的必备来源。解析Yelp比看起来更复杂：该平台使用Cloudflare和自己的防止机器人系统。

Yelp的保护特点

• Cloudflare机器人管理——分析行为和指纹
• 请求限制：每个IP每分钟超过30-50个请求——封锁
• 首次访问时的JavaScript检查
• 部分评论被隐藏（“过滤评论”），仅对授权用户可见

Yelp的逐步指南

步骤1. 选择支持Cloudflare的工具。 普通解析器无法通过Cloudflare。使用Apify（Yelp解析器）、Bright Data Scraping Browser或PhantomBuster——它们能够绕过JS检查。

步骤2. 连接具有美国地理位置的住宅代理。 Yelp面向美国市场。具有美国IP的代理将提供最大的数据访问和最少的封锁。

步骤3. 设置每5-10个请求轮换。 Yelp对请求频率非常敏感。每5-10个页面轮换IP是稳定工作的必要条件。

步骤4. 在请求之间添加3-8秒的延迟。 随机延迟模拟真实用户的行为，显著降低被封锁的风险。

步骤5. 使用Yelp Fusion API获取部分数据。 Yelp提供官方API，访问基本的商业和评论数据。对于小规模数据，这是最简单的无封锁风险的方式。

无代码评论收集工具

好消息是：解析评论不需要成为程序员。存在现成的具有可视化界面的工具，支持连接代理和自动IP轮换。我们将讨论其中一些最受欢迎的工具。

如何在Octoparse中连接代理（逐步）

Octoparse是最受欢迎的工具之一，适合没有技术背景的营销人员。以下是如何连接代理：

1. 打开Octoparse → 转到 设置 → 代理设置
2. 选择 “使用自定义代理”
3. 以 ip:port:login:password 格式粘贴代理列表
4. 启用 “自动轮换代理”——工具将自动更换IP
5. 点击 “测试代理”——确保所有代理正常工作
6. 以常规模式启动任务

如何在Apify中连接代理

1. 访问apify.com → 选择所需的演员（例如，“亚马逊评论解析器”）
2. 在 “输入” 部分找到 “代理配置” 字段
3. 选择 “自定义代理” 并粘贴您的代理数据
4. 指定评论页面的URL或商品的ASIN代码（对于亚马逊）
5. 点击 “开始”——结果将以JSON或Excel格式提供

代理轮换和安全解析评论的规则

即使是最优质的代理也无济于事，如果不遵循安全解析的规则。平台分析行为模式，一个不正确的请求模式可能导致整个IP池被封锁。

规则1：定期轮换IP

对于亚马逊，建议每10-20个请求更换一次IP。对于谷歌——每5-10个请求。对于Yelp——每5-8个请求。如果您使用会话代理（粘性会话），请确保会话不超过10-15分钟——之后请求新的IP。

规则2：模拟真实行为

真实用户不会以完美的2秒间隔发出请求。添加随机延迟：1到8秒。有时暂停30-60秒——就像人类在阅读页面。这显著降低了被检测的可能性。

规则3：使用最新的User-Agent

User-Agent应与真实浏览器相符。过时的Chrome或Firefox版本会立即引起怀疑。每月至少更新一次User-Agent。好的解析器（Octoparse，Apify）会自动执行此操作。

规则4：不要在夜间解析（按平台的当地时间）

保护系统在夜间对可疑流量更加敏感。如果您在解析美国亚马逊，最好在美国时间的白天进行——当平台上有很多真实用户时，您的请求“淹没”在整体流量中。

规则5：监控成功请求的比例

良好的指标是超过95%的成功请求而不需要验证码。如果比例降到85%以下——就说明出现了问题。检查：代理是否过期，保护算法是否发生变化，User-Agent是否需要更新或延迟是否需要增加。

不同平台评论的代理类型比较

以下是汇总表，帮助您快速选择适合特定任务的正确代理类型。在设置解析时请参考它。

为什么要收集评论：使用场景

自动收集评论可以解决多个商业任务：

• 竞争分析。 收集竞争对手在亚马逊上的产品评论→找到弱点→在您的营销中使用
• 声誉监控。 自动跟踪您品牌的新评论
• 受众研究。 分析数千条评论→识别模式→改进产品
• SEO和内容。 收集评论以进行语义分析，识别真实买家使用的关键字
• 评论聚合器。 创建聚合来自多个平台的评论的服务

在俄罗斯市场的评论解析

如果您的业务面向俄罗斯市场，您也需要从Wildberries、Ozon和Yandex.Market收集评论。这些平台的保护措施相对较弱，但仍然会封锁大规模解析。对于它们，使用具有俄罗斯IP的住宅代理就足够了——它们能够稳定收集数据而不需要验证码和封锁。

流行的俄罗斯市场解析工具：Screaming Frog（带代理），Octoparse，以及像Moneyplace或MPStats这样的专业服务，它们已经将代理集成到其基础设施中。

结论：如何立即开始无封锁地收集评论

从亚马逊、谷歌评论和Yelp自动收集评论是营销人员、分析师和电子商务专家的强大工具。主要障碍是封锁。主要解决方案是正确的代理类型结合合理的轮换和延迟设置。

简而言之：对于亚马逊和Yelp，请使用具有所需国家地理位置的住宅代理。对于谷歌评论——使用移动代理，它们提供最高的成功请求率。数据中心代理在这些任务中几乎无用——它们的IP早已被列入黑名单。

在无代码工具中，Octoparse和Apify是最适合的——两者都支持连接外部代理和自动轮换。对于谷歌评论，还可以考虑Outscraper——这是一个专门优化用于收集谷歌地图数据的服务。

如果您计划定期从多个平台收集评论，建议从 住宅代理 开始——它们在速度、匿名性和成本之间提供最佳平衡，适合大多数评论监控任务。对于谷歌评论，尤其是保护措施特别激烈的情况，建议考虑 移动代理——它们提供最高的成功请求率而无需验证码。