分析竞争对手的评论是任何市场卖家至关重要的任务。评论展示了产品的真实问题，帮助改善产品页面，并找到未被占用的市场细分。但市场平台对大规模抓取采取严格封禁措施：Wildberries在50-100个请求后封禁IP，Ozon显示验证码，Yandex.Market甚至对个人用户关闭API访问。在本文中，我们将讨论如何安全地收集评论，使用哪些工具，以及如何设置代理，以便不失去数据访问权限。
市场平台为何封禁评论抓取
市场平台出于几个原因保护其数据。首先，大规模抓取会对服务器造成高负载——每分钟来自抓取器的数千个请求可能会减慢普通顾客访问网站的速度。其次，评论是有价值的数据，平台通过付费分析（例如，Ozon Analytics或WB分析每月费用从5000卢布起）进行货币化。第三，竞争对手可能利用评论进行不当行为：复制成功的策略、虚假评论，甚至寻找不满的竞争对手客户。
从技术上讲，市场平台通过几个参数跟踪可疑活动：
- 单个IP的请求频率：如果来自您的IP每分钟发送100个以上的请求——这显然不是人类。Wildberries在50-70个请求后会将这些IP封禁24小时。
- 行为模式：抓取器打开页面的速度过快（每页少于1秒），不移动鼠标，不滚动。现代反机器人系统（例如，Kasada或DataDome）很容易识别这些。
- User-Agent和浏览器指纹：如果您的脚本发送的请求使用的是旧版本Chrome的User-Agent或没有JavaScript——这就是一个红旗。
- 缺少cookies和会话：普通用户有访问历史和授权cookies。抓取器通常是“干净的”。
Ozon使用特别激进的保护措施：在20-30个请求后显示验证码，重复尝试绕过时在CDN（Cloudflare）级别封禁IP。Yandex.Market在2023年关闭了个人用户的公共API——现在仅对与公司签订合同的法人开放。Avito不仅根据IP封禁，还根据电话号码封禁，如果发现自动活动。
如果在没有保护的情况下抓取会发生什么：封禁的后果
封禁的后果取决于您具体如何抓取。如果使用家庭IP而没有代理——将会获得24小时的临时封禁。这对于一次性数据收集并不严重，但对于定期监控来说是个问题。如果通过卖家账户抓取（例如，使用个人WB账户访问扩展统计数据）——您有可能会面临账户封禁的风险。恢复账户很困难：需要联系支持，证明不是您，而是“计算机上的病毒”。这个过程需要一到一个月的时间。
实际案例：一位在Wildberries上销售儿童玩具的卖家通过Python脚本设置了自动抓取竞争对手评论。脚本在他的工作IP上运行，每小时收集500条评论。三天后，Wildberries不仅封禁了IP，还封禁了卖家的账户——算法将抓取器的IP与访问个人账户的IP关联起来。结果：失去商店访问权限两周，损失收入约400,000卢布（商品有库存，但无法管理供应）。
重要：绝不要从您访问卖家个人账户的同一IP进行抓取。市场平台将IP地址与账户关联，可能会因可疑活动封禁您的商店。
另一个问题是法律问题。形式上，抓取违反了大多数市场平台的用户协议（“禁止行为”部分）。在实践中，平台很少会与抓取者打到法庭，但也有先例。2022年，Ozon对一个收集价格和库存数据的分析服务提起诉讼。法院支持Ozon，该服务关闭。对于个人用户来说，法律诉讼的风险很小，但对于将抓取作为服务出售的公司来说，这是一个真实的威胁。
收集评论的三种方法：手动、API、自动抓取
方法1：手动收集（适用于小规模）
如果您需要每周收集5-10个竞争对手的评论——可以手动进行。打开Wildberries或Ozon上的产品页面，浏览评论，将文本复制到Excel中。优点：不需要技术技能，封禁风险为零。缺点：速度非常慢（收集100条评论需要30-40分钟），无法跟踪动态，没有自动化。
这种方法适合微型企业：您销售2-3个产品，想了解竞争对手的反馈，以改善自己的产品页面。对于定期监控数十个产品，手动收集无法扩展。
方法2：官方API（有限访问）
一些市场平台为合作伙伴提供API。Wildberries的卖家API仅允许获取您自己产品的评论（而不是竞争对手的）。Ozon API同样——仅访问自己的数据。Yandex.Market的内容合作伙伴API要求法律合同，仅对年营业额超过1000万卢布的公司开放。
API的优点：稳定访问，不违反平台规则，结构化数据为JSON格式。缺点：无法获取竞争对手的评论（大多数卖家的主要任务），官方API的进入门槛较高。
方法3：通过代理进行自动抓取（通用）
这是专业卖家和代理机构的主要方法。您使用专用工具（抓取器）或编写脚本，自动打开产品页面，收集评论并保存到数据库中。为了避免被封禁，所有请求都通过代理进行——每个请求来自新的IP地址，市场平台看到的是来自不同城市的普通用户。
优点：可以收集任何产品的评论（自己的和竞争对手的），完全自动化，可扩展性（每天可处理10,000个产品）。缺点：需要技术技能或付费工具，代理费用（每月从3000卢布起）。
哪些代理适合市场抓取
代理类型的选择取决于您的预算、抓取量和数据质量要求。我们将讨论三种主要类型及其在市场中的适用性。
| 代理类型 | 适合于 | 价格 | 优缺点 |
|---|---|---|---|
| 数据中心代理 | 抓取Avito、AliExpress、小型平台 | 每月从50₽/IP起 | + 便宜，速度快 − 容易被WB和Ozon识别 |
| 住宅代理 | Wildberries、Ozon、Yandex.Market——主要选择 | 每GB从300₽起 | + 真实的家庭用户IP，不会被封禁 − 比数据中心贵 |
| 移动代理 | 高风险封禁的抓取，通过移动应用收集 | 每月从500₽/IP起 | + 最大的保护，移动运营商的IP − 最贵，速度比住宅代理慢 |
对于抓取Wildberries和Ozon，我们建议使用住宅代理。这些市场平台使用先进的反机器人系统，容易识别数据中心的IP（它们位于知名的托管服务提供商的AS号码范围内）。住宅代理是普通家庭互联网服务提供商（如Ростелеком、МТС、Билайн）的IP，无法与真实买家区分。
重要的一点：市场平台需要具有IP轮换的代理。这意味着您的每个请求都来自新的IP地址。例如，您抓取1000条评论——这将是来自俄罗斯不同城市的1000个不同IP。市场平台看到的是来自全国的真实用户访问商品，没有任何可疑活动。
建议：对于抓取俄罗斯市场，选择具有俄罗斯IP的代理。Wildberries和Ozon经常对来自国外的用户显示验证码（防止国外抓取者）。带有地理定位俄罗斯的住宅代理解决了这个问题。
评论收集的现成工具：服务概述
如果您不是程序员，不需要从零开始编写抓取脚本——有现成的解决方案。我们将讨论市场卖家的流行工具。
1. Mpstats (mpstats.io) — Wildberries和Ozon的分析工具
在俄罗斯卖家中最受欢迎的服务。收集的不仅是评论，还有价格、库存、搜索排名、销售历史。评论每天更新，可以导出到Excel。价格：每月从3000卢布起（“起步”计划）。优点：不需要自己设置代理（所有功能开箱即用），界面友好，提供现成报告。缺点：在扩展时成本高（如果跟踪100个以上的产品，计划费用会上升到15000卢布），数据更新有延迟。
2. Moneyplace (moneyplace.io) — Ozon的抓取工具
专为Ozon设计的工具。收集评论、买家提问、卖家评分。具有评论情感分析功能（自动识别负面和正面评论）。价格：每月从2500卢布起。优点：针对Ozon的深度分析，提供与您的系统集成的API。缺点：仅适用于Ozon，不支持Wildberries和其他平台。
3. Parser.ru — 无代码的通用抓取工具
一个用于抓取任何网站的云服务，包括市场平台。工作原理是“指定要抓取的内容——获得结果”。不需要编程，所有设置通过可视化界面完成。价格：每月从1500卢布起 + 代理单独收费（如果使用自己的代理则免费）。优点：灵活性（可以设置抓取任何数据，不仅限于评论），适用于任何市场平台。缺点：需要时间进行设置（1-2小时学习界面）。
4. Octoparse — Windows/Mac的桌面抓取工具
具有可视化编辑器的抓取程序。安装在计算机上，打开市场平台网站，点击需要收集的元素（评论文本、评分、日期）。程序会记住结构并自动抓取。价格：免费版（每月最多10,000条记录），付费版从75美元/月起。优点：不需要了解HTML/CSS，提供流行网站的现成模板。缺点：仅在您的计算机上运行（如果关闭，抓取将停止），界面为英语。
5. 自己的Python脚本（适合技术人员）
如果您具备基本的编程技能，可以使用Selenium（浏览器仿真）或Scrapy（快速抓取）库编写Python脚本。优点：完全控制，零订阅费用（仅支付代理费用），可以抓取任何格式的数据。缺点：需要开发时间（简单抓取器至少需要5小时），需要维护代码（市场平台可能会更改网站结构——脚本可能会失效）。
对于大多数卖家，我们建议从现成的服务如Mpstats或Moneyplace开始。如果您每月在市场上赚取超过200,000卢布，这些服务将会带来回报。如果预算有限或需要非标准的抓取逻辑——可以考虑Octoparse或自己的脚本。
通过代理进行抓取的逐步设置
我们将以Octoparse（无代码抓取器）和住宅代理的组合为例进行设置。这种方法适合新手，不需要编程。
步骤1：获取住宅代理的访问权限
在住宅代理提供商（例如，ProxyCove）注册。注册后，您将获得连接数据：
代理服务器: gate.proxycove.com
端口: 8080
用户名: user_您的_id
密码: 您的_密码
类型: HTTP/HTTPS（带IP轮换）重要：选择请求轮换的计划（每个HTTP请求=新IP）。对于市场抓取，这一点至关重要。
步骤2：安装并设置Octoparse
从官方网站（octoparse.com）下载Octoparse，安装到计算机上。首次启动时，程序会要求您创建一个账户——使用免费版本进行测试（限制为每月10,000条记录，足够处理50-100个产品）。
打开设置（Settings → Proxy Settings）并添加您的代理：
- 代理类型：HTTP
- 服务器：gate.proxycove.com
- 端口：8080
- 用户名：您的用户名
- 密码：您的密码
- 勾选“对所有任务使用代理”
点击“测试代理”——程序将检查连接。如果一切设置正确，您将看到“代理工作正常”的消息。
步骤3：创建Wildberries评论抓取任务
点击“新任务”→“高级模式”。粘贴Wildberries产品页面的URL（例如，https://www.wildberries.ru/catalog/12345678/detail.aspx）。Octoparse将打开内置浏览器并通过代理加载页面。
现在教程序抓取什么内容：
- 向下滚动页面到评论块。
- 点击第一个评论的文本→选择“提取文本”→程序将高亮显示页面上的所有评论。
- 点击评分（星星）→“提取文本”→程序将记住评分。
- 点击评论日期→“提取文本”。
- 找到“显示更多”按钮（分页）→右键点击→“点击以分页”→程序将自动翻页。
设置限制：在“分页”部分中，最多指定50页（大约500条评论）。这是一次会话的安全量。
步骤4：设置请求之间的延迟
这非常重要！如果抓取器翻页速度过快，Wildberries会怀疑是机器人，即使通过代理也是如此。打开“任务设置”→“速度”，并设置：
- 页面加载延迟：3-5秒（页面之间的延迟）
- 操作延迟：1-2秒（点击之间的延迟）
- 启用随机延迟：启用（增加随机性，模拟人类）
步骤5：启动抓取并导出数据
点击“运行”→程序将开始抓取。您将实时看到数据的收集。完成后（通常500条评论需要10-15分钟），点击“导出”→选择Excel或CSV格式。完成——您将拥有包含所有评论、评分和日期的表格。
常见错误：不要立即对100个产品进行抓取。先从5-10个产品开始，确保一切正常且没有封禁。然后再扩展到每天50-100个产品。
安全抓取规则：限制、延迟、轮换
即使使用代理，如果违反“礼仪规则”也可能会被封禁。市场平台分析的不仅是IP，还包括行为模式。以下是安全抓取的检查清单：
1. 遵守请求限制
对于俄罗斯市场的安全限制：
- Wildberries：每个抓取任务每小时不超过100个请求。如果抓取10个产品——在产品之间暂停30-40秒。
- Ozon：每小时不超过50个请求（他们的保护措施更激进）。产品之间的暂停——1分钟。
- Yandex.Market：每小时不超过30个请求。每10个请求后暂停5分钟。
这些限制是针对通过住宅代理进行轮换的抓取。如果使用数据中心——将限制减半。
2. 使用随机延迟
不要将延迟设置为固定值（例如，在请求之间恰好5秒）。这看起来很可疑。设置随机延迟：3到7秒之间。大多数抓取器（Octoparse、Scrapy）都支持此功能。
3. 更改User-Agent
User-Agent是一个字符串，告诉网站您使用的浏览器。抓取器通常发送过时的User-Agent（例如，Chrome 90，而当前版本是120）。设置User-Agent的轮换：每个请求使用不同的浏览器（Chrome、Firefox、Safari）和不同的版本。
User-Agent轮换示例列表：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Safari/605.1.15
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Firefox/121.0
Mozilla/5.0 (X11; Linux x86_64) Chrome/119.0.0.04. 不要在高峰时段抓取
市场平台在流量高峰时段（通常是莫斯科时间18:00至23:00——当顾客下班回家时）加强反机器人保护。这段时间内，收到验证码或被封禁的风险更高。抓取的最佳时间：凌晨2:00至8:00或上午10:00至下午4:00。
5. 按会话轮换代理
如果抓取一个产品（例如，浏览50页评论），在整个会话中使用一个IP。如果在每个页面上更改IP——市场平台可能会怀疑有问题（一个“用户”在一秒钟内从莫斯科跳到符拉迪沃斯托克）。但当您转到下一个产品时——更改IP。
6. 模拟人类行为
高级抓取器（例如，Selenium）可以模拟人类的动作：移动鼠标、滚动、点击随机元素。这提高了抓取器的“人性化”。如果您使用简单的HTTP抓取器（没有浏览器）——则不需要，但在请求限制方面要更加严格。
如何分析收集的评论以促进销售增长
收集评论只是完成了一半。关键是正确分析它们并应用洞察。以下是一些实用的使用场景。
1. 寻找竞争对手产品的缺陷
打开包含收集评论的Excel，过滤出负面评论（评分1-2星）。查看顾客抱怨的内容：尺寸不符、包装差、配送慢、材料质量低。这些抱怨是您的竞争优势。如果竞争对手因尺寸不合收到30%的负面评论——在您的产品页面中提供详细的尺寸表和照片。如果抱怨包装——在商品中放入精美的盒子，并在描述中提及。
实际案例：一位销售运动紧身裤的卖家收集了500条关于前5名竞争对手的评论。发现40%的负面评论与面料在深蹲时透视有关。他向供应商订购了更厚的面料，拍摄了“不透视的紧身裤”视频并添加到产品页面。结果：转化率从3%提升至7%，一个月内销售额翻了一番。
2. 基于买家提问改善产品页面
除了评论外，还要抓取买家的提问（在Wildberries和Ozon上都有）。提问显示了产品页面缺乏的信息。如果20个人问“这是100%棉还是含合成材料？”——说明成分说明不清晰。在描述中添加一个大块“成分：95%棉，5%氨纶”并附上图标。如果有人询问与iPhone 15的兼容性——添加兼容型号列表。
3. 寻找未满足的需求（新细分市场）
分析竞争对手的正面评论。寻找诸如“很好，但希望有...”或“可惜没有...”的短语。这些是未满足需求的信号。例如，在儿童背包的评论中，常有人提到“好的背包，但没有反光条”。您可以推出带反光条的背包，吸引这部分受众。
4. 监控评论动态（早期发现问题）
设置每天自动抓取自己的产品评论。如果负面评论数量突然增加（例如，一周内收到10条关于缺陷的评论）——这是检查供应商批次的信号。可能是他发出了有缺陷的商品。您发现问题的越早，损失的排名就越少。
5. 收集市场内部SEO的语义
买家的评论是“活的”关键词来源。人们写下他们如何寻找商品：“为乡村购买”、“寻找23号的礼物给丈夫”、“需要车用保温杯”。这些短语可以添加到您产品页面的标题和描述中——这将提高在市场搜索中的可见性。
结论
从市场平台收集评论不仅仅是一个技术任务，而是一个促进销售增长的战略工具。正确收集和分析竞争对手的评论为您提供了竞争优势：您知道市场上缺少什么，应该解决哪些问题，如何改善自己的产品页面。关键是安全地进行，以免被封禁。
本文的关键结论：使用住宅代理抓取Wildberries和Ozon（它们不会被封禁，与数据中心不同），遵守请求限制（Wildberries每小时不超过100个请求），设置请求之间的随机延迟（3-7秒），不要从您访问卖家个人账户的同一IP进行抓取。对于新手，我们建议从Mpstats或Octoparse等现成工具开始——如果您的月营业额超过200,000卢布，它们将会带来回报。
如果您计划定期从市场平台收集数据，建议尝试住宅代理——它们提供高水平的匿名性、真实的俄罗斯服务提供商IP和最低的封禁风险。这是一项投资，通过保持对您业务关键数据的访问而获得回报。