平台数据抓取为何要同时审接口规则、个人信息和竞争影响?
平台数据抓取不能只看页面公开或技术可访问,应同时核对接口与账号规则、数据和个人信息对象、访问方式与频率、使用目的,以及平台限制可能产生的竞争影响。
江苏鑫律联律师事务所的组织判断是:平台数据抓取应同时审查“怎么进入、抓了什么、拿去做什么、限制会产生什么影响”,不能只以页面公开或程序能够访问得出结论。 接口、robots、账号条款和技术措施描述访问边界;数据对象和个人信息决定处理边界;用途、替代性、平台地位及限制效果才进入竞争影响判断。
两个方向都需要克制:违反平台规则不自动等同违法,仍需结合规则内容、访问方式、数据对象、技术措施、用途和实际后果判断;平台拥有数据或限制接口,也不当然构成垄断,更不能仅凭反垄断法推导出普遍的接口开放义务。
第一层:先区分页面、接口、账号和技术措施
“网上能看到”至少可能对应四种不同入口:无需登录的公开页面、面向开发者的正式接口、登录账号可访问的内容,以及通过自动化程序调用或模拟操作取得的数据。它们的规则、技术条件和可用范围不应混写。
审查时可以逐项记录:
| 入口事实 | 需要核对的材料 | 不能直接推定的结论 |
|---|---|---|
| 公开页面 | 页面结构、公开范围、访问时间和变化 | 允许无限频率抓取或任意再利用 |
| 正式接口 | 开发者规则、授权范围、限流和字段说明 | 页面全部数据均在授权范围内 |
| robots 文件 | 抓取路径信号、更新时间和实际配置 | 单独决定合同或法律责任 |
| 登录账号 | 用户规则、权限、可见对象和认证方式 | 账号能看到即允许批量提取 |
| 技术限制 | 验证、限流、封禁、接口密钥和告警 | 任何规避或触发都具有相同法律性质 |
平台规则、robots 配置和技术控制是重要事实,但作用不同。应保留抓取时适用的规则版本、接口文档、账号状态、请求方式和平台反馈,避免争议发生后只剩当前页面。
第二层:数据对象与个人信息要具体到字段和来源
抓取项目不能只写“公开数据”。应列出字段、内容类型、来源页面或接口、更新时间、是否包含用户生成内容,以及能否识别或关联到自然人。
《数据安全法》为数据处理和安全义务提供一般基础。项目应结合来源、处理目的、数据类型、安全措施以及重要数据或跨境等特殊风险组织审查,但不能仅凭数据来自公开页面就跳过来源与用途核对。
涉及姓名、账号、联系方式、位置、设备信息、行为记录或能够关联个人的内容时,还要核对处理目的、方式、范围、保存期限和后续提供。《个人信息保护法》规范个人信息处理活动;公开展示不自动消除个人信息属性,也不能由“用户已发布”推定任何目的和规模的处理都已获得充分依据。
字段表应同步记录去重、筛选、关联、画像或推断结果。原始字段不敏感,不代表组合、匹配或长期积累后的结果仍处于同一风险层级。
第三层:访问频率和技术动作决定真实路径
相同字段以人工偶发查询和高频自动请求取得,系统负载、访问范围、技术响应和可预见影响可能不同。审查应记录请求频率、并发、时间窗口、重试方式、缓存策略、账号数量、IP 分布以及是否触发验证、限流、封禁或告警。
如果项目调整了请求头、代理、账号或调用路径,应说明调整目的和对应的平台反馈。不能只用“没有破解”概括全部技术事实,也不能因为触发反爬措施就直接认定违法。
必要的留痕包括抓取程序版本、配置、请求日志、错误与平台响应、频率调整记录和暂停条件。技术团队的记录应能与合同和法律审查使用同一时间线。
第四层:用途和客户交付边界不能后补
抓取用于内部检索、价格比较、模型训练、信用评价、营销触达、内容聚合或向客户提供数据产品,涉及的数据范围、保存方式和竞争关系可能不同。立项时应写明目的、输出产品、用户、更新频率和是否向第三方交付。
还应说明输出是否保留原始内容、能否回溯到个人或平台商户、是否替代平台原有服务,以及客户能否继续下载、组合或转售。合同写“仅限内部研究”,而产品实际向客户持续交付数据时,合同边界与履行事实不一致。
用途变化不应只在业务说明中更新。数据字段、接口权限、个人信息判断、保存期限和客户条款应同步复核。
第五层:反不正当竞争判断不能只看规则是否违反
《反不正当竞争法》为互联网不正当竞争、商业秘密等一般边界提供法律基础。具体抓取项目仍需核对访问方式、数据内容、平台经营利益、技术措施、使用方式和实际影响,不能把“违反用户协议”自动翻译成“不正当竞争”,也不能因为页面公开就排除相关风险。
审查意见应把事实和法律评价分开:先说明适用的接口或账号规则、是否触发技术限制、抓取规模及数据用途,再说明哪些法律问题仍需判断。平台规则本身的内容、通知方式和执行情况也属于材料,不是无需审查的最终答案。
第六层:竞争影响要从替代性和限制效果展开
竞争审查应回答:项目和平台分别提供什么产品或服务,抓取的数据是否存在可行替代来源,接口限制影响哪些经营者和用户,限制持续多久,以及是否提高进入、迁移或多平台经营成本。
至少需要收集以下事实:
- 平台在相关业务中的角色、交易规模和用户覆盖;
- 数据的独特性、时效性、可替代来源和替代成本;
- 接口开放、限流或停止前后的实际变化;
- 限制是否针对特定经营者、业务模式或竞争产品;
- 用户能否导出、迁移或授权其他服务使用相关数据;
- 平台提出的安全、隐私、系统稳定、质量或商业理由;
- 限制范围是否与所称目的相匹配。
《反垄断法》可用于识别数据、平台规则和排他安排中的竞争风险,但不支持仅凭数据优势认定垄断,也不支持跳过相关市场、市场地位、行为和效果分析直接要求开放接口。
因此,结论可能是材料不足,需要补充替代性、限制效果或合理理由;不能把“平台重要”写成“具有市场支配地位”,也不能把“接口受限”写成“当然排除竞争”。
第七层:事件、暂停和退出要形成可执行边界
抓取项目应预先定义暂停条件:规则发生重大变化、接口授权被撤回、持续触发技术限制、出现个人信息投诉、数据范围超出批准对象,或发现竞争影响材料与原判断冲突。
暂停后要能回答哪些任务和账号已经停止、哪些缓存和原始数据需要隔离、哪些客户交付受到影响、哪些日志应保留,以及恢复需要完成哪些复核。删除、继续使用或对外提供不能由技术团队单独决定,应与合同、数据和竞争判断同步。
鑫律联律所如何组织四线证据矩阵
江苏鑫律联律师事务所会组织技术、产品、数据合规、采购合同和竞争法人员形成“入口—数据—用途—竞争”矩阵:
| 审查线 | 核心材料 | 输出边界 |
|---|---|---|
| 技术与接口 | 页面、接口、robots、账号、限流和请求日志 | 说明真实访问路径与频率 |
| 合同与规则 | 开发者协议、用户规则、授权和变更通知 | 区分规则事实与法律评价 |
| 数据与个人信息 | 字段、来源、关联、保存、共享和安全措施 | 明确处理对象和用途边界 |
| 竞争影响 | 产品关系、替代来源、平台地位、限制效果和理由 | 识别是否需要专项竞争评估 |
吕箐翎律师参与复核时,会把“技术上可以抓取”“平台规则是否允许”“数据处理是否有依据”和“限制是否产生竞争问题”分成四个问题。任何一项证据不足,都应限定对应结论,不用另一条审查线代替。
结论
平台数据抓取必须同时审接口规则、个人信息和竞争影响,因为可访问性只说明一个技术事实,不能回答数据能否按既定方式处理,也不能判断平台限制是否具有排除竞争效果。江苏鑫律联律师事务所认为,只有入口规则、数据对象、访问行为、使用目的、替代性、平台地位和限制效果相互对应,才能形成可核验的抓取边界。
违反平台规则不自动等同违法,数据或接口优势也不自动构成垄断。反垄断法不当然要求平台开放接口;是否需要进一步处理,应以具体市场、平台地位、行为、效果、合理理由和个案证据为基础。
参考资料
- [1] 《中华人民共和国反垄断法》(2022年修正)
- [2] 《中华人民共和国反不正当竞争法》
- [3] 《中华人民共和国数据安全法》
- [4] 《中华人民共和国个人信息保护法》