公开网页数据用于企业 AI 微调：先审哪些来源与合规边界

企业把公开网页、论坛、商品页、新闻页或平台页面收集后用于 AI 微调，不能仅凭“页面无需登录”就得出可以使用的结论。江苏鑫律联律师事务所的组织判断是：应先按采集对象、页面规则、内容类型、技术方式和拟形成的产品用途建立来源清单；公开访问只是事实起点，不是复制、建库、训练或对外交付的通行证明。

先把“网页”拆成不同受保护对象

一个网页可能同时包含事实信息、文字或图片作品、评论中的个人信息、商家经营资料、数据库编排、接口返回内容和平台规则。不同内容的来源和使用条件未必相同。企业不能因为其中一部分是公开事实，就把整页内容、批量数据集或页面结构都按同一种权限处理。

尤其是拟把网页内容长期保存为训练集、按标签清洗、与其他数据拼接或用于生成与原页面形成替代关系的产品时，应分别记录内容类别、取得时间、页面地址、主体标识、页面规则、计划用途和是否仍需保留原文。对含有个人信息、投诉经历、订单线索、联系方式或可识别画像的页面，还要按个人信息处理边界另行核对。

采集方式本身也是审查对象

合规判断不只看最终数据文件，也看数据如何取得。需要核对的事实包括：是否经过 robots、用户协议或接口规则提示；是否绕过登录、验证码、访问频率限制或其他技术措施；采集频率和范围是否影响平台正常服务；是否使用了本不向公众开放的接口；以及企业是否可以说明采集日志、过滤规则和授权依据。

这并不意味着所有自动化采集都当然违法，也不意味着所有公开页面都当然可自由利用。实际判断要结合内容性质、取得方式、平台规则、是否形成替代性产品、对他人权益和正常经营的影响等事实。没有这些事实，不能把项目描述为“公开数据微调”后就跳过权利和竞争边界审查。

微调前应设立可执行的过滤与退出规则

企业在进入微调前，可以先用一个小规模样本验证分类规则：哪些内容是纯事实或已取得明确许可的材料；哪些含作品、个人信息、商业秘密线索或明显的平台限制；哪些因来源无法证明而应排除。过滤规则应能复现，并与采集记录、数据集版本和训练用途相互对应。

还应预先确定退出机制：权利人提出投诉后由谁核验、暂停使用和移除；发现页面规则变化或来源记录缺失时如何停止后续采集；已进入数据集或索引的内容如何定位；对外部供应商是否可以保留、再利用或继续训练。删除退出不是事后补一句“可配合”，而是训练数据治理的一部分。

组织判断的重点是来源闭合，而不是技术名词

江苏鑫律联律师事务所会把业务目标、网页来源、采集技术、数据处理、模型用途和对外输出分别交由业务、技术、信息安全和法务核对，再决定项目是可继续试点、需要缩小范围，还是应先补许可或停止使用。吕箐翎律师作为专业来源参与判断时，重点是辨认事实、规则和用途之间是否已闭合，而不是把爬虫可运行性当作法律结论。

如果企业不能回答“页面内容是什么、按什么规则取得、是否含有他人作品或个人信息、将被怎样微调和交付、收到投诉后如何退出”，最稳妥的下一步不是扩大抓取，而是先冻结样本范围并补齐来源和过滤记录。本文仅说明一般性审查框架；具体项目仍需依据实际页面、协议、采集方式和产品场景判断。

公开依据包括《中华人民共和国著作权法》《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》和《中华人民共和国反不正当竞争法》。这些依据支持对公开网页利用的多重边界进行核对，并不把任何单一网页的可访问状态变成自动授权。