
做站的人几乎都碰过采集。有人采集别人的文章充实自己的站,有人采集竞品价格做比价,有人采集目录信息做导航站。采集本身不违法,但越界的方式很多,而且很多人是在出事后才知道自己越界了。这篇文章讲清楚边界在哪,哪些能做、哪些别碰、以及怎么降低风险。
先分清三件事:抓取、存储、使用
很多人把这三件事混成一件,其实它们的风险完全不同。
抓取,是指你访问对方网站、把页面内容读回来。这一步的风险主要来自对方的技术措施和服务条款。
存储,是指你把抓回来的内容存到自己服务器上。这一步涉及复制,可能涉及著作权。
使用,是指你把这些内容加工、发布、商用。这一步风险最高,因为直接涉及别人的权益。
所以一个操作可能"抓取没问题、使用有问题"。比如你抓了公开页面的数据用来做统计分析,不对外发布,风险很低;但如果你把抓来的文章直接发到自己站上,问题就来了。
技术上不该碰的四条线
第一条,绕过访问控制。对方设了登录才能看,你硬要抓,这属于突破技术措施。
第二条,无视 robots 协议。robots 是网站明示的抓取规则,写明了哪些目录不许抓。商业用途下无视它,风险很高。
第三条,高频请求造成对方服务压力。一秒几十次请求,把人家服务器压垮,这不叫采集,叫攻击。
第四条,抓取明确标注禁止抓取的数据。有些站会在用户协议里写明"禁止爬取",这就是明示拒绝。
这四条是硬线。踩了其中任何一条,麻烦就不只是"被封锁 IP"这么简单。
内容层面:哪些能采、哪些不能
这里说的是采回来之后怎么用,比技术层面更关键。
可以做的:
采集公开的目录信息,比如站点名称、网址、简介,用于做导航或者索引。这类信息本身独创性很低,通常不构成作品。
采集公开数据做统计分析,比如价格分布、关键词热度,得出的是你自己的结论,不是复制别人的表达。
采集后做实质性改写,形成全新的表达。注意"实质性"三个字,换几个词、调一下语序不算改写。
不建议做的:
整篇复制别人的文章发布。哪怕改了标题、换了几张图,正文还是别人的,这就属于复制。
采集付费内容再免费发布。这类风险最高,因为直接损害了对方的核心利益。
采集他人图片直接使用。图片的著作权保护比文字更严格,很多人栽在图片上。
采集用户个人信息。这个不只是著作权问题,涉及个人信息保护,性质和前几项完全不同。
AI 采集的特殊风险
用 AI 做采集,多了两个新问题。
第一个,AI 会把采集来的内容"洗"一遍,看起来是新的,但实质还是别人的。这种"洗稿"在判定上仍然可能构成侵权,而且更隐蔽,一旦被认定为洗稿,性质比直接复制更差。
第二个,AI 生成的内容可能夹带训练数据里的原文片段。你以为是原创,实际是记忆复现。这种内容发布出去,等于替别人背书,还可能惹上版权问题。
所以用 AI 处理采集内容时,最安全的做法是:只让 AI 处理结构化数据(数字、名称、分类),不让它处理大段文字表达。
被找上门时会发生什么
常见的处理路径有三层。
第一层,技术封锁。对方封 IP、加验证码、改页面结构。这是最常见的,成本最低。
第二层,平台投诉。对方通过搜索引擎投诉你,导致你的页面被下架、站点被降权。这个损失比封 IP 大得多。
第三层,法律途径。对方发函要求删除,或者直接起诉索赔。走到这一步,通常是因为你采的是有商业价值的内容,或者采的量很大。
大多数情况停在前两层,但第三层的成本最高,一次可能抵掉几年收入。所以判断风险时,要按最坏情况算。
降低风险的五条实操
第一条,先看 robots 和用户协议。这一步花两分钟,能避开大部分坑。
第二条,控制频率。加延时、限并发,模拟人的访问节奏。一秒一次已经很客气了,不要一秒几十次。
第三条,只采结构化字段,不采大段文字。需要的是名称、链接、分类、参数,就不要把描述全文搬过来。
第四条,采回来必须实质性改写,并且加入自己的内容。判断标准是:把原文和你的版本放在一起,能不能看出是同一篇。
第五条,留下采集记录。什么时候采的、采了什么、怎么用的。真出问题时,这些记录能证明你的使用范围。
工具选择上也有讲究
用什么样的工具采集,会直接影响你踩线的概率。有些工具默认就是高频并发、不读 robots、自动绕过验证码,这类工具用起来爽,但等于把风险打包送给你。相对稳妥的做法是:选支持自定义延时和并发的工具,让它慢下来;关掉自动重试和自动绕验证码的功能;把 robots 解析打开,让它自己跳过禁止目录。这些都是配置里的选项,不是技术难题,只是很多人图快全关了。慢一点不会少赚多少,快一点可能一次就把事做绝了。
一个实际的判断方法
拿不准的时候,问自己三个问题。
第一个,如果对方站长发现在我这么做,他会怎么反应?如果他只是不高兴但不会做什么,风险低;如果他会投诉、会发函,风险高。
第二个,我这么做,是不是在替代对方的产品?如果用户看了我的站就不需要去对方站了,那就是实质性替代,风险最高。
第三个,如果这件事上了新闻,我能不能解释得通?这个测试很土,但很有效。
采集这件事,技术上不难,难的是判断分寸。分寸感来自对自己行为的诚实评估,不是来自找漏洞。
