星图导航
首页 文章 排行榜 申请收录 友链申请 关于
首页 / 文章资讯 / 源码资源 / 网站防采集和防爬:该做到什么程度

网站防采集和防爬:该做到什么程度

星图导航配图

很多人第一次起念头要防爬,都是被某个具体的事刺激到的。可能是某天早上打开宝塔面板,发现带宽图飙成一条直线,一个月流量三天就跑完了一半;可能是数据库里突然多出几万条一模一样的注册记录;也可能是在别的站上看见自己昨天刚写的文章,标题一个字没改,正文连错别字都一样,只是把作者名换成了别人。这三种情况的元凶完全不一样,但新手最容易犯的错,是把它们当成同一件事,然后一把梭把所有爬虫都挡在门外,结果连百度蜘蛛一起挡了,从此收录一路往下掉。所以在动手之前,得先把爬虫分成三类,分别对待,这是所有防爬方案的地基。

第一类是搜索引擎的蜘蛛,百度、必应、谷歌、搜狗、神马、头条这些。它们是你的客人,不是敌人。你的站能不能被人搜到,全靠它们定期来抓。这类蜘蛛有几个明显的特征:访问频率有节制,一般遵守 crawl-delay 的约定,不会一秒钟来几百个请求;User-Agent 里带自己的品牌标识,虽然这个可以伪造,但正规的都带;来源 IP 是固定的地址段,可以反查确认。第二类是同行或者内容贩子的采集器,这是你真正要防的。它们的目标很明确,就是把你的内容整站搬走,换个壳变成自己的,所以特点是并发高、抓得深、专挑列表页和详情页、抓完就走、下次换个 IP 又来。第三类是纯粹的恶意扫描,扫后台、扫备份文件、扫配置文件、扫漏洞,它们对你的内容毫无兴趣,只是想找一个能进去的口子。开头的 error.log 里那些主脚本不存在的报错、目录索引被禁的报错,基本都来自这一类。

分清楚之后,识别手段其实不难,成本最低的就是看日志。nginx 的 access.log 里每一行都有 IP、时间、请求路径、状态码、User-Agent、流量大小。你不用写什么复杂的分析程序,直接在服务器上跑几条命令就能看出门道。比如按 IP 统计请求数排个序,前几名如果一天来了几千次,基本可以确定是爬虫;比如按 User-Agent 统计,如果出现某个 UA 一天抓了几万次,而它又不属于任何搜索引擎,那就是采集器;再比如看请求路径的规律,正常用户是一页一页顺着点,中间会夹杂图片、CSS、JS 这些静态资源请求,而采集器往往只抓 HTML 页面,静态资源一律不要,请求路径单调得可疑。还有一个很好用的特征,看访问的时间分布,正常访客是白天多晚上少,采集器是二十四小时匀速,凌晨三点还在稳定每分钟来几十个。

防护手段要分层做,从轻到重,一层挡不住再上下一层,千万别一上来就用最重的那一层。最轻的一层是 robots.txt,写上 Disallow 规则,说明哪些目录不让抓。但必须清楚,robots 是君子协定,搜索引擎会看,采集器根本不理这玩意儿,它的价值只在于把正规蜘蛛引导到你希望它抓的页面,同时顺手屏蔽一些不该被收录的后台路径。第二层是 nginx 层面的 UA 和 IP 过滤,把确认的采集器 UA 用 if 判断返回 403,把固定的恶意 IP 段用 deny 挡掉,这一层开销极小,几乎不影响性能。第三层是频率限制,nginx 的 limit_req 模块可以按 IP 做令牌桶限速,比如设定每个 IP 每分钟最多三十个请求,超过就返回 503,这一层对采集器杀伤最大,因为它就是靠高频取胜的,同时正常用户几乎碰不到这个上限。第四层才轮到动态手段,比如关键页面加验证码、登录后才能看全文、内容延迟显示,这些会影响体验,只在确实被盯上时才用。第五层是上 CDN 或者 WAF,把清洗放到边缘节点,这一层要花钱,个人站除非被打得很惨,一般用不上。

比学会怎么防更重要的,是知道防过头的代价。最常见的翻车就是把百度蜘蛛挡了,有的是在 nginx 里一刀切把空 UA 全部拒绝,结果百度的某些抓取节点 UA 就是空的;有的是把某个 IP 段整段封了,而这个段里恰好有搜索引擎的节点;有的是把频率限制设得太狠,比如每分钟五个请求,正常蜘蛛来抓一个列表页加十篇文章,瞬间就被打成 503,抓两次失败它就不来了,你的新文章从此没人知道。第二种翻车是把 RSS 和 sitemap 关了,觉得这是给采集器送菜,实际上这两个是搜索引擎发现新内容最快的入口,关了等于自断经脉。第三种翻车是给图片加防盗链加得太死,连搜索引擎的图片搜索都挡了,白白丢掉一块流量来源。所以任何防护上线之前,都要先想清楚白名单怎么写,把主流搜索引擎的 UA 和 IP 段放行,这是不能省的步骤。

落到个人小站的实际场景,我的建议是把力气花在频率限制上,别去搞重型方案。理由很实在:个人站的流量本来就不大,被大规模采集的概率其实不高,真正让人难受的是那些低频但持续的扫描和零散的搬运,这些用 limit_req 加几条 UA 规则就能压住,一台一核一G的机器完全扛得住。配置的时候有几个细节要注意,limit_req 的 burst 值别设太小,否则正常用户连续点几个页面也会被拦;日志要留,被拦的请求记到一个单独的日志文件里,隔几天翻一次,看是不是误伤了正经访客;规则要备份,每次改动前把 nginx 配置复制一份,改错了能马上回滚,这个习惯能救你好几次。至于那种专业级的对抗,比如对方用几千个代理 IP 分布式抓取,那不是个人站该操心的战场,真遇到了,正确做法是把内容价值转移到别的地方,比如把核心内容做成图片、做成需要登录才能看的会员内容,而不是在服务器上跟人拼带宽。

最后说一句容易被忽略的话:防爬的本质不是技术对抗,而是成本博弈。你不需要让采集器完全抓不到,你只需要让它抓你的成本高于抓别人的成本。一个站如果做了频率限制、做了 UA 过滤、把关键数据放在接口后面、图片加了水印,采集器一算账,觉得不如去抓隔壁那个裸奔的站,它就走了。反过来,如果你把所有精力都放在研究怎么封 IP,而内容本身没有任何壁垒,那这场仗永远打不完,因为搬运你的内容几乎不需要成本。把这个逻辑想明白,你就不会陷进无休止的封 IP 循环里,也不会为了防爬把自己的站防成一座孤岛。