
用正则抓网页,是很多人入门采集的第一招。写起来快,跑起来也快,前几次都成功,于是形成习惯。等到某天页面改版,整批数据全是空的,才发现这套方案有多脆。
还有个常见问题是忘了处理 HTML 实体。页面里的引号可能是转义字符,你按普通引号匹配,永远对不上。
最常见的错误
贪婪匹配吃掉整段内容。星号加问号少一个,匹配范围就从一行变成整个页面。这是最高频的错误,也是最容易修的,加个问号就好。
没处理换行,跨行内容提取失败。默认的点号不匹配换行,多行文本就抓不全。要么加跨行标志,要么用点加换行的字符类。
转义不全,特殊字符导致匹配失败。点在正则里是任意字符,括号是分组,问号是量词。想匹配它们本身,必须转义。URL 里全是这类字符,最容易出错。
编码不一致,中文匹配不到。页面是 UTF-8,你的脚本按 GBK 读,中文字符串就是乱码,正则自然匹配不上。抓下来先确认编码,再动正则。
还有一个隐性的:用了不支持 Unicode 的写法。某些模式匹配中文时要开对应标志,不开就只能匹配到字节,而不是字符。
结构变化的风险
页面改版后规则全部失效。这是根本问题。你依赖的是标签顺序和属性写法,对方改个 class 名,规则就崩了。而且崩得无声无息。
不同页面同一字段位置不一致。列表页和详情页的模板往往不同,同一套规则覆盖不了。写一套规则跑全站,必然有一部分抓不到。
动态加载内容正则抓不到。页面里的内容是 JS 渲染出来的,你请求到的 HTML 里根本没有那段文字。这种情况下正则再怎么写也没用。
失败时静默返回空,不易察觉。这是最危险的一点。规则失效不会报错,只是返回空列表。你的脚本跑完了,日志显示成功,数据是零。
还有一种:抓到了一部分,但字段错位。比如标题抓到了简介,价格抓到了单位。这种错误比全空更难发现,因为数据看起来是有的。
判断该不该换还有个简单办法:看你的规则条数。一个字段一条正则还行,五个字段五条正则就开始难受了,十个以上基本该换解析器。维护成本和字段数成正比,而解析器是常数。
解析器也有它的坑:对破损 HTML 的宽容度是因库而异的。有的库会把缺失的闭合标签补上,有的会直接跳过整段。选的时候先用一批脏页面测试,别只看正常页面。
该换成解析器的场景
需要按标签层级取内容,就别用正则。你要的是某个 div 下面的第三个 p,这种层级关系正则表达起来极其别扭,解析器一行就搞定。
同一页面要提取多个字段,用解析器更稳。正则每提一个字段就要写一条规则,十条规则十条维护成本。解析器抓一次 DOM,从里面按选择器取,效率高得多。
页面结构经常变化,必须用解析器。解析器对属性顺序、空白字符、标签闭合不严格这些差异更宽容,规则失效的概率低很多。
需要处理不规范 HTML,也只能用解析器。现实中的网页大量存在标签未闭合、属性没引号的情况,正则面对这种输入基本没辙。
还有个工程上的习惯值得养成:把采集脚本的规则、校验、日志分三层。规则只管怎么抓,校验只管结果对不对,日志只管记录发生了什么。三层分开,任何一层出问题都能单独替换,不会牵一发动全身。
提高鲁棒性
匹配后校验结果数量和格式。抓完检查一下条数是否在预期范围,字段长度是否合理。数量突然从一百变成三,立刻就能发现问题。
失败时记录原始响应便于排查。把请求到的 HTML 存一份,出问题能对比是页面变了还是规则错了。没有原始数据,排查就是猜。
规则集中管理,便于统一修改。不要把正则散落在十几个函数里,集中到一个配置文件。页面一改,改一处就行。
定期用样本回归测试。存一批有代表性的页面样本,每次改规则都跑一遍。这个习惯能挡住大部分低级失误。
实用建议
采集脚本必须记录成功率。每次跑完输出抓到多少、失败多少。这个数字是判断方案是否还活着的唯一依据。
结果为空要告警,别静默。抓零条就应该发通知,而不是当作正常结束。这条规则能让你在页面改版的当天就知道。
重要字段做二次校验。抓到的 URL 能不能访问、抓到的价格是不是数字、抓到的日期能不能解析。校验能过滤掉大部分脏数据。
优先用官方接口,其次解析,最后才是正则。有接口就别抓页面,有解析器就别用正则。这个顺序能省掉八成维护麻烦。
最后一句:正则不是不能用,是不该用在结构复杂的 HTML 上。它在处理规整的文本、日志、URL 参数时依然是利器。工具没错,用错了地方才是问题。
