星图导航
首页 文章 排行榜 申请收录 友链申请 关于
首页 / 文章资讯 / 源码资源 / 网站日志分析:从 access.log 里能看出什么

网站日志分析:从 access.log 里能看出什么

星图导航配图

大部分站长对 nginx 的 access.log 是完全无视的,文件躺在那里一天天变大,偶尔占满硬盘了才想起来清一下。这其实浪费了一座金矿。access.log 记录的是每一次访问的完整信息,谁的请求、什么时间、要了什么、结果如何、传了多少数据,全在里面写着。搜索引擎官方后台给你的是汇总数据,第三方工具给你的是估算数据,只有日志给你的是原始事实。这篇文章讲清楚这份日志里到底能挖出什么,以及具体怎么挖,不需要写复杂的程序,几条命令就能看到平时看不到的东西。

先搞清楚日志里每一段是什么意思,这是所有分析的基础。nginx 的默认格式大概长这样:客户端 IP、访问时间、请求方法和路径、协议版本、状态码、响应大小、来源页面、User-Agent。这八段里,最有价值的是四处。第一处是客户端 IP,它是判断来源的唯一依据;第二处是请求路径,它告诉你用户在找什么;第三处是状态码,它告诉你这次请求是成功还是失败;第四处是 User-Agent,它告诉你来的是人还是机器。响应大小和来源页面的价值次之,前者用来算流量,后者用来分析用户从哪儿跳过来。把这四处看明白,就已经能做出大部分有价值的分析。

第一件能挖出来的事,是搜索引擎蜘蛛的抓取情况,这是对做站最有价值的一项。日志里蜘蛛的特征很明显,User-Agent 里带百度、必应、谷歌、搜狗、神马这些标识。统计方法很简单,把日志里所有带蜘蛛标识的行筛出来,按天统计数量,就能看到抓取趋势。更进一步,可以按路径统计,看蜘蛛重点抓了哪些页面、哪些页面从来不抓。如果一个页面内容不错但从来没被抓过,要么是入口太深(内链层级太多),要么是 robots 屏蔽了,要么是它根本不在 sitemap 里。这些发现比在后台看索引量要具体得多,因为你能直接定位到具体页面。

第二件能挖出来的事,是抓取错误。状态码里凡是四零几和五零几的,都在告诉你问题。四零四意味着页面不存在,可能是链接写错了、可能是文章被删了但链接还在、可能是被采集器猜路径猜错。五零几意味着服务器出错,可能是 PHP 超时、可能是数据库连接失败、也可能是并发太高顶不住。重点关注蜘蛛请求里的错误,因为蜘蛛抓取失败会直接影响收录。判断方法很简单,筛出蜘蛛的请求,再看状态码分布,如果四零四和五零几占了明显比例,那你的站有技术问题在影响 SEO,优先级要排到最前面。

第三件能挖出来的事,是真实的流量来源结构。日志里能看到每一个请求来自哪个 IP、哪个来源页面。把这些数据聚合一下,能得出几个结论:哪些页面是真正的流量入口(被访问最多)、哪些页面的跳出率高(访问了就走了)、外部链接主要来自哪里、有没有异常的大量请求指向同一个页面。第四件是异常流量和攻击。日志里那些请求奇怪路径的行,比如访问后台登录页、访问备份文件、访问配置文件、访问各种探测路径,都是扫描器在试探。这些请求的特点是一次性、路径奇怪、User-Agent 可疑。它们不代表你的站被攻破了,但能提醒你哪些路径正在被人盯着。

接下来说具体的操作。你不需要写代码,在服务器上跑几条命令就够。第一条,统计今天有多少次蜘蛛抓取,按引擎分开:用 grep 筛出蜘蛛标识,再用 awk 提取字段,最后用 sort 和 uniq 计数,一行命令能出结果。第二条,找出访问量最大的前二十个 IP,用 awk 提取第一列,排序计数,看有没有异常高的。第三条,统计状态码分布,同样是一行命令。第四条,找出被访问最多的二十个路径,这能告诉你哪些内容最受欢迎。第五条,筛选出所有四零四和五零几的请求,看看是哪些页面出的问题。这几条命令都不长,跑一次几秒钟,但信息量很大。

除了这些即时查询,更值得做的是定期分析。建议每周固定做一次,把这一周的日志汇总一下,重点看四个指标的变化趋势:蜘蛛抓取总量、抓取错误率、来自搜索引擎的访问量、异常请求数量。这四个指标如果有明显变化,就是信号。比如蜘蛛抓取量突然下降,可能是站点出现了技术问题;比如错误率上升,可能是某个页面开始报错;比如来自搜索引擎的访问量涨了,说明收录在生效。把这些数据存成一张表,一个月下来就能看出趋势,比每天盯着数字瞎猜有效得多。

还有几个实用的细节。第一,日志要轮转,不要让它无限增长,nginx 可以配置按天切割,宝塔面板里也有现成的设置,切完之后老日志压缩存档,保留一个月左右就够,太老的日志没有分析价值还占空间。第二,日志里的 IP 不要直接公开,涉及隐私,自己分析就行。第三,如果站点用了 CDN,日志里记录的会是 CDN 节点的 IP 而不是真实用户 IP,这时候要在 nginx 配置里加上真实 IP 的获取规则,从 CDN 传来的头部里解析,否则所有统计都会失真,看起来像是几个 IP 在疯狂访问。这个坑用了 CDN 的人几乎都踩过。第四,日志分析工具是可选的,有现成的开源方案能出图表,但如果你的站访问量不大,用命令行就够了,装一套工具反而增加维护成本。

最后说一句:日志分析的价值不在于看到多少数据,而在于从数据里发现那个异常的点。一堆正常的数字看下去什么也得不到,但如果你知道正常情况下每天蜘蛛来三百次,今天只有三十次,那这个落差就是你要追的线索。所以做日志分析之前,先花一周时间把"正常"的基线建立起来,之后所有的判断都相对这个基线来做。这比任何工具都重要。