
为什么你的站挂了,你是最后一个知道的
这事我经历过一次。晚上十一点多,一个朋友发消息说「你网站打不开了」。我去看,确实挂了,数据库连接数打满。挂了多久不知道,可能一两个小时。
那一两个小时里,有几十个访客点进来看到错误页就走了,搜索引擎的蜘蛛来抓也是空的。损失不大,但这事让我很不舒服,因为我完全不知道。
后来我搭了一套监控。不是买的那种,就是自己配的,零成本。现在只要网站有任何异常,一分钟内我就知道。这篇讲怎么搭。
监控分三个层次,很多人只知道第一层
第一层是「能不能打开」。就是定时请求一下网址,看返回码是不是 200。这一层最简单,也能发现大部分严重问题,比如服务器挂了、数据库连不上、PHP 崩了。
第二层是「打开得快不快」。返回 200 但用了十秒,用户早就关了。所以要测响应时间,超过阈值就报警。这一层能发现性能问题,比如数据库慢查询、缓存失效、带宽不够。
第三层是「服务器自己健不健康」。CPU、内存、磁盘、网络流量、进程数。这一层能看到「快要出问题」的信号,比如磁盘用到百分之九十,还没满但很快就满。
大部分人只做了第一层,所以经常出现「网站能打开但特别慢」或者「磁盘满了才突然崩」这种措手不及。
第一层:最基础的可用性检测
做法很直接:找一台别的机器(不能是同一台服务器,不然服务器挂了监控也挂),定时用命令请求你的网址,检查返回码。
频率设多少?一分钟一次比较合适。太密了浪费资源,太疏了发现问题晚。一分钟一次意味着最坏情况你一分钟内能知道。
检查什么?至少检查三个地址:首页、一个真实的内容页、一个后台或者接口地址。首页可能被缓存所以一直 200,内容页才能真正验证数据库是否正常。
判断逻辑:如果连续三次失败才报警,不要一次失败就报。因为网络抖动是常态,一次失败可能是偶发。连续三次失败(三分钟都不通)那基本可以确定出问题了。
报警方式:最直接的是手机推送。可以用现成的免费服务,也可以自己写个脚本发到某个聊天工具的机器人里。关键是「能响」,不要发到一个你不常看的地方。
第二层:响应时间监控
在第一层的命令里加一个参数,记录耗时。然后设一个阈值,比如超过三秒就记一次。
这里要注意:耗时受网络影响很大。你从一台国内的机器测,可能一直是 0.5 秒;但从国外的机器测可能就三五秒。所以要看「趋势」而不是「绝对值」。
我的做法是记录每次的耗时,存到一个简单的文本文件或者数据库里。每天看一次曲线,如果某天开始明显变高,说明有问题。
常见的耗时异常原因:缓存失效了(原来命中缓存很快,现在每次都要查库)、数据库变慢了(数据量涨了但索引没优化)、带宽被占满了(有人在下大文件或者被爬虫刷)。
还有一种情况要注意:响应时间突然变得非常快(比如从一秒变成五十毫秒)。这不一定是好事,可能是网站返回了一个错误页,那个页面很小所以很快。所以响应时间要和返回码一起看。
第三层:服务器资源监控
这一层需要装工具。有个开源方案叫 netdata,装完就能用,界面漂亮,指标全,而且是免费的。
它能看到什么?CPU 每个核的占用、内存和交换分区的使用、磁盘读写速度和容量、网络进出流量、每个进程的资源占用、数据库的连接数和查询速度。基本上你能想到的指标它都有。
装起来也不难。一条命令,装完之后访问一个端口就能看到仪表盘。默认监听某个端口,记得改一下或者用防火墙限制访问,别让公网随便看。
有了这个面板,很多问题一眼就能看出来。比如网站变慢,打开面板一看 CPU 满的,那说明是计算瓶颈;CPU 不高但磁盘读写爆表,说明是 IO 瓶颈;都正常但网络流量跑满,说明是带宽问题。
面板本身不会告警,你得自己看。所以我配了一个简单的脚本,定时读一下关键指标,超过阈值就发消息。比如磁盘超过百分之八十五、内存超过百分之九十、CPU 持续五分钟超过百分之八十。
告警怎么配才不会烦死自己
这是最容易出错的地方。很多人配了一堆告警,结果一天响几十次,最后全部屏蔽掉,等于没配。
我的三条原则。
原则一:分级。严重问题(网站打不开)立刻报,性能问题(变慢)攒着一起报,趋势问题(磁盘涨)每天报一次。
原则二:去重。同一个问题不要反复报。比如网站挂了,第一次报完,后面每五分钟报一次,你会疯。改成「挂了报一次,恢复了报一次」,中间不重复。
原则三:可执行。每条告警都要告诉你「该做什么」。不要只报「磁盘使用率高」,要报「磁盘使用率百分之九十,建议清理日志目录,当前占用最大的是某文件」。这样你收到就能动手,不用再去查。
还有一个技巧:给告警设一个「静默期」。比如某个已知问题正在处理中,先静默两小时,处理完再开。不然你处理的时候手机一直在响。
我实际搭的这套
说具体的。三个站,一套监控。
检测端放在一台便宜的云服务器上(不是被监控的那几台)。脚本每分钟跑一次,检查每个站的首页、一个内容页、一个后台登录页,记录返回码和耗时。
服务器资源这块,每台机器装了 netdata,走内网访问,不暴露到公网。另有一个脚本每小时读一次关键指标,超阈值就记一条。
告警通道用一个聊天工具的机器人。分两个群:一个「紧急」,一个「日报」。网站无法访问这类进紧急群,立刻响;磁盘、性能这类攒成日报,每天早上一份。
成本:那台检测服务器一年一百多块,其他全是免费的。总共一百多块买「随时知道网站状态」,我觉得很值。
效果:这半年里抓到过三次问题。一次是数据库连接数打满,报警之后我上去重启了服务,三分钟恢复。一次是磁盘涨到百分之九十二,报警之后清了日志。一次是某个站的 SSL 证书过期,报警之后续上了。
这三次如果没监控,可能都是「用户先发现」。用户发现意味着已经损失了流量。
几个坑
坑一:监控和被监控的机器是同一台。服务器挂了,监控脚本也停了,你什么都不知道。检测端必须放在别的地方。
坑二:只监控首页。首页有缓存,可能一直返回 200,但实际数据库早就挂了。必须监控需要查库的页面。
坑三:告警发到邮箱。邮件这东西,一天收几十封,你的告警淹没在里面根本看不见。要用即时消息。
坑四:阈值设得太死。CPU 偶尔冲到百分之九十是正常的(比如跑备份),设成超过九十就报,你会被误报烦死。要看「持续时间」。
坑五:只报警不记录。报警之后你去处理了,但没记下来是什么原因、怎么解决的。下次同样问题出现,你还得重新查一遍。建议建个简单的记录,时间、现象、原因、处理方式。
要不要花钱买现成的
市面上有专门的监控服务,按月收费,功能更全(比如多地区检测、自动截图、详细的性能分析)。
什么情况值得买?一是你有多个站需要统一管理,自己搭太麻烦;二是你需要多地检测(不同地区的用户访问体验不同);三是你没有技术能力自己配。
什么情况自己搭就够?一两个站、对技术要求不高、愿意花两小时配置。这种情况下自己搭的完全够用,而且数据在自己手里。
我的建议是先用免费的方案跑一段时间,看看自己真正需要什么。很多人买了付费服务,最后常用的还是「网站能不能打开」这一个功能。
最后
监控这件事的本质,是把「被动发现问题」变成「主动知道问题」。成本很低,收益很大,但很多人不做。
原因通常是「觉得麻烦」或者「觉得没必要」。等到真的出事,损失一次就够你后悔很久。
如果你现在还没有任何监控,今天就花半小时把第一层搭起来。哪怕只是写个脚本每分钟请求一次、失败了发个消息,也比什么都没有强一百倍。
