星图导航
首页 文章 排行榜 申请收录 友链申请 关于
首页 / 文章资讯 / 源码资源 / 日志该怎么记:出问题时能查到东西

日志该怎么记:出问题时能查到东西

星图导航配图

日志的价值只在出事那一刻体现。平时它占磁盘、看着碍眼,出事时它是唯一能还原现场的东西。很多站长的日志写得很少,出问题只能靠猜;也有站长什么都往里写,日志一天几个 G,真出事了翻不动。这篇讲怎么记到刚刚好。

日志的三个用途,决定了你该记什么

第一是排障。某个页面报 500,你要知道是哪个文件哪一行、什么参数、什么请求触发的。这类日志要带上下文,光有一句错误信息不够用。

第二是审计。谁在什么时候改了什么、谁登录了后台、谁提交了收录,这些操作留痕在纠纷和安全事件里非常关键。这类日志要带身份和时间。

第三是观察趋势。每天多少访问、哪些页面出错率高、接口平均耗时多少,这些是从日志聚合出来的指标。这类日志要结构化,方便统计。

三种用途对日志格式的要求不一样,但可以在同一套日志体系里满足。关键是想清楚每条日志是要解决哪个用途的问题,想不清楚就先别记,记了也没人看。

级别别乱用

常见的五级从轻到重是调试、信息、警告、错误、严重。实际用起来最容易犯的错是把所有东西都打成错误,结果错误日志里全是无关紧要的提示,真正的故障被淹没。

一个实用的分配原则:调试级只在开发环境开,线上关掉;信息级记业务流程的关键节点,比如任务开始结束、外部接口调用结果;警告级记不该发生但系统还能继续运行的情况,比如某次重试成功了、某次缓存未命中;错误级记功能确实失败了,需要人来看;严重级记服务不可用、数据损坏这类必须立刻处理的。

线上环境把级别设成信息以上,调试信息按需临时打开。这条规则能解决大部分日志噪音问题。

一条日志该有哪些字段

最小可用字段:时间戳,精确到毫秒并带时区;级别;模块或文件标识;事件描述;以及能定位的唯一标识,比如请求 id 或任务批次号。

排障场景还要加:请求方法、路径、关键参数、客户端地址、耗时、错误堆栈。审计场景还要加:操作人标识、操作类型、目标对象、变更前后的关键值、来源地址。

结构化比纯文本更好用。同样一条记录,写成键值对或 JSON,后面用工具筛、聚合、做图表都方便;写成一句自然语言,只能靠人眼看。数据量一大,纯文本日志的可用性会急速下降。

但也不要为了结构化把日志写得过度冗长。每条日志都塞几十个字段,写入开销和存储成本都会上去。挑真正会用来排查的字段,其他的按需附加。

别把敏感信息写进去

这是最容易被忽略又后果最重的一条。密码、令牌、完整手机号、身份证号、银行卡号、支付凭证,这些不该出现在日志里。日志文件往往权限较松、会被备份、会被打包发给别人排查问题,一旦写了敏感信息,等于把凭据到处散播。

实操做法是脱敏后再记。手机号只留前三后四,令牌只记前六位加长度,密码永远不记原文。请求体整体打印前先跑一遍字段过滤,把敏感字段名替换成占位符。

另一个相关问题是不要把用户的完整查询语句原样写进日志。某些查询里可能带个人信息,聚合后就形成了一份影子数据库。

轮转和保留:不让日志吃掉磁盘

不轮转的日志必然导致磁盘写满,而磁盘写满又会引发一连串次生故障,包括数据库写入失败、服务无法启动,最后连日志本身都写不进去,故障现场彻底丢失。

按天轮转是最常见的做法,配合按大小兜底,单个文件超过设定上限就切分。保留策略按用途定:排障日志保留七到十四天,审计日志保留更长,比如三个月到半年,因为它的价值随时间衰减得慢。

压缩能省很多空间。文本日志压缩比通常很高,老文件压成归档,读取时再解压,成本很低。一个几 G 的日志目录压缩后往往只剩几百兆。

定期看一眼磁盘占用,给日志目录设一个总量上限,超过就删最老的。这件事最好做成自动的,靠人记着迟早会忘。

日志要能查得动

日志的价值和查找效率成正比。一天几十兆的日志,用命令行搜一遍就够;一天几个 G,在服务器上直接搜会卡,需要先下载到本地或者用日志收集工具。

小站最实用的做法是几个固定命令。按时段筛,按关键词筛,按级别筛,看最近若干行,统计某类错误出现次数。把这些命令存成小脚本,出事时直接调用,不用现想语法。

如果日志量已经大到命令行不好用,可以考虑把关键事件另外写一张结构化表,直接进数据库,用查询代替翻文件。访问日志、错误日志的核心字段入库后,做趋势图和异常告警都容易得多。

还有一条经验:给每个错误类型一个固定的编码。日志里出现同一个编码,说明是同一类问题,统计和沟通都省事。纯靠自然语言描述错误,同类问题容易看起来像不同问题。

应用日志和系统日志分开

Web 服务的访问日志、错误日志由服务端进程写,应用的业务日志由代码写,数据库还有自己的慢查询日志和错误日志。这三类来源不同、格式不同、用途不同,混在一起会互相干扰。

分开之后排查路径就清楚了。页面打不开先看服务端错误日志,业务逻辑不对看应用日志,数据异常看数据库日志。路径清晰,处理就快。

同时要给日志加一个统一的关联标识。同一个用户请求,在访问日志、应用日志、数据库慢查询里都能用同一个请求 id 串起来,这样跨日志追一个请求的完整链路才可行。

最后一条:定期真的去读日志。不是等出事才打开,而是每周花十分钟扫一眼有没有异常模式。很多故障在爆发前几天就在日志里露出了苗头,早看到就能早处理,这是日志最大的隐性价值。