星图导航
首页 文章 排行榜 申请收录 友链申请 关于
首页 / 文章资讯 / 域名主机 / 服务器日志清理和磁盘管理:别让日志吃满硬盘

服务器日志清理和磁盘管理:别让日志吃满硬盘

星图导航配图

服务器磁盘满,是运维里最常见也最容易被忽略的故障。它不像 CPU 打满那样有明显的卡顿,而是悄悄地涨,涨到百分之百的那一刻,网站直接崩,数据库写不进去,面板也打不开。等你发现的时候,往往已经是深夜。

这篇讲清楚三件事:日志为什么会吃满磁盘、怎么排查是谁在吃、以及怎么配一套能自动控制住的机制。

日志为什么会失控

Nginx 默认会把每个请求写一行访问日志。一个正常访问的站点,一天几千个请求,日志也就几十兆。但只要有爬虫、有扫描器、有人在刷接口,日志量会翻几十倍。

我见过一个站,一天被扫描器打了十几万次,访问日志一天涨了两百多兆。一个月下来就是六个 G。服务器总共才三十 G 的盘,光日志就占了一大块。

错误日志相对小一些,但如果代码有报错,错误日志也会疯涨。有些程序在循环里报错,一秒钟写几百行,一小时就能把盘写满。

数据库的二进制日志(binlog)是另一个大户。开了 binlog 之后,每次数据变更都会记一份,数据量大的站,binlog 一天能涨好几个 G。

先搞清楚是谁在吃盘

别一上来就删东西。先看。

第一步看整体:df -h,看哪个分区快满了。一般是根分区 /。

第二步看目录:du -sh /www/* ,一层层往下,找到最大的那个目录。常见的大户是 /www/wwwlogs(日志)、/www/wwwroot(站点文件)、/www/server(环境)、/www/backup(备份)。

第三步看具体文件:ls -lhS 某个目录,按大小排序,一眼就能看出哪个文件最大。

这三步做完,基本就锁定了。我上次排查,发现是另一个站的错误日志涨到了两百多兆,而本站的日志只有十几兆。这种情况很常见:你以为是自己站的问题,实际是邻居在吃盘。

日志切割:最基础也最有效

日志不能只删不切,要让它自动轮转。

Linux 有 logrotate 这个工具,可以配置成按天切割、保留 N 份、超期删除。配置写在 /etc/logrotate.d/ 下面,每个日志一份规则。

宝塔面板更简单:在「计划任务」里加一条日志切割任务,选「Nginx 日志切割」,设置每天凌晨执行,保留天数填七到三十天。

切割完之后,旧日志会变成带日期后缀的文件,比如 access.log.1、access.log.2.gz。压缩过的日志体积能小一个量级,几个 G 能压到几百兆。

关键点:保留天数别设太长。三十天足够排查问题了,九十天意义不大,只是占地方。

几个容易忽略的大户

第一是缓存目录。程序生成的页面缓存、模板缓存、缩略图缓存,日积月累能到几十上百兆。这些可以清,清了会自动重建。

第二是临时文件。/tmp 目录下的会话文件、上传临时文件,很多程序用完不删。定期清一次。

第三是备份文件。本地备份如果一直不清理,几个月下来能占几个 G。备份要设保留份数,比如只留最近七份。

第四是数据库日志。除了 binlog,还有慢查询日志、错误日志。慢查询日志如果一直开着一秒阈值,量也不小。

第五是安装包。很多人把程序安装包、旧版本压缩包扔在网站目录里,几个 G 就这么占着。这些东西根本不需要留在服务器上。

别踩的三个坑

第一个坑:删正在写的日志。直接把 access.log 删了,Nginx 不会释放文件句柄,磁盘空间不会立刻归还,要重启服务才行。正确做法是先清空内容(> access.log),或者用切割工具。

第二个坑:清缓存把配置也清了。有些缓存目录里放着程序的配置文件,一锅端清掉,网站直接 500。清之前先确认目录里都有什么。

第三个坑:清完不复测。清完之后要访问一下网站,确认页面正常、后台能登录。别等用户报错才发现清出问题来了。

提前设告警

最好的处理是不让它满。给磁盘设一个阈值告警,比如用到百分之八十就通知。

简单做法是写个脚本,每天检查一次 df 的输出,超过阈值就发消息。复杂的做法是接监控系统,实时盯着。

我个人建议阈值设在百分之七十五。到这个点你还有时间从容处理,等到百分之九十五,很多操作都做不了了,只能硬救。

一个真实的排查过程

前段时间碰到一个站,磁盘从百分之六十涨到百分之九十二,只用了三天。站长的第一反应是「被黑了」,慌得不行。

我先看整体,再看目录,最后锁到错误日志上。那个错误日志三天涨了二点八个 G,打开一看,全是同一行警告,一秒钟能刷好几条。

继续往下查,发现是某个插件在循环里报错,每个请求都写一次日志。请求量一大,日志就爆了。

处理办法分两步:先把日志内容清空(注意是清空不是删文件),解一时之急;再去找插件作者,把那个循环报错的 bug 修掉。

修完之后,日志量立刻回到正常水平,一天几十兆。这件事说明一个道理:日志异常增长,多半不是日志的错,是代码在报错。光清日志治标不治本,找到根源才算解决。

一套可以照抄的日常维护流程

每周做一次:看一眼磁盘占用,看一眼最大的几个日志文件,看一眼缓存目录大小。三分钟的事。

每月做一次:清理过期备份,清理旧安装包,清理临时文件。十分钟的事。

每季度做一次:审视日志保留策略,看看保留天数是不是该缩短,看看有没有该关掉但一直在写的日志。

这套流程坚持下来,磁盘基本不会出问题。真正出事的,往往都是从来不看的那批人。

磁盘这事,平时多看一眼,比出事再抢修省事得多。一个月花十分钟看看目录大小,能避免九成的麻烦。