
定时任务最典型的失败方式,不是脚本报错,是它压根没跑,而且没人知道。你以为是每天在跑,其实从上周就停了。这篇讲怎么让它跑得稳、出问题能发现。
还有一条踩过的人才知道:定时任务的语言环境可能不是 UTF-8,脚本里处理中文会变成乱码或者直接报编码错误。在脚本开头显式设置编码环境变量,能省掉一大类莫名其妙的失败。
环境问题
路径全部写绝对路径。定时任务的执行环境和你登录时的 shell 完全不同,没有当前目录的概念,相对路径必然踩坑。所有文件路径都从根开始写。
显式指定解释器路径。脚本第一行写清是哪个 python、哪个版本。定时环境里的默认解释器可能和你的开发环境不一样,依赖就会找不到。
环境变量在脚本内自行设置。定时任务不读你的登录配置文件,所以那些在配置文件里设的变量它都看不到。需要在脚本里自己设一遍。
crontab 里先 cd 到工作目录。虽然路径写了绝对路径,但有些程序依赖当前目录,进去之前先切一下,省掉一类难查的问题。
还有一个盲区:脚本抛出的错误被定时框架吞掉了。crontab 默认会给本地邮箱发信,大多数服务器根本没配邮件,于是错误彻底消失。标准错误必须重定向到文件,这是硬要求。
失败怎么发现
每次执行写日志,记录开始和结束。日志里要有时间、参数、结果。出问题时,日志是唯一能还原现场的东西。
失败时发告警通知。邮件、短信、群消息,随便哪种,只要你能及时看到。没有告警的定时任务,等于没有监控。
加执行心跳,超时未跑也告警。脚本跑完了写一条心跳记录,另一个任务检查心跳是否新鲜。连续两个周期没心跳,就发通知。这一招能抓住没跑的情况。
关键任务用执行锁防重入。上一次还没跑完,下一次又启动,两个实例同时改数据,最容易出事故。锁文件是最简单的实现。
锁文件还有个细节:进程被强杀时锁文件不会被自动删掉。下一次启动看到锁存在就以为自己还在跑,于是永远不再执行。锁文件里要写进程号,启动时检查这个进程是否真的存在。
超时设置要分两层:脚本内部的逻辑超时,和定时框架的外部超时。只设一层不够,因为脚本卡在网络请求上时,内部逻辑可能根本走不到判断点。
还有一点:锁文件要放在固定目录,不要放临时目录。系统重启会清空临时目录,锁文件没了,重入保护也就失效了。
并发与超时
用锁文件防止上一次没跑完又启动。启动时检查锁文件是否存在,存在就退出并记录。这个逻辑十行代码,能挡掉一整类事故。
脚本内设置最大执行时长。一个任务正常跑两分钟,某天卡住跑了六小时,把资源占满。设个上限,超时自动退出。
避免多个任务同时抢同一资源。两个任务都在写同一张表、同一个文件,冲突不可避免。看清单,把时间错开。
密集任务错开时间。整点同时起五个任务,瞬间的负载峰值可能把服务拖垮。错开五到十分钟,压力就平摊了。
日志还有个用法常被浪费:把每次执行的耗时记下来。正常情况下耗时是稳定的,某天突然从两分钟变成二十分钟,说明数据量涨了或者查询退化了,这是最早的预警信号。
告警也要分级。失败要立刻通知,超时慢跑可以汇总到日报。所有事都发即时通知,人会麻木,最后真正重要的告警也被忽略。
日志管理
按日期分文件,便于追溯。每天一个文件,日志名带日期。查问题时直接定位到那一天,不用在几百兆的单个文件里翻。
定期清理老日志,防占满磁盘。日志只留最近十五天或者三十天,超期的自动删。这一步不做,迟早遇到磁盘满。
日志里记录关键参数和结果。跑了多少条、成功了几个、失败了几个、耗时多久。这几个数字比一句执行完成有用得多。
重要任务保留完整输出。标准输出和标准错误都要重定向到文件。有些错误只出现在标准错误里,不记录就丢了。
实用建议
先在命令行手动跑通再挂定时。手动跑能暴露九成的环境问题。手动都跑不通,挂上定时只是让它安静地失败。
用最小权限账号执行。定时任务不需要 root 就别用 root。真出问题,影响面能小很多。
改动后观察一到两个周期。改完立刻走人,等于赌。至少看它完整跑一轮,确认日志和结果都正常。
把所有任务列成清单定期复核。哪个任务在跑、跑多久、上次成功是什么时候。一个月看一次,能发现那些悄悄停掉的任务。
最后一句:定时任务的可靠性,八成靠监控,两成靠代码。写一个不会出错的脚本很难,但做一套能发现出错的机制不难。先做后者。
