星图导航
首页 文章 排行榜 申请收录 友链申请 关于
首页 / 文章资讯 / 源码资源 / 慢查询优化:从日志找到真正的瓶颈

慢查询优化:从日志找到真正的瓶颈

星图导航配图

优化最怕凭感觉。觉得页面慢,就去加缓存、加索引、换服务器,改了一堆,慢的还是慢。钱花了,问题还在,最后连到底哪里慢都说不清了。

正确的顺序是先定位到具体查询,再判断是索引问题、数据量问题还是写法问题。慢查询日志是最直接的定位手段,开启之后按耗时排序,前几条往往就是拖慢整个页面的元凶。这篇按定位、索引、写法、验证、维护五个环节讲。

先定位再动手:看日志,不看感觉

开启慢查询日志,设一个合理阈值。阈值不要设得太低,否则日志会被大量轻微慢的查询淹没;也不要太高,会漏掉真正的问题。经验值是从页面可接受的响应时间里倒推,比如页面目标 200 毫秒,单条查询超过 50 毫秒就记下来。

按总耗时排序,不只看单次耗时。一条单次 10 毫秒但每秒执行 500 次的查询,总耗时远超一条单次 500 毫秒但一天只跑一次的查询。优化要按总耗时排优先级,否则会把精力花在无关紧要的地方。

关注高频执行的查询,累积影响更大。列表页、首页这类被反复请求的页面,里面的每条查询都会被放大。优化这类查询的收益,通常比优化一个后台统计功能大得多。

把页面耗时和具体查询对应起来。这一步需要一点方法:在页面上打点,记录每个阶段的耗时,或者临时在代码里记录每条查询的执行时间。能对应上,才知道改哪条查询能真正让页面变快。

索引问题:先看执行计划

看执行计划,是否走了索引。把慢查询拿去做一次执行计划分析,重点看有没有走索引、走的哪个索引、扫描了多少行。扫描行数是最直观的指标,扫了几十万行而只返回几条,基本就是索引没生效。

缺失索引是大表查询慢的主因。数据量小的时候,全表扫描也很快,问题不明显;数据量涨到几十万行之后,同样的查询会突然变慢。这类问题的特征很清晰:以前很快,数据涨了之后变慢,代码没改过。

索引不是越多越好,写入会被拖慢。每个索引都要在插入、更新、删除时维护,索引多了写操作会明显变慢。一个表上有七八个索引,通常说明索引设计有问题,需要重新梳理。

联合索引要注意字段顺序。联合索引按字段顺序生效,把选择性低的字段放在前面,索引效果会大打折扣。设计时把最常用于过滤、选择性最高的字段放前面,后面的字段按实际使用顺序排。

常见低效写法:这几类最典型

第一类是在索引列上做函数运算,索引失效。比如对时间字段做格式化再比较,或者对字符串做截取再匹配。数据库没法用索引去匹配一个运算结果,只能退化成全表扫描。改成把运算放到值上,索引就能用上。

第二类是前导通配的模糊查询,无法走索引。以百分号开头的模糊匹配,数据库不知道该从哪里开始找,只能逐行比对。这类查询在数据量大时非常慢,通常要靠搜索引擎或者额外的分词字段来解决。

第三类是大表无限制的全表扫描。查询没加范围限制,直接把整表数据拉出来,再由程序筛选。数据量一大,内存和网络都会被打满。任何对大表的查询都应该带上明确的范围条件。

第四类是循环里逐条查询,应改为批量。在循环里对每条记录单独查一次库,一百条记录就是一百次往返。改成一次批量查询再在内存里匹配,耗时会下降一个数量级。这类问题在列表页和数据同步脚本里最常见。

优化后怎么验证:数据说话

再跑一次同一条查询对比耗时。优化前后的耗时要有具体数字,不能凭感觉说变快了。有条件的话多跑几次取平均,单次测量受缓存和负载影响,不够准确。

看页面整体耗时是否下降。单条查询变快不等于页面变快,如果有其他瓶颈,页面耗时会几乎无变化。这一步是验证优化是否真的有用,而不是只验证了局部。

观察写入性能有没有被索引拖慢。新增索引之后,插入和更新的耗时可能上升。如果站点的写入比较频繁,要专门测一下,别解决了一个问题又制造了另一个。

持续看慢查询数量趋势。优化一次不代表永久解决,数据量在涨,访问模式也会变。把慢查询数量作为一个长期指标观察,比事后救火主动得多。

长期维护:把优化变成习惯

定期检查慢查询数量和分布。每周看一次,关注两个变化:总量是否在涨,分布是否集中在某几条。总量涨说明整体压力在增加,集中在几条说明有具体的坏查询。

数据量增长后重新评估索引。数据量翻倍之后,原来够用的索引可能不够用了。这不是设计错误,是业务增长带来的必然调整,定期回顾就行。

避免在业务高峰做大批量操作。批量更新、全量统计、数据修复这类操作会占用大量数据库资源,放在低峰时段执行,能避免它把正常请求拖慢。

把慢查询指标纳入日常监控。有监控才有预警,有预警才有时间从容处理。等到用户反馈页面慢,问题往往已经持续了几天。