编辑
2026-11-19
项目实战经验
00

目录

先说结论(太长不看版)
写在前面:先交代下这是个什么系统
项目背景
技术栈
运维方式
一、事故现场:三类报错
影响范围:告警刷屏,但没伤到商家打单
二、先补上下文:连接池和它的“清洁工”
三、根因:保活线程和业务线程抢同一根连接
3.1 大白话
3.2 技术机制(DruidDataSource.shrink())
3.3 时序图
3.4 三类报错逐一对上号
3.5 为什么会“大批量”出现
四、为什么注释掉 keepAlive 就全好了
五、这么配到底合不合适
六、正确姿势
A. 当下(生产,立刻)
B. 顺手把过于激进的回收参数调回合理值
C. 如果确实需要“保活”
七、避坑清单(总结)
八、复盘:当天其实动了两大块,定位才这么慢
前提:为什么这么多变更会挤在同一次操作里
事情一:生产库“瘦身”
事情二:数据库切换故障的修复加固
为什么定位慢
怎么收敛的
教训
附:涉及的 Druid 参数速查
  • 把连接池参数往生产环境一推,服务立刻开始大批量报错:Operation not allowed after ResultSet closed、Can't call commit when autocommit=true、INSERT ... execute error。
  • 诡异的是——只把其中一行 keepAlive: true 注释掉,其他全不动,报错瞬间清零。
  • 本文从大白话到源码机制,把根因讲透,并给出正确做法。

先说结论(太长不看版)

  • 根因:Druid 1.1.22 这个老版本的 keepAlive 代码存在并发缺陷——后台“销毁/保活线程”在给空闲连接做 SELECT 1 体检时,没能正确地把“业务线程正在使用的连接”从待体检名单里摘干净,导致同一根连接被两个线程同时操作。
  • 表现:体检/reset 会关掉业务线程正读着的结果集、把 autoCommit 翻回 true、中断正在执行的语句——于是出现上面三类报错。
  • 影响范围:告警都来自“订单落库”这条线,走设备通道的“推送打印”不受影响——各餐饮商家实时打单照常;落库失败的订单事后通过补推订单消除,数据最终一致。
  • 为什么关掉 keepAlive 就好:关掉后这段有 bug 的代码分支被整段跳过,后台线程再也不去碰“借出去”的连接。
  • 结论:在 1.1.22 上开 keepAlive 不合适;而且对本次“防数据库切换挂死”的目标来说,keepAlive 本来就用不上。当下正确处置就是关掉它,根治方案是升级到 1.2.x 再按需开启。
  • 定位为什么慢:那段时间不是只改了 Druid,而是同时在做“生产库瘦身 + 切换故障加固”两件大事;又因为是年度数据库维护、服务不能停机,只能把连接池/探针/健康分组等一大堆变更打包进同一次配置、一次性重启了 6 个连库服务。改动面极大、变量高度耦合,keepAlive 只是被埋在一堆变更里的真凶——最后靠“只注释 keepAlive、其余全不动”的最小化二分才把它单独钉出来(详见第八节)。

写在前面:先交代下这是个什么系统

下面的排查都发生在这套架构上,先给个坐标,看的时候不至于对不上号。(已脱敏,不含真实域名 / 集群名 / 库名)

项目背景

一个面向餐饮商家的 SaaS 云打印 + 收银平台:门店用 App / POS 端点单收银,订单实时推到店里的云打印机出小票,同时把订单落库留档,供对账和报表;上游还对接美团、饿了么、抖音等外卖渠道下单。

有两个架构特点直接决定了这次事故的走向:

  • 两条链路解耦:推送打印走 MQTT 设备通道(完全不碰 JDBC),订单落库走数据库连接。所以连接层出 bug,只会“账暂时没落上”,不会“票打不出”。
  • 7×24 不能停机:饭点就是流量高峰,白天没有可停服窗口,能做大动作的只有深夜和一年一次的年度数据库维护窗口——这也正是后文那一大堆变更被迫挤在同一次操作里的原因。

技术栈

层次选型备注
语言 / 框架Java 8 + Spring Boot 2.7.10容器内跑 JRE
微服务Spring Cloud 2021.0.3 + Spring Cloud Alibaba 2021.0.1.0服务间调用 OpenFeign + LoadBalancer;入口 Spring Cloud Gateway;限流熔断 Sentinel(规则持久化在 Nacos)
注册 / 配置中心Nacos 2.0.4(阿里云 MSE 托管)按 profile 分环境:dev / test / prod / 海外 prod-en
业务底座JeecgBoot 3.5.1 + 自研 starterMQTT starter 自研(Eclipse Paho + 阿里云 ons-mqtt)
持久层MyBatis-Plus 3.5.1 + dynamic-datasource 3.2.0(多数据源)连接池 Druid 1.1.22 —— 本文主角,坑就在这个版本上;驱动 mysql-connector-java 8.0.27
数据库阿里云 PolarDB MySQL(主备)支持主备切换,这批变更的起点就是一次切换
消息 / 设备通道RocketMQ 5.0 + MQTT订单与打印指令异步解耦,MQTT 直连打印机
缓存Redis
定时任务阿里云 SchedulerX归档、清理类 Job 都跑在上面
前端Vue 3 + Vite + Ant Design Vue + Pinia管理后台;门店 App 另计
可观测SLS 日志 + ARMS / 云监控告警这次的报错基本都是告警先推出来的

一句话概括:Spring Boot 2.7 + JeecgBoot 底座 + MyBatis-Plus 多数据源 + Druid 1.1.22 连 PolarDB。1.1.22 是关键前提——keepAlive 的并发缺陷是在 1.2.x 才修好的,这也是后文结论“版本不升就别碰这个开关”的依据。

运维方式

  • 部署:阿里云 ACK(托管 Kubernetes)。生产命名空间里 11 个 Deployment——6 个连库的 Java 服务 + 网关 + 渠道网关 + 3 个前端 nginx。
  • 发布:代码库 → CI 流水线构建镜像 → 推 ACR → 在 ACK 上滚动发布;回滚即把 Deployment 退回上一版本。
  • 配置:业务参数几乎全在 Nacos,分环境、有历史版本可回滚。但要记住:连接池这类参数改完不生效——已建好的 DruidDataSource 不会重绑定,refresh-enabled: true 管不到它,只能靠重启 Pod。所以这次是“配置一次改完,再一次性滚动重启 6 个连库服务”。
  • 变更纪律(事后补上的):动之前备份 YAML 和 Nacos 历史版本、先小服务再大服务、分批重启、留观察窗口。
  • 日常保障:一份《日常运维检查单》+ 一份《突发故障应急手册》,把巡检项和分级预案固化下来。
  • 数据库维护:一年一次维护窗口,集中做主备切换、参数调整和容量治理——本文的事故就发生在这个窗口里。

这套架构没什么花活,就是标准的阿里云托管中间件 + Spring Cloud 微服务。也正因为它足够“标准”,下面的问题基本都出在配置项和依赖版本上,而不是业务代码里——这类坑最难躲,因为“代码看起来完全没问题”。


一、事故现场:三类报错

上线新连接池配置后,多个服务同时报警,报错看似毫不相干,但都指向同一件事:

报错典型堆栈/信息表面现象
读结果集失败Error attempting to get column 'id' from result set. Cause: java.sql.SQLException: Operation not allowed after ResultSet closed正在遍历查询结果,结果集“半路被关”
事务提交失败TransactionSystemException: JDBC commit failed; nested exception is java.sql.SQLException: Can't call commit when autocommit=true明明开了事务,提交时却说“这是自动提交”
写入执行失败{conn-10002, pstmt-xxxxx} execute error. INSERT INTO biz_order (...) VALUES (...) ON DUPLICATE KEY UPDATE ...一条 INSERT 执行到一半直接报错

关键线索:报错里的连接号 conn-10002 很小——说明出事的是连接池里反复复用的那几根“温着”的连接,而不是新建连接。

影响范围:告警刷屏,但没伤到商家打单

这批报错看着吓人——多个服务同时告警、刷屏式地报 INSERT ... execute error、commit failed、ResultSet closed。但实际业务冲击被架构隔离在了“落库”这一侧,各餐饮商家的实时打单没有受影响。原因在于云打印服务的两条线是解耦的:

  • 推送打印线:服务端把打印指令通过设备通道(MQTT)推给打印机,顾客的小票走的是这条路。它不依赖这次出问题的 JDBC 数据库连接,所以照常出票。
  • 订单落库线:把订单写进数据库留档(就是前面那条 INSERT、事务 commit、结果集读取)。keepAlive 并发缺陷打中的正是这条线的连接,所以所有告警都来自落库失败,而不是打印失败。

也就是说,这次是“票照打、账暂时没落上”:落库侧出现订单写入/提交失败的告警,属于数据留档延迟/失败,不是打印功能故障。

善后:对落库失败的那批订单,通过补推订单(重新投递/补偿写入)重新写回数据库,影响消除,数据最终一致。

回头看,正是“实时打印”和“异步落库”两条线分开的架构设计,把一个连接层的并发 bug 挡在了商家体验之外——否则同一批报错就会直接演变成各门店打不出票的重大事故。


二、先补上下文:连接池和它的“清洁工”

把数据库连接想象成餐厅里的餐巾:业务代码(下单、打印、查设备)要用数据库,就找连接池“借一根”,用完“还回去”。

连接池里有一个后台清洁工线程(Druid 的 DestroyThread),每隔 timeBetweenEvictionRunsMillis 巡逻一次,干两件事:

  1. 赶走放太久的脏巾:空闲时间超过 minEvictableIdleTimeMillis 的连接,直接关闭回收。
  2. 如果开了 keepAlive:对“本应保留的那几根”(数量在 minIdle 以内、又闲得比较久的)喷点水保鲜——也就是执行 validationQuery(SELECT 1),并重置连接状态(autoCommit、语句缓存等)。

正常逻辑下,清洁工只该碰“已经还回来、躺在架子上”的空闲连接,绝不该碰“客人手里正拿着”的连接。


三、根因:保活线程和业务线程抢同一根连接

3.1 大白话

keepAlive 开启后,巡逻时会出现两类要被处理的连接:

  • 该赶走的(驱逐,evict):排在架子前面;
  • 该保鲜的(keepAlive):排在架子后面(在 minIdle 那几根里)。

这两类在数组里不连续。而 1.1.22 在“把这批连接从架子上挪走”时,用的是按下标整体左移的笨办法,它假设要挪的连接都紧挨着排在最前面。

于是左移时数错位子:

  • 本该被挪走的“保鲜连接”没被真正挪走,还留在架子上(意味着它随时可能被业务线程借走);
  • 同时它又出现在清洁工手里的“待体检名单”里。

结果:同一根连接有了两个主人——业务线程正拿着它跑事务/读结果,清洁工又拿着它做 SELECT 1 体检并重置状态。

3.2 技术机制(DruidDataSource.shrink())

shrink(checkTime, keepAlive) 在锁内遍历 connections[] 空闲数组,把要驱逐的放进 evictConnections、要保活的放进 keepAliveConnections,然后做一次“压缩”,把这一批从空闲数组里移走,解锁后再到数组外逐根做体检(testConnectionInternal / validateConnection)并 put 回池。

问题出在“压缩”这一步:驱逐项在低下标、保活项在高下标,两者不连续;而旧版压缩逻辑按“前 removeCount 个就是要删除的”来 System.arraycopy 左移,并不成立。这就让:

  • 一些仍被业务线程持有的连接,被错误地留在/移入空闲可见区;
  • 保活线程在锁外对它们执行 SELECT 1 + 状态重置,与业务线程形成数据竞争。

社区对 1.1.x 保活缺陷的复现结论与此一致:会出现“该留在池里的连接其实已被关闭 / 已被移出的连接其实还开着”的错乱;另有 keepAlive=true + poolPreparedStatements=true(PSCache)在 1.1.2x 上偶发 Closed Statement 的案例(GitHub issue #3911)。

3.3 时序图

sequenceDiagram
    participant B as 业务线程(下单/查询)
    participant C as 物理连接
    participant D as 保活/清洁线程
    B->>C: 借出, 开启事务(autoCommit=false)
    B->>C: 执行SELECT, 正在逐行读结果集
    D->>C: keepAlive体检 SELECT 1
    Note over C: 驱动关闭上一个结果集 / 连接状态被重置
    B->>C: 继续读列 'id'
    C-->>B: 报错 Operation not allowed after ResultSet closed
    D->>C: 重置 autoCommit=true
    B->>C: 事务提交 commit
    C-->>B: 报错 Can't call commit when autocommit=true

3.4 三类报错逐一对上号

报错对应机制
Operation not allowed after ResultSet closed业务线程正遍历结果集,保活线程在同一根连接上跑 SELECT 1,MySQL 驱动把上一个结果集关掉了
Can't call commit when autocommit=trueSpring 开事务时设了 autoCommit=false,保活的连接重置把它翻回 true,到 commit 时驱动拒绝
INSERT ... execute error语句执行到一半,连接被重置 / PSCache 里的 Statement 被清,执行中断

3.5 为什么会“大批量”出现

  • initial-size: 0 + min-idle: 5:池子里常态就那几根“温着”的连接,而这恰恰是 keepAlive 盯着要保鲜的目标;
  • timeBetweenEvictionRunsMillis 与 minEvictableIdleTimeMillis 都被设成 30 秒:巡逻极频繁、可回收的门槛极低,有 bug 的压缩逻辑被高频触发,撞车概率被拉到很高。

四、为什么注释掉 keepAlive 就全好了

关掉 keepAlive 后,巡逻时根本不会往“保鲜名单”里放连接,挑出来要处理的只剩“该赶走的”,而它们恰好连续排在数组前面——整体左移不再错位,后台线程也就再也不会去碰“借出去”的连接。

有 bug 的代码分支被整段跳过,所以三类报错一起消失。这是一个非常干净的“开关即复现 / 即消失”的证据,反过来正好把根因锁死在 keepAlive 上。


五、这么配到底合不合适

不合适,而且本来就不该开。 三点理由:

  1. 对本次目标无效。 这次真正要解决的是“数据库切换那几分钟连接全废、建新连接没有超时要干等十几分钟”和“健康检查把 Pod 全杀了”。解决它们靠的是 connectTimeout/socketTimeout、maxWait、breakAfterAcquireFailure:false + connectionErrorRetryAttempts:3、以及健康检查分组——这些跟 keepAlive 无关。切换瞬间连接全死了,keepAlive 只会“给健康的空闲连接喷水”,帮不上忙。

  2. 对 keepAlive 的定位有误解。 常见配置注释会写“保活,配合 testWhileIdle 快速剔除坏连接”——这俩作用其实相反:

    • testWhileIdle:借出时把坏连接剔除;
    • keepAlive:想办法不剔除,让空闲连接别被服务端/网关按空闲超时掐断。

    把 keepAlive 当成“快速剔坏连接”的手段,是开错了药。防“拿到失效连接”这件事,testWhileIdle: true 已经做完了。

  3. 版本不支持安全开启。 keepAlive 在 1.1.22 上带病上岗,社区在 1.2.x 才把 shrink() 的连接数组整理逻辑修对。


六、正确姿势

A. 当下(生产,立刻)

保持 keepAlive 关闭。 这是正确处置,不用纠结。其余参数(超时、maxWait、breakAfterAcquireFailure、健康分组)保留即可,它们才是这次修复的主力。

B. 顺手把过于激进的回收参数调回合理值

minEvictableIdleTimeMillis 被设成 30 秒、还和 timeBetweenEvictionRunsMillis 相等,会让巡逻频繁挑连接、放大问题。建议解耦,让空闲回收阈值明显大于巡逻间隔(Druid 默认 minEvictableIdleTimeMillis 是 30 分钟):

yaml
dynamic: druid: initial-size: 0 min-idle: 5 maxActive: 200 maxWait: 5000 timeBetweenEvictionRunsMillis: 60000 # 巡逻间隔 minEvictableIdleTimeMillis: 300000 # 空闲回收阈值,要明显大于巡逻间隔,别贴着 validationQuery: SELECT 1 validationQueryTimeout: 2 testWhileIdle: true # 防失效连接靠它,足够 testOnBorrow: false testOnReturn: false breakAfterAcquireFailure: false connectionErrorRetryAttempts: 3 # keepAlive: 先不开(1.1.22 有并发缺陷) poolPreparedStatements: true maxPoolPreparedStatementPerConnectionSize: 20 filters: stat,wall,slf4j connectionProperties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=1000;connectTimeout\=3000;socketTimeout\=60000

C. 如果确实需要“保活”

(例如线上有 LB / 网关会掐长时间空闲连接)

  • 先把 Druid 升到 1.2.x(建议 1.2.20+),在修复版上再开 keepAlive;
  • 并把 keepAliveBetweenTimeMillis 设得小于数据库/网关的空闲超时(1.1.21+ 该项默认约 2 分钟,通常够用)。
  • 版本不升,就别在 1.1.22 上碰这个开关。

七、避坑清单(总结)

  • ✅ 生产排障时,“只改一行就复现/消失”是最强的定位证据,顺着它锁根因。
  • ✅ 三类看似无关的报错(ResultSet closed / commit when autocommit=true / execute error)本质是同一根连接被并发操作——看到它们成组出现,先怀疑连接池的后台线程。
  • ✅ keepAlive 的作用是“保活/不剔除空闲连接”,不是“剔除坏连接”;防失效连接请用 testWhileIdle。
  • ✅ 老版本(1.1.x)的 keepAlive 有并发缺陷,非必要不开;要用就升级到 1.2.x。
  • ✅ minEvictableIdleTimeMillis 不要贴着 timeBetweenEvictionRunsMillis 设,避免高频触发回收/压缩逻辑。
  • ✅ 数据库切换防挂死,靠的是 连接/读超时 + maxWait + 不熔断重试 + 健康检查分组,而不是 keepAlive。

八、复盘:当天其实动了两大块,定位才这么慢

很多人以为这次只是“改了 Druid 连接池参数”,其实不是。那段时间 devops 目录里同时推进了两件大事,全都往生产上砸——这也是 keepAlive 这个真凶被埋了那么久才挖出来的根本原因。

前提:为什么这么多变更会挤在同一次操作里

三个客观约束叠在一起,决定了这次只能是“打包大改”,而不是“一次改一个、慢慢验证”:

  • 年度数据库维护:这是一年一次的维护窗口,归档表清理、大表瘦身、连接池与探针加固这些平时排不上队的事,全得趁这次一起做完,操作项天然就多。
  • 服务不能停机:业务是 7×24 的,不允许停下来慢慢改,只能“边跑边改”。很多本可以分批灰度验证的变更,被迫压进同一个发布/重启窗口。
  • 一次配置、重启 6 个连库服务:连接池参数和健康检查分组都只能靠重启才生效(refresh-enabled: true 对已建好的 DruidDataSource 无效),所以 6 个服务的配置一次性改完,再逐个滚动重启。

这三条加起来,就是“改动面极大 + 变量高度耦合”的根源——也正是下面“定位慢”的伏笔:报错不挑服务、不按模块出现,而是在 6 个服务里随机冒,任何一个变量都有嫌疑。

事情一:生产库“瘦身”

  • 背景:主库账面约 794 GB,其中约 729 GB 是该清掉的历史垃圾(年度归档表、手工快照表、过期月表、超大流水日志表等)。
  • 动作:停掉 4 个归档 Job → 整表 DROP 一批备份/归档表 → 对几张在用的大表做“建新表灌保留数据 + 改名 + 补差”的整表搬 → 对纯日志大表直接 TRUNCATE → 再装一个日常清理任务防反弹。
  • 影响:全程不停机,唯一业务影响是“半个月前的数据查不到了”。

事情二:数据库切换故障的修复加固

  • 起因:一次主备切换,库只抖了十几秒,但全站不可用十几分钟——建新连接没有超时会干等,健康检查里含数据库检查,探针超时把一批 Pod 全杀了。
  • 动作:连接串加 connectTimeout/socketTimeout;连接池改 initial-size、maxWait、回收节奏,并加了 keepAlive、breakAfterAcquireFailure 等;K8s 探针拆成 startup/liveness/readiness,liveness 不再查库、readiness 查库+pod;健康检查分组。

为什么定位慢

这两件事叠在一起,一次性改动的面非常大:

  • 数据库侧:删了大量表、搬了几张大表、TRUNCATE 了日志大表;
  • 应用侧:同时动了连接池十几个参数、探针、健康检查分组。

报错一冒出来,每个改动都像嫌疑人——直觉会先怀疑“是不是删表删出问题 / 大表改名有并发 / 主从延迟”,也可能是“探针把 Pod 杀了导致连接异常”。变量太多、又互相耦合,没法一眼锁定,排查在几个方向之间来回试,时间就是这么耗掉的。

怎么收敛的

最后靠最小化二分:把嫌疑改动一项项往回收,发现“只注释掉 keepAlive: true、其余全不动”,三类报错就整体清零——这才把真凶从一大坨变更里单独钉出来。这一步之所以决定性,是因为它一次只动一个变量,直接把“是不是 keepAlive”这个问题变成了非黑即白的答案。

教训

生产变更要一次只动一个变量、可观测、可回滚。这次把“库瘦身 + 连接池 + 探针 + 健康分组”打包进同一个窗口,功能上每件事都对,但出问题时定位成本被成倍放大。以后这类高风险窗口,连接池参数(尤其 keepAlive 这种带版本坑的)应单独灰度、单独观察,别和删数据挤在同一个发布窗口。


附:涉及的 Druid 参数速查

参数作用备注
keepAlive对 minIdle 内的空闲连接定期 SELECT 1 保活,防止被服务端/网关按空闲超时掐断1.1.22 有并发缺陷,慎用
keepAliveBetweenTimeMillis空闲多久后触发保活体检1.1.21+ 引入,默认约 2 分钟
testWhileIdle借出时,若空闲超过 timeBetweenEvictionRunsMillis 则先体检,坏连接丢弃防“拿到失效连接”的主力
timeBetweenEvictionRunsMillis后台巡逻/回收间隔别与 minEvictableIdleTimeMillis 贴着设
minEvictableIdleTimeMillis空闲连接可被回收的最小空闲时长Druid 默认 30 分钟
breakAfterAcquireFailure建连失败是否熔断整个池false 表示不熔断
connectionErrorRetryAttempts建连失败重试次数配合上一项
connectTimeout / socketTimeout(URL 参数)驱动级建连/读超时防止连库时无限干等

本文作者:Jarvis

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!