Operation not allowed after ResultSet closed、Can't call commit when autocommit=true、INSERT ... execute error。keepAlive: true 注释掉,其他全不动,报错瞬间清零。keepAlive 代码存在并发缺陷——后台“销毁/保活线程”在给空闲连接做 SELECT 1 体检时,没能正确地把“业务线程正在使用的连接”从待体检名单里摘干净,导致同一根连接被两个线程同时操作。autoCommit 翻回 true、中断正在执行的语句——于是出现上面三类报错。keepAlive 不合适;而且对本次“防数据库切换挂死”的目标来说,keepAlive 本来就用不上。当下正确处置就是关掉它,根治方案是升级到 1.2.x 再按需开启。keepAlive 只是被埋在一堆变更里的真凶——最后靠“只注释 keepAlive、其余全不动”的最小化二分才把它单独钉出来(详见第八节)。下面的排查都发生在这套架构上,先给个坐标,看的时候不至于对不上号。(已脱敏,不含真实域名 / 集群名 / 库名)
一个面向餐饮商家的 SaaS 云打印 + 收银平台:门店用 App / POS 端点单收银,订单实时推到店里的云打印机出小票,同时把订单落库留档,供对账和报表;上游还对接美团、饿了么、抖音等外卖渠道下单。
有两个架构特点直接决定了这次事故的走向:
| 层次 | 选型 | 备注 |
|---|---|---|
| 语言 / 框架 | Java 8 + Spring Boot 2.7.10 | 容器内跑 JRE |
| 微服务 | Spring Cloud 2021.0.3 + Spring Cloud Alibaba 2021.0.1.0 | 服务间调用 OpenFeign + LoadBalancer;入口 Spring Cloud Gateway;限流熔断 Sentinel(规则持久化在 Nacos) |
| 注册 / 配置中心 | Nacos 2.0.4(阿里云 MSE 托管) | 按 profile 分环境:dev / test / prod / 海外 prod-en |
| 业务底座 | JeecgBoot 3.5.1 + 自研 starter | MQTT starter 自研(Eclipse Paho + 阿里云 ons-mqtt) |
| 持久层 | MyBatis-Plus 3.5.1 + dynamic-datasource 3.2.0(多数据源) | 连接池 Druid 1.1.22 —— 本文主角,坑就在这个版本上;驱动 mysql-connector-java 8.0.27 |
| 数据库 | 阿里云 PolarDB MySQL(主备) | 支持主备切换,这批变更的起点就是一次切换 |
| 消息 / 设备通道 | RocketMQ 5.0 + MQTT | 订单与打印指令异步解耦,MQTT 直连打印机 |
| 缓存 | Redis | |
| 定时任务 | 阿里云 SchedulerX | 归档、清理类 Job 都跑在上面 |
| 前端 | Vue 3 + Vite + Ant Design Vue + Pinia | 管理后台;门店 App 另计 |
| 可观测 | SLS 日志 + ARMS / 云监控告警 | 这次的报错基本都是告警先推出来的 |
一句话概括:Spring Boot 2.7 + JeecgBoot 底座 + MyBatis-Plus 多数据源 + Druid 1.1.22 连 PolarDB。1.1.22 是关键前提——keepAlive 的并发缺陷是在 1.2.x 才修好的,这也是后文结论“版本不升就别碰这个开关”的依据。
DruidDataSource 不会重绑定,refresh-enabled: true 管不到它,只能靠重启 Pod。所以这次是“配置一次改完,再一次性滚动重启 6 个连库服务”。这套架构没什么花活,就是标准的阿里云托管中间件 + Spring Cloud 微服务。也正因为它足够“标准”,下面的问题基本都出在配置项和依赖版本上,而不是业务代码里——这类坑最难躲,因为“代码看起来完全没问题”。
上线新连接池配置后,多个服务同时报警,报错看似毫不相干,但都指向同一件事:
| 报错 | 典型堆栈/信息 | 表面现象 |
|---|---|---|
| 读结果集失败 | Error attempting to get column 'id' from result set. Cause: java.sql.SQLException: Operation not allowed after ResultSet closed | 正在遍历查询结果,结果集“半路被关” |
| 事务提交失败 | TransactionSystemException: JDBC commit failed; nested exception is java.sql.SQLException: Can't call commit when autocommit=true | 明明开了事务,提交时却说“这是自动提交” |
| 写入执行失败 | {conn-10002, pstmt-xxxxx} execute error. INSERT INTO biz_order (...) VALUES (...) ON DUPLICATE KEY UPDATE ... | 一条 INSERT 执行到一半直接报错 |
关键线索:报错里的连接号 conn-10002 很小——说明出事的是连接池里反复复用的那几根“温着”的连接,而不是新建连接。
这批报错看着吓人——多个服务同时告警、刷屏式地报 INSERT ... execute error、commit failed、ResultSet closed。但实际业务冲击被架构隔离在了“落库”这一侧,各餐饮商家的实时打单没有受影响。原因在于云打印服务的两条线是解耦的:
INSERT、事务 commit、结果集读取)。keepAlive 并发缺陷打中的正是这条线的连接,所以所有告警都来自落库失败,而不是打印失败。也就是说,这次是“票照打、账暂时没落上”:落库侧出现订单写入/提交失败的告警,属于数据留档延迟/失败,不是打印功能故障。
善后:对落库失败的那批订单,通过补推订单(重新投递/补偿写入)重新写回数据库,影响消除,数据最终一致。
回头看,正是“实时打印”和“异步落库”两条线分开的架构设计,把一个连接层的并发 bug 挡在了商家体验之外——否则同一批报错就会直接演变成各门店打不出票的重大事故。
把数据库连接想象成餐厅里的餐巾:业务代码(下单、打印、查设备)要用数据库,就找连接池“借一根”,用完“还回去”。
连接池里有一个后台清洁工线程(Druid 的 DestroyThread),每隔 timeBetweenEvictionRunsMillis 巡逻一次,干两件事:
minEvictableIdleTimeMillis 的连接,直接关闭回收。keepAlive:对“本应保留的那几根”(数量在 minIdle 以内、又闲得比较久的)喷点水保鲜——也就是执行 validationQuery(SELECT 1),并重置连接状态(autoCommit、语句缓存等)。正常逻辑下,清洁工只该碰“已经还回来、躺在架子上”的空闲连接,绝不该碰“客人手里正拿着”的连接。
keepAlive 开启后,巡逻时会出现两类要被处理的连接:
minIdle 那几根里)。这两类在数组里不连续。而 1.1.22 在“把这批连接从架子上挪走”时,用的是按下标整体左移的笨办法,它假设要挪的连接都紧挨着排在最前面。
于是左移时数错位子:
结果:同一根连接有了两个主人——业务线程正拿着它跑事务/读结果,清洁工又拿着它做 SELECT 1 体检并重置状态。
DruidDataSource.shrink())shrink(checkTime, keepAlive) 在锁内遍历 connections[] 空闲数组,把要驱逐的放进 evictConnections、要保活的放进 keepAliveConnections,然后做一次“压缩”,把这一批从空闲数组里移走,解锁后再到数组外逐根做体检(testConnectionInternal / validateConnection)并 put 回池。
问题出在“压缩”这一步:驱逐项在低下标、保活项在高下标,两者不连续;而旧版压缩逻辑按“前 removeCount 个就是要删除的”来 System.arraycopy 左移,并不成立。这就让:
SELECT 1 + 状态重置,与业务线程形成数据竞争。社区对 1.1.x 保活缺陷的复现结论与此一致:会出现“该留在池里的连接其实已被关闭 / 已被移出的连接其实还开着”的错乱;另有
keepAlive=true+poolPreparedStatements=true(PSCache)在 1.1.2x 上偶发Closed Statement的案例(GitHub issue #3911)。
sequenceDiagram
participant B as 业务线程(下单/查询)
participant C as 物理连接
participant D as 保活/清洁线程
B->>C: 借出, 开启事务(autoCommit=false)
B->>C: 执行SELECT, 正在逐行读结果集
D->>C: keepAlive体检 SELECT 1
Note over C: 驱动关闭上一个结果集 / 连接状态被重置
B->>C: 继续读列 'id'
C-->>B: 报错 Operation not allowed after ResultSet closed
D->>C: 重置 autoCommit=true
B->>C: 事务提交 commit
C-->>B: 报错 Can't call commit when autocommit=true
| 报错 | 对应机制 |
|---|---|
Operation not allowed after ResultSet closed | 业务线程正遍历结果集,保活线程在同一根连接上跑 SELECT 1,MySQL 驱动把上一个结果集关掉了 |
Can't call commit when autocommit=true | Spring 开事务时设了 autoCommit=false,保活的连接重置把它翻回 true,到 commit 时驱动拒绝 |
INSERT ... execute error | 语句执行到一半,连接被重置 / PSCache 里的 Statement 被清,执行中断 |
initial-size: 0 + min-idle: 5:池子里常态就那几根“温着”的连接,而这恰恰是 keepAlive 盯着要保鲜的目标;timeBetweenEvictionRunsMillis 与 minEvictableIdleTimeMillis 都被设成 30 秒:巡逻极频繁、可回收的门槛极低,有 bug 的压缩逻辑被高频触发,撞车概率被拉到很高。keepAlive 就全好了关掉 keepAlive 后,巡逻时根本不会往“保鲜名单”里放连接,挑出来要处理的只剩“该赶走的”,而它们恰好连续排在数组前面——整体左移不再错位,后台线程也就再也不会去碰“借出去”的连接。
有 bug 的代码分支被整段跳过,所以三类报错一起消失。这是一个非常干净的“开关即复现 / 即消失”的证据,反过来正好把根因锁死在 keepAlive 上。
不合适,而且本来就不该开。 三点理由:
对本次目标无效。 这次真正要解决的是“数据库切换那几分钟连接全废、建新连接没有超时要干等十几分钟”和“健康检查把 Pod 全杀了”。解决它们靠的是 connectTimeout/socketTimeout、maxWait、breakAfterAcquireFailure:false + connectionErrorRetryAttempts:3、以及健康检查分组——这些跟 keepAlive 无关。切换瞬间连接全死了,keepAlive 只会“给健康的空闲连接喷水”,帮不上忙。
对 keepAlive 的定位有误解。 常见配置注释会写“保活,配合 testWhileIdle 快速剔除坏连接”——这俩作用其实相反:
testWhileIdle:借出时把坏连接剔除;keepAlive:想办法不剔除,让空闲连接别被服务端/网关按空闲超时掐断。把 keepAlive 当成“快速剔坏连接”的手段,是开错了药。防“拿到失效连接”这件事,testWhileIdle: true 已经做完了。
版本不支持安全开启。 keepAlive 在 1.1.22 上带病上岗,社区在 1.2.x 才把 shrink() 的连接数组整理逻辑修对。
保持 keepAlive 关闭。 这是正确处置,不用纠结。其余参数(超时、maxWait、breakAfterAcquireFailure、健康分组)保留即可,它们才是这次修复的主力。
minEvictableIdleTimeMillis 被设成 30 秒、还和 timeBetweenEvictionRunsMillis 相等,会让巡逻频繁挑连接、放大问题。建议解耦,让空闲回收阈值明显大于巡逻间隔(Druid 默认 minEvictableIdleTimeMillis 是 30 分钟):
yamldynamic:
druid:
initial-size: 0
min-idle: 5
maxActive: 200
maxWait: 5000
timeBetweenEvictionRunsMillis: 60000 # 巡逻间隔
minEvictableIdleTimeMillis: 300000 # 空闲回收阈值,要明显大于巡逻间隔,别贴着
validationQuery: SELECT 1
validationQueryTimeout: 2
testWhileIdle: true # 防失效连接靠它,足够
testOnBorrow: false
testOnReturn: false
breakAfterAcquireFailure: false
connectionErrorRetryAttempts: 3
# keepAlive: 先不开(1.1.22 有并发缺陷)
poolPreparedStatements: true
maxPoolPreparedStatementPerConnectionSize: 20
filters: stat,wall,slf4j
connectionProperties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=1000;connectTimeout\=3000;socketTimeout\=60000
(例如线上有 LB / 网关会掐长时间空闲连接)
keepAlive;keepAliveBetweenTimeMillis 设得小于数据库/网关的空闲超时(1.1.21+ 该项默认约 2 分钟,通常够用)。ResultSet closed / commit when autocommit=true / execute error)本质是同一根连接被并发操作——看到它们成组出现,先怀疑连接池的后台线程。keepAlive 的作用是“保活/不剔除空闲连接”,不是“剔除坏连接”;防失效连接请用 testWhileIdle。keepAlive 有并发缺陷,非必要不开;要用就升级到 1.2.x。minEvictableIdleTimeMillis 不要贴着 timeBetweenEvictionRunsMillis 设,避免高频触发回收/压缩逻辑。很多人以为这次只是“改了 Druid 连接池参数”,其实不是。那段时间 devops 目录里同时推进了两件大事,全都往生产上砸——这也是 keepAlive 这个真凶被埋了那么久才挖出来的根本原因。
三个客观约束叠在一起,决定了这次只能是“打包大改”,而不是“一次改一个、慢慢验证”:
refresh-enabled: true 对已建好的 DruidDataSource 无效),所以 6 个服务的配置一次性改完,再逐个滚动重启。这三条加起来,就是“改动面极大 + 变量高度耦合”的根源——也正是下面“定位慢”的伏笔:报错不挑服务、不按模块出现,而是在 6 个服务里随机冒,任何一个变量都有嫌疑。
DROP 一批备份/归档表 → 对几张在用的大表做“建新表灌保留数据 + 改名 + 补差”的整表搬 → 对纯日志大表直接 TRUNCATE → 再装一个日常清理任务防反弹。connectTimeout/socketTimeout;连接池改 initial-size、maxWait、回收节奏,并加了 keepAlive、breakAfterAcquireFailure 等;K8s 探针拆成 startup/liveness/readiness,liveness 不再查库、readiness 查库+pod;健康检查分组。这两件事叠在一起,一次性改动的面非常大:
TRUNCATE 了日志大表;报错一冒出来,每个改动都像嫌疑人——直觉会先怀疑“是不是删表删出问题 / 大表改名有并发 / 主从延迟”,也可能是“探针把 Pod 杀了导致连接异常”。变量太多、又互相耦合,没法一眼锁定,排查在几个方向之间来回试,时间就是这么耗掉的。
最后靠最小化二分:把嫌疑改动一项项往回收,发现“只注释掉 keepAlive: true、其余全不动”,三类报错就整体清零——这才把真凶从一大坨变更里单独钉出来。这一步之所以决定性,是因为它一次只动一个变量,直接把“是不是 keepAlive”这个问题变成了非黑即白的答案。
生产变更要一次只动一个变量、可观测、可回滚。这次把“库瘦身 + 连接池 + 探针 + 健康分组”打包进同一个窗口,功能上每件事都对,但出问题时定位成本被成倍放大。以后这类高风险窗口,连接池参数(尤其 keepAlive 这种带版本坑的)应单独灰度、单独观察,别和删数据挤在同一个发布窗口。
| 参数 | 作用 | 备注 |
|---|---|---|
keepAlive | 对 minIdle 内的空闲连接定期 SELECT 1 保活,防止被服务端/网关按空闲超时掐断 | 1.1.22 有并发缺陷,慎用 |
keepAliveBetweenTimeMillis | 空闲多久后触发保活体检 | 1.1.21+ 引入,默认约 2 分钟 |
testWhileIdle | 借出时,若空闲超过 timeBetweenEvictionRunsMillis 则先体检,坏连接丢弃 | 防“拿到失效连接”的主力 |
timeBetweenEvictionRunsMillis | 后台巡逻/回收间隔 | 别与 minEvictableIdleTimeMillis 贴着设 |
minEvictableIdleTimeMillis | 空闲连接可被回收的最小空闲时长 | Druid 默认 30 分钟 |
breakAfterAcquireFailure | 建连失败是否熔断整个池 | false 表示不熔断 |
connectionErrorRetryAttempts | 建连失败重试次数 | 配合上一项 |
connectTimeout / socketTimeout(URL 参数) | 驱动级建连/读超时 | 防止连库时无限干等 |
本文作者:Jarvis
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!