编辑
2026-11-19
项目实战经验
00

目录

先说结论(太长不看版)
写在前面:先交代下这是个什么系统
项目背景
技术栈
运维方式
一、事故还原:16 分钟是怎么来的
二、两个独立根因,必须都修
根因一:建新连接没有超时
根因二:存活探针里含数据库检查
三、加固方案:三层,各管一件事
第 1 层 · 连接池:给“等外部依赖”设上限
第 2 层 · 健康检查分组:liveness 与 readiness 分工
第 3 层 · 探针:拆成 startup / liveness / readiness,并加硬超时
四、执行顺序为什么是这个样
五、几个最容易漏的点
六、怎么验证 & 怎么退
七、复盘:这次真正该记住的
  • 主备切换,数据库实际只不可用十几秒。但监控图上,整条业务线瘫了整整 16 分钟。
  • 更反直觉的是:把库切回来、数据库早就恢复了,业务却还起不来。
  • 这篇文章复盘这次事故的两个独立根因,以及“连接池 / 健康检查 / K8s 探针”三层加固是怎么做的、为什么这么做。

先说结论(太长不看版)

  • 根因一:建新数据库连接没有超时,库不可用时线程一挂就是十几分钟——库早好了,业务还瘫着。
  • 根因二:K8s 健康检查里包含了数据库检查,库一抖,/actuator/health 里的 SELECT 1 挂住不返回,探针连续超时,kubelet 把一批 Pod 全 SIGKILL 了;重启后又要连库,再挂一次。
  • 这是两个独立问题,只修一个,下次照样重演。
  • 加固分三层:连接池加超时 + 不熔断重试、健康检查分组(liveness 不查库、readiness 查库+pod)、探针拆成 startup/liveness/readiness 并加硬超时。
  • 最大的教训:给每一次“等外部依赖”都设上限,以及别让存活探针(liveness)去碰数据库。

写在前面:先交代下这是个什么系统

后面的三层加固都是搭在这套架构上的,先给个坐标。(已脱敏,不含真实域名 / 集群名 / 库名)

项目背景

一个面向餐饮商家的 SaaS 云打印 + 收银平台:门店用 App / POS 端点单收银,订单实时推到店里的云打印机出小票,同时落库留档供对账报表;上游还对接美团、饿了么、抖音等外卖渠道下单。

两个直接导致这次故障形态的特点:

  • 7×24 不能停机:饭点就是流量高峰,白天根本没有可停服窗口,只能深夜和一年一次的数据库维护窗口做大动作——本次事故就起源于维护窗口里的一次主备切换。
  • 数据库是全站单点依赖:6 个连库的 Java 服务共用同一套 PolarDB,库不可用就是全站不可用——所以“数据库抖一下”能放大成“全站瘫掉”。

技术栈

层次选型备注
语言 / 框架Java 8 + Spring Boot 2.7.10健康检查用的是 Actuator /actuator/health,本文第二个根因就埋在这里
微服务Spring Cloud 2021.0.3 + Spring Cloud Alibaba 2021.0.1.0服务间调用 OpenFeign + LoadBalancer;入口 Spring Cloud Gateway;限流熔断 Sentinel(规则持久化在 Nacos)
注册 / 配置中心Nacos 2.0.4(阿里云 MSE 托管)按 profile 分环境:dev / test / prod / 海外 prod-en;本文的“先改 Nacos 再重启”就来自它
业务底座JeecgBoot 3.5.1 + 自研 starter
持久层MyBatis-Plus 3.5.1 + dynamic-datasource 3.2.0(多数据源)连接池 Druid 1.1.22(版本偏老,加固时另踩了一个并发坑,已单独另写一篇复盘);驱动 mysql-connector-java 8.0.27
数据库阿里云 PolarDB MySQL(主备)主备切换本身没问题,问题出在我们怎么对待那十几秒
消息 / 设备通道RocketMQ 5.0 + MQTT打印指令走 MQTT 设备通道,不依赖 JDBC;库挂的那十几分钟小票其实照常出
缓存Redis
定时任务阿里云 SchedulerX
前端Vue 3 + Vite + Ant Design Vue + Pinia管理后台;门店 App 另计
可观测SLS 日志 + ARMS / 云监控告警Pod 被 SIGKILL、exit 137 这些都是从这里看到

一句话概括:Spring Boot 2.7 微服务跑在阿里云 ACK 上,用 Druid 连 PolarDB,健康检查走 Actuator、K8s 探针 exec curl 打它——最后这个连接,就是本次雪崩的传导路径。

运维方式

  • 部署:阿里云 ACK(托管 Kubernetes)。生产命名空间里 11 个 Deployment——6 个连库的 Java 服务(副本 2~8 不等,共 30 多个 Pod)+ 不连库的网关 + 渠道网关 + 3 个前端 nginx。
  • 健康检查(改动前的现状,也是事故根因):6 个连库服务的存活探针全部是 exec curl /actuator/health,而这个默认健康组里含数据库检查;failureThreshold: 3,没有 startupProbe,超时只有几秒。
  • 发布:代码库 → CI 流水线构建镜像 → 推 ACR → ACK 滚动发布;回滚用发布平台的“变更记录 → 回滚”退回上一版 Deployment。
  • 配置:业务参数全在 Nacos,分环境、有历史版本可回滚。但连接池参数、健康检查分组这两类改动 refresh-enabled 不管用(已建好的 DruidDataSource 不重绑定,group 是启动期一次性构建的 Bean),只能靠重启 Pod 生效——这就是为什么下面整篇都在讲“改配置 → 分批重启 → 再改探针”。
  • 下线保护:Deployment 里配了 preStop 优雅下线(先把健康组件置 down 摘流量再关进程),改探针时很容易顺手把它删掉。
  • 日常保障:一份《日常运维检查单》+ 一份《突发故障应急手册》,把巡检项和分级预案固化下来;线上变更大多在 ACK 控制台里可视化改 YAML,改前先逐份备份。

这套架构没什么花活,就是标准的阿里云托管中间件 + Spring Cloud 微服务。也正因为标准,这次栽的不是业务代码,而是连接池参数 + 健康检查分组 + 探针配置这三个“没人当代码看”的地方——它们平时完全静默,只在依赖抖动的第一时间把伤害放大。


一、事故还原:16 分钟是怎么来的

那天做数据库主备切换。切换本身很快,实例层面只抖了十几秒。但接下来发生的事,让一次“十几秒”的抖动放大成了“十几分钟”的全站不可用:

flowchart TD
    A[主备切换 库抖动十几秒] --> B[池里所有连接作废]
    B --> C[服务建新连接 没有超时 一挂十几分钟]
    A --> D[health 接口里的 SELECT 1 挂住不返回]
    D --> E[探针 exec 连续超时 3 次]
    E --> F[kubelet SIGKILL 一批 Pod exit 137]
    F --> G[Pod 重启 又要连库]
    G --> C
    C --> H[库早已恢复 业务仍瘫 16 分钟]

两条线叠加,才把“十几秒”拖成“十几分钟”:

  1. 连接层:库恢复得很快,但业务线程卡在“建新连接”上,没有超时,一等就是十几分钟。
  2. 编排层:探针把“健康检查里连不上库”误判成“进程死了”,于是主动杀掉了本可以自愈的 Pod,杀掉后重启又要连库,再卡一次。

关键认知:探针杀 Pod 不是保护,是帮倒忙。 库的问题不该由“杀应用进程”来解决——它只会把短暂抖动放大成反复重启的雪崩。


二、两个独立根因,必须都修

根因一:建新连接没有超时

连接池在库不可用时新建连接,驱动层没有 connectTimeout,会一直干等。实测最夸张的一次,建连耗时挂到了九百多万毫秒(十几分钟)。这段时间里,请求线程全被占住,接口自然全挂。

修:在 JDBC URL 末尾追加 connectTimeout=3000&socketTimeout=60000——建连 3 秒放弃换下一条,读 60 秒封顶。同时在连接池侧:

参数改动作用
initial-size5 → 0启动不再“必须连上库才肯起来”,库不可用时也能先把服务拉起来
maxWait1000 → 5000业务等连接最多 5 秒,等不到快速报错,别无限卡
validationQueryTimeout新增 2给健康检查里的 SELECT 1 封顶,防止它一直挂着拖死 Pod
breakAfterAcquireFailure新增 false建连失败不熔断整个池
connectionErrorRetryAttempts新增 3连不上重试 3 次再放弃

注:keepAlive 这类“保活”参数和本次切换故障无关,而且在老版本 Druid 上另有并发坑(另有一篇专门复盘)。这里不展开。

根因二:存活探针里含数据库检查

现网这批连库服务的探针长这样:

curl http://localhost:8080/actuator/health # 注意没加 -f failureThreshold: 3 无 startupProbe

它杀 Pod 的方式很隐蔽:因为没加 -f,503 也算 curl 成功,所以“状态差”并不会杀 Pod;真正杀它的是请求挂住超过超时时间。/actuator/health 里那个 SELECT 1 一挂,health 不返回,exec 超时连错 3 次就直接动手。

已核实:某个 8 副本的服务,在切换后 7–18 秒内 8 个副本全被 SIGKILL(reason=Error exit=137)。

修:让 liveness 彻底不碰数据库,把“库好不好”交给 readiness 去摘流量,而不是交给 liveness 去杀进程。


三、加固方案:三层,各管一件事

第 1 层 · 连接池:给“等外部依赖”设上限

见上面那张参数表。核心只有一句话:任何“等数据库”的路径都要有超时,等不到就快速失败,别把线程吊死。

第 2 层 · 健康检查分组:liveness 与 readiness 分工

Spring Boot 默认的 readiness 组里只有 readinessState,不含数据库也不含 pod,必须手写:

yaml
management: endpoints: web: exposure: include: metrics,httptrace,shutdown,health endpoint: health: enabled: true show-details: always # 决定响应体带不带 components,缺了没法验收 probes: enabled: true group: liveness: include: livenessState # 不含数据库 → 库挂了不杀 Pod readiness: include: readinessState,db,pod # db 摘坏库流量,pod 保住优雅下线 shutdown: enabled: true

三个 include 少一个都会出事:

  • liveness 只要 livenessState:数据库挂了也别说服务死了,别杀它。
  • readiness 要 db:库挂了就别派流量进来,恢复后自动回来。
  • readiness 要 pod:优雅下线靠 preStop 把 pod 组件置 down 来摘流量;漏了 pod,Pod 正在关闭还在接流量,用户会看到一批 502。

第 3 层 · 探针:拆成 startup / liveness / readiness,并加硬超时

探针打到哪关键参数为什么
startupProbe/health/liveness-m 1,频率 5、超时 3、不健康阈值 60(≈5 分钟)启动期给足缓冲,慢启动不被误杀
livenessProbe/health/liveness-m 1,频率 10、超时 3、不健康阈值 6不碰数据库,库挂了不杀 Pod
readinessProbe/health/readiness-m 3,频率 5、超时 4、不健康阈值 6库挂了或正在关闭就摘流量;≈30 秒容忍抖动

几个容易忽略但致命的细节:

  • readiness 的 curl 超时(-m 3)必须大于 validationQueryTimeout(2 秒),否则库稍慢就被误判不健康、流量被抽干。
  • localhost 改成 127.0.0.1:容器里 localhost 可能先解析成 IPv6 ::1,而应用只听 IPv4,探针会连不上、永远失败。这是有意为之,不是笔误。
  • 都加 -fsS:让“真的不健康”算失败;liveness 里只有 livenessState 不会误伤,readiness 里 db/pod 变差才真摘。
  • 探针类型必须选“命令行”,不要选 Http 请求:httpGet 从节点发起,应用只放行 127.0.0.1,节点 IP 一律 403,探针永远失败。
  • 不要动 preStop(优雅下线开关),它和探针是两回事。

四、执行顺序为什么是这个样

顺序不是玄学,反过来就出事:

顺序做什么为什么必须在这个位置
0备份出问题全靠这些 YAML 贴回去
1改 Nacos重启时才读它,必须先把配置备好
2分批重启新配置生效的唯一途径;先动副本最少的服务
3改探针探针要打的地址,由第 1 步配出、第 2 步重启后才存在

三条硬规则:

  • 先改 Nacos 再重启,否则重启用旧配置,白来一轮。
  • 先重启验证再改探针,否则探针打到一个“永远 UP”的地址(默认组里没有数据库),比不改更危险。
  • 先小服务再大服务,否则一出问题就是主接口全挂。

一个反直觉的坑:bootstrap.yml 里确实开了 refresh-enabled: true,但别被骗——已建好的 DruidDataSource 不会跟着重绑定,health group 更是启动期一次性构建的 Bean。这两类改动只能靠重启生效,改完观察几分钟发现“没事”不代表生效了。


五、几个最容易漏的点

  1. 节奏最宽的那个服务最容易被漏。 有个连库服务的探针整套都比别人宽(period 10 / timeout 10 / initialDelay 90),从开始检测到判死要 30 秒而不是 15 秒,所以事故那晚被杀的 Pod 里几乎没它。但没被杀不等于没受影响——它照样连库、照样卡在拿连接上,必须一起改。
  2. 不连库的服务不要混进这批。 网关不连 MySQL,health 里没有 db 组件,库挂了它不会卡,单独排期即可。
  3. 别去“容器组”批量删 Pod。 所有实例会同时重连数据库,等于自己制造一次雪崩。
  4. 优雅下线的预算够不够。 K8s 侧 terminationGracePeriodSeconds 是 30,而应用侧读的是同名配置(默认 15)。preStop 会先 sleep 这个秒数再调 /actuator/shutdown。两侧对不上,Pod 会在 shutdown 之前就被 SIGKILL,优雅下线形同虚设。

六、怎么验证 & 怎么退

验证(每个服务重启后逐条过):

  • 副本齐、重启次数不涨、Pod 创建时间晚于 Nacos 发布时间。
  • group 是否真生效(这才是验收):
bash
curl -s http://127.0.0.1:8080/actuator/health/readiness | grep -oE '"(db|pod|readinessState)"' | sort -u

期望同时出现 "db" 和 "pod"。只有 readinessState 说明自定义 group 没进去;完全空说明 show-details: always 没生效(注意:这种情况 group 可能其实已生效只是看不见,别急着去改 group)。

  • 连接池参数是否生效:日志里再出 GetConnectionTimeoutException 时,看到 wait millis 5000 就是新 maxWait 生效了(旧值 1000)。

回滚(出现任一情况立刻停手): CrashLoopBackOff、重启次数持续上涨、滚动超 15 分钟没到齐、CommunicationsException/GetConnectionTimeoutException 变多、错误率升高。

  1. 探针改坏了:先把三个探针填回原值,第一件事是取消勾选 startupProbe(原来没有它)。
  2. 退回旧版本:用发布平台的“变更记录 → 回滚”,只回 Deployment 模板,不动 Nacos。
  3. 退回 Nacos 配置:历史版本回滚,回滚后还要再重新部署一次,否则服务用的仍是内存里的旧配置。

七、复盘:这次真正该记住的

  • 给每一次“等外部依赖”都设上限。 建连、读、拿连接、健康检查里的探测 SQL——全都要有超时。没有上限的“等”,就是把短暂抖动放大成长时间瘫痪的放大器。
  • liveness 不要碰数据库。 存活探针回答的是“进程还活着吗”,不是“依赖还好吗”。依赖异常该由 readiness 摘流量,而不是由 liveness 杀进程。
  • 探针“杀进程”要极度克制。 一次误杀会引发重启潮,重启潮又放大依赖压力,很容易自激成雪崩。
  • 配置生效路径要清楚。 Nacos 改了不等于生效,连接池和健康分组都得重启——别被 refresh-enabled 骗了。
  • 变更要可灰度、可观测、可回滚,先小后大。 一次改动叠了连接池 + 探针 + 健康分组多个变量,出问题时定位成本会被成倍放大(这也是为什么后来排查每个变量都花了不少功夫)。

数据库切换本身不可怕,可怕的是我们没有给“等待”设边界,还让探针替数据库挨刀。把边界补上、把职责分清,十几秒的抖动就只会是十几秒。

本文作者:Jarvis

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!