/actuator/health 里的 SELECT 1 挂住不返回,探针连续超时,kubelet 把一批 Pod 全 SIGKILL 了;重启后又要连库,再挂一次。后面的三层加固都是搭在这套架构上的,先给个坐标。(已脱敏,不含真实域名 / 集群名 / 库名)
一个面向餐饮商家的 SaaS 云打印 + 收银平台:门店用 App / POS 端点单收银,订单实时推到店里的云打印机出小票,同时落库留档供对账报表;上游还对接美团、饿了么、抖音等外卖渠道下单。
两个直接导致这次故障形态的特点:
| 层次 | 选型 | 备注 |
|---|---|---|
| 语言 / 框架 | Java 8 + Spring Boot 2.7.10 | 健康检查用的是 Actuator /actuator/health,本文第二个根因就埋在这里 |
| 微服务 | Spring Cloud 2021.0.3 + Spring Cloud Alibaba 2021.0.1.0 | 服务间调用 OpenFeign + LoadBalancer;入口 Spring Cloud Gateway;限流熔断 Sentinel(规则持久化在 Nacos) |
| 注册 / 配置中心 | Nacos 2.0.4(阿里云 MSE 托管) | 按 profile 分环境:dev / test / prod / 海外 prod-en;本文的“先改 Nacos 再重启”就来自它 |
| 业务底座 | JeecgBoot 3.5.1 + 自研 starter | |
| 持久层 | MyBatis-Plus 3.5.1 + dynamic-datasource 3.2.0(多数据源) | 连接池 Druid 1.1.22(版本偏老,加固时另踩了一个并发坑,已单独另写一篇复盘);驱动 mysql-connector-java 8.0.27 |
| 数据库 | 阿里云 PolarDB MySQL(主备) | 主备切换本身没问题,问题出在我们怎么对待那十几秒 |
| 消息 / 设备通道 | RocketMQ 5.0 + MQTT | 打印指令走 MQTT 设备通道,不依赖 JDBC;库挂的那十几分钟小票其实照常出 |
| 缓存 | Redis | |
| 定时任务 | 阿里云 SchedulerX | |
| 前端 | Vue 3 + Vite + Ant Design Vue + Pinia | 管理后台;门店 App 另计 |
| 可观测 | SLS 日志 + ARMS / 云监控告警 | Pod 被 SIGKILL、exit 137 这些都是从这里看到 |
一句话概括:Spring Boot 2.7 微服务跑在阿里云 ACK 上,用 Druid 连 PolarDB,健康检查走 Actuator、K8s 探针 exec curl 打它——最后这个连接,就是本次雪崩的传导路径。
exec curl /actuator/health,而这个默认健康组里含数据库检查;failureThreshold: 3,没有 startupProbe,超时只有几秒。refresh-enabled 不管用(已建好的 DruidDataSource 不重绑定,group 是启动期一次性构建的 Bean),只能靠重启 Pod 生效——这就是为什么下面整篇都在讲“改配置 → 分批重启 → 再改探针”。preStop 优雅下线(先把健康组件置 down 摘流量再关进程),改探针时很容易顺手把它删掉。这套架构没什么花活,就是标准的阿里云托管中间件 + Spring Cloud 微服务。也正因为标准,这次栽的不是业务代码,而是连接池参数 + 健康检查分组 + 探针配置这三个“没人当代码看”的地方——它们平时完全静默,只在依赖抖动的第一时间把伤害放大。
那天做数据库主备切换。切换本身很快,实例层面只抖了十几秒。但接下来发生的事,让一次“十几秒”的抖动放大成了“十几分钟”的全站不可用:
flowchart TD
A[主备切换 库抖动十几秒] --> B[池里所有连接作废]
B --> C[服务建新连接 没有超时 一挂十几分钟]
A --> D[health 接口里的 SELECT 1 挂住不返回]
D --> E[探针 exec 连续超时 3 次]
E --> F[kubelet SIGKILL 一批 Pod exit 137]
F --> G[Pod 重启 又要连库]
G --> C
C --> H[库早已恢复 业务仍瘫 16 分钟]
两条线叠加,才把“十几秒”拖成“十几分钟”:
关键认知:探针杀 Pod 不是保护,是帮倒忙。 库的问题不该由“杀应用进程”来解决——它只会把短暂抖动放大成反复重启的雪崩。
连接池在库不可用时新建连接,驱动层没有 connectTimeout,会一直干等。实测最夸张的一次,建连耗时挂到了九百多万毫秒(十几分钟)。这段时间里,请求线程全被占住,接口自然全挂。
修:在 JDBC URL 末尾追加 connectTimeout=3000&socketTimeout=60000——建连 3 秒放弃换下一条,读 60 秒封顶。同时在连接池侧:
| 参数 | 改动 | 作用 |
|---|---|---|
initial-size | 5 → 0 | 启动不再“必须连上库才肯起来”,库不可用时也能先把服务拉起来 |
maxWait | 1000 → 5000 | 业务等连接最多 5 秒,等不到快速报错,别无限卡 |
validationQueryTimeout | 新增 2 | 给健康检查里的 SELECT 1 封顶,防止它一直挂着拖死 Pod |
breakAfterAcquireFailure | 新增 false | 建连失败不熔断整个池 |
connectionErrorRetryAttempts | 新增 3 | 连不上重试 3 次再放弃 |
注:
keepAlive这类“保活”参数和本次切换故障无关,而且在老版本 Druid 上另有并发坑(另有一篇专门复盘)。这里不展开。
现网这批连库服务的探针长这样:
curl http://localhost:8080/actuator/health # 注意没加 -f failureThreshold: 3 无 startupProbe
它杀 Pod 的方式很隐蔽:因为没加 -f,503 也算 curl 成功,所以“状态差”并不会杀 Pod;真正杀它的是请求挂住超过超时时间。/actuator/health 里那个 SELECT 1 一挂,health 不返回,exec 超时连错 3 次就直接动手。
已核实:某个 8 副本的服务,在切换后 7–18 秒内 8 个副本全被 SIGKILL(reason=Error exit=137)。
修:让 liveness 彻底不碰数据库,把“库好不好”交给 readiness 去摘流量,而不是交给 liveness 去杀进程。
见上面那张参数表。核心只有一句话:任何“等数据库”的路径都要有超时,等不到就快速失败,别把线程吊死。
Spring Boot 默认的 readiness 组里只有 readinessState,不含数据库也不含 pod,必须手写:
yamlmanagement:
endpoints:
web:
exposure:
include: metrics,httptrace,shutdown,health
endpoint:
health:
enabled: true
show-details: always # 决定响应体带不带 components,缺了没法验收
probes:
enabled: true
group:
liveness:
include: livenessState # 不含数据库 → 库挂了不杀 Pod
readiness:
include: readinessState,db,pod # db 摘坏库流量,pod 保住优雅下线
shutdown:
enabled: true
三个 include 少一个都会出事:
livenessState:数据库挂了也别说服务死了,别杀它。db:库挂了就别派流量进来,恢复后自动回来。pod:优雅下线靠 preStop 把 pod 组件置 down 来摘流量;漏了 pod,Pod 正在关闭还在接流量,用户会看到一批 502。| 探针 | 打到哪 | 关键参数 | 为什么 |
|---|---|---|---|
| startupProbe | /health/liveness | -m 1,频率 5、超时 3、不健康阈值 60(≈5 分钟) | 启动期给足缓冲,慢启动不被误杀 |
| livenessProbe | /health/liveness | -m 1,频率 10、超时 3、不健康阈值 6 | 不碰数据库,库挂了不杀 Pod |
| readinessProbe | /health/readiness | -m 3,频率 5、超时 4、不健康阈值 6 | 库挂了或正在关闭就摘流量;≈30 秒容忍抖动 |
几个容易忽略但致命的细节:
-m 3)必须大于 validationQueryTimeout(2 秒),否则库稍慢就被误判不健康、流量被抽干。localhost 改成 127.0.0.1:容器里 localhost 可能先解析成 IPv6 ::1,而应用只听 IPv4,探针会连不上、永远失败。这是有意为之,不是笔误。-fsS:让“真的不健康”算失败;liveness 里只有 livenessState 不会误伤,readiness 里 db/pod 变差才真摘。127.0.0.1,节点 IP 一律 403,探针永远失败。preStop(优雅下线开关),它和探针是两回事。顺序不是玄学,反过来就出事:
| 顺序 | 做什么 | 为什么必须在这个位置 |
|---|---|---|
| 0 | 备份 | 出问题全靠这些 YAML 贴回去 |
| 1 | 改 Nacos | 重启时才读它,必须先把配置备好 |
| 2 | 分批重启 | 新配置生效的唯一途径;先动副本最少的服务 |
| 3 | 改探针 | 探针要打的地址,由第 1 步配出、第 2 步重启后才存在 |
三条硬规则:
一个反直觉的坑:
bootstrap.yml里确实开了refresh-enabled: true,但别被骗——已建好的DruidDataSource不会跟着重绑定,health group 更是启动期一次性构建的 Bean。这两类改动只能靠重启生效,改完观察几分钟发现“没事”不代表生效了。
db 组件,库挂了它不会卡,单独排期即可。terminationGracePeriodSeconds 是 30,而应用侧读的是同名配置(默认 15)。preStop 会先 sleep 这个秒数再调 /actuator/shutdown。两侧对不上,Pod 会在 shutdown 之前就被 SIGKILL,优雅下线形同虚设。验证(每个服务重启后逐条过):
bashcurl -s http://127.0.0.1:8080/actuator/health/readiness | grep -oE '"(db|pod|readinessState)"' | sort -u
期望同时出现 "db" 和 "pod"。只有 readinessState 说明自定义 group 没进去;完全空说明 show-details: always 没生效(注意:这种情况 group 可能其实已生效只是看不见,别急着去改 group)。
GetConnectionTimeoutException 时,看到 wait millis 5000 就是新 maxWait 生效了(旧值 1000)。回滚(出现任一情况立刻停手): CrashLoopBackOff、重启次数持续上涨、滚动超 15 分钟没到齐、CommunicationsException/GetConnectionTimeoutException 变多、错误率升高。
refresh-enabled 骗了。数据库切换本身不可怕,可怕的是我们没有给“等待”设边界,还让探针替数据库挨刀。把边界补上、把职责分清,十几秒的抖动就只会是十几秒。
本文作者:Jarvis
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!