用一个餐厅厨师,讲懂 K8s 的三个探针:startup、readiness、liveness
一句话先记住:
startup 等你准备好,readiness 看你自己能不能接单(别管上游下游),liveness 只看你活没活着。越重的后果,问的问题越要简单、门槛越要高。
先打个比方
把一个服务的 Pod 想象成餐厅里的一名厨师。K8s 里的三个探针,就是经理找厨师问的三个问题。后果一个比一个重:
| 探针 | 经理问什么 | 回答 "不行" 会怎样 |
|---|---|---|
| startup(启动) | "你到岗准备好了吗?" | 再等等他;到时间还没准备好就换人 |
| readiness(就绪) | "你现在能接单吗?" | 先不给他派单,人留着,好了再派 |
| liveness(存活) | "你还活着吗?" | 直接换人(重启容器) |
-
startup:只是多等一会儿;
-
readiness:暂停派单;
-
liveness:直接换人。
下面逐个说,最后拿一次典型故障推演一遍。
一、startup:上岗前的准备
厨师刚来,要换衣服、热锅、备菜。对应到程序里,就是 Java 启动、JIT 编译、连接池建满、缓存加载这一整套冷启动过程。
这段时间里,另外两个探针先不检查 —— 免得他还在热锅,就被当成 "挂了" 换掉。
-
给的时间要留足,比如 3 分钟;
-
这次故障里,一个新上线的服务实例就是锅还没热就被塞满了订单(冷启动叠加 CPU 限流),所以对应的改进要求是:把预热放在这个阶段完成。
二、readiness:能不能接单(这次出事的就是它)
现在的问题:检查排在了订单后面
经理问 "能接单吗",现在是排在顾客订单后面问的。
业务服务的厨师们都在等供应商送菜(上游依赖接口很慢),手上订单全卡住,经理的问题也排在队尾。5 秒没人回答,经理就认定 "这个厨师不能接单"。 5 个厨师都卡着,就全部停止派单,门口顾客直接被拒 —— 也就是网关返回的 503。
但厨师其实没坏,是供应商慢。就算把他们全停掉,也换不来更快的菜,只会让还能出几道菜的厨房彻底关门。
改造方向一:独立端口,单独问
改成独立端口以后,经理走后门单独问,不用排在订单后面,厨师可以马上回答。
改造方向二:别只问 "你在吗",要问 "你手上的单是不是满了很久"
如果厨师本人真出了问题 —— 比如晕倒(Full GC)、手卡住(死锁)—— 只问 "在吗",他也会答 "在",结果订单还一直往他那里派。所以判断标准要换成看自身负载:
-
偶尔忙一下(瞬时峰值) → 照常派单;
-
连续 15 秒以上都 95% 满,说明这个人真不行了 → 先别给他派单;
-
其他厨师正常的话,只会停掉这一个人,不会全店关门。
总结成一句:
readiness 只管 "我自己怎么样",不管 "供应商快不快"。
三、liveness:人还在不在
这是最狠的探针,回答 "不行" 就直接换人(重启)。所以只能问最基本的问题:"人还在不在?"(进程活着没有)
绝对不能问 "你手上的单满没满",也不能问 "供应商快不快"。因为供应商一慢,所有厨师的单都会满,liveness 一判就把全部厨师一起换掉;新来的又要重新热锅,情况更糟。
之前另一次线上故障就是这样:探针判断太敏感,结果所有 Pod 一起被重启。
四、三个探针怎么配合(拿这次故障推演)
场景 A:上游依赖又变慢了
现在:
工作线程卡住 → readiness 排队超时 → 5 个 Pod 都被摘掉 → 网关没有后端 → 大面积 503。
改造后:
工作线程卡住 → readiness 走独立端口,马上答 "我本身没问题" → Pod 不会被摘 → 部分请求变慢或失败,但不会全站 503。再配合超时与熔断、降级缓存,用户基本感觉不到。
场景 B:只有某一个业务 Pod 自己出了问题(死锁)
-
它的线程池持续是满的 → readiness 只把它自己摘掉 → 其他 4 个照常工作;
-
liveness 不会因此重启它,交给告警,由人工判断要不要处理。
五、参数为什么这么配
-
timeout 要小于 period:经理每 5 秒问一次,每次最多等 2 秒。现在是每 3 秒问一次却要等 5 秒,上一个问题还没答完,下一个就来了,这个配置本身就不合理。
-
failureThreshold = 3:连续 3 次答不上来才算数,避免偶尔一次没答就误判。
-
liveness 门槛设得更高(失败 6 次,每次间隔 10 秒,大约 1 分钟):因为它的后果是换人,宁可慢一点判断,也别误杀。
最后
三个探针,本质是三档 "处置力度":
-
startup:给新人时间热身,热身完之前不打扰;
-
readiness:判断当前能不能接客,只看自身状态,不背上下游的锅;
-
liveness:只确认进程还活着,问的问题最简单,判定门槛最高。
越重的后果,探针问的问题越要简单、门槛越要高。