饮墨

子安饮墨馀三斗,留与卿儿作赋来

用一个餐厅厨师,讲懂 K8s 的三个探针:startup、readiness、liveness

17 views

用一个餐厅厨师,讲懂 K8s 的三个探针:startup、readiness、liveness

一句话先记住:

startup 等你准备好,readiness 看你自己能不能接单(别管上游下游),liveness 只看你活没活着。越重的后果,问的问题越要简单、门槛越要高。

先打个比方

把一个服务的 Pod 想象成餐厅里的一名厨师。K8s 里的三个探针,就是经理找厨师问的三个问题。后果一个比一个重:

探针 经理问什么 回答 "不行" 会怎样
startup(启动) "你到岗准备好了吗?" 再等等他;到时间还没准备好就换人
readiness(就绪) "你现在能接单吗?" 先不给他派单,人留着,好了再派
liveness(存活) "你还活着吗?" 直接换人(重启容器)
  • startup:只是多等一会儿;

  • readiness:暂停派单;

  • liveness:直接换人。

下面逐个说,最后拿一次典型故障推演一遍。


一、startup:上岗前的准备

厨师刚来,要换衣服、热锅、备菜。对应到程序里,就是 Java 启动、JIT 编译、连接池建满、缓存加载这一整套冷启动过程。

这段时间里,另外两个探针先不检查 —— 免得他还在热锅,就被当成 "挂了" 换掉。

  • 给的时间要留足,比如 3 分钟;

  • 这次故障里,一个新上线的服务实例就是锅还没热就被塞满了订单(冷启动叠加 CPU 限流),所以对应的改进要求是:把预热放在这个阶段完成。

二、readiness:能不能接单(这次出事的就是它)

现在的问题:检查排在了订单后面

经理问 "能接单吗",现在是排在顾客订单后面问的。

业务服务的厨师们都在等供应商送菜(上游依赖接口很慢),手上订单全卡住,经理的问题也排在队尾。5 秒没人回答,经理就认定 "这个厨师不能接单"。 5 个厨师都卡着,就全部停止派单,门口顾客直接被拒 —— 也就是网关返回的 503。

但厨师其实没坏,是供应商慢。就算把他们全停掉,也换不来更快的菜,只会让还能出几道菜的厨房彻底关门。

改造方向一:独立端口,单独问

改成独立端口以后,经理走后门单独问,不用排在订单后面,厨师可以马上回答。

改造方向二:别只问 "你在吗",要问 "你手上的单是不是满了很久"

如果厨师本人真出了问题 —— 比如晕倒(Full GC)、手卡住(死锁)—— 只问 "在吗",他也会答 "在",结果订单还一直往他那里派。所以判断标准要换成看自身负载:

  • 偶尔忙一下(瞬时峰值) → 照常派单;

  • 连续 15 秒以上都 95% 满,说明这个人真不行了 → 先别给他派单;

  • 其他厨师正常的话,只会停掉这一个人,不会全店关门。

总结成一句:

readiness 只管 "我自己怎么样",不管 "供应商快不快"。

三、liveness:人还在不在

这是最狠的探针,回答 "不行" 就直接换人(重启)。所以只能问最基本的问题:"人还在不在?"(进程活着没有)

绝对不能问 "你手上的单满没满",也不能问 "供应商快不快"。因为供应商一慢,所有厨师的单都会满,liveness 一判就把全部厨师一起换掉;新来的又要重新热锅,情况更糟。

之前另一次线上故障就是这样:探针判断太敏感,结果所有 Pod 一起被重启。

四、三个探针怎么配合(拿这次故障推演)

场景 A:上游依赖又变慢了

现在:

工作线程卡住 → readiness 排队超时 → 5 个 Pod 都被摘掉 → 网关没有后端 → 大面积 503。

改造后:

工作线程卡住 → readiness 走独立端口,马上答 "我本身没问题" → Pod 不会被摘 → 部分请求变慢或失败,但不会全站 503。再配合超时与熔断、降级缓存,用户基本感觉不到。

场景 B:只有某一个业务 Pod 自己出了问题(死锁)

  • 它的线程池持续是满的 → readiness 只把它自己摘掉 → 其他 4 个照常工作;

  • liveness 不会因此重启它,交给告警,由人工判断要不要处理。

五、参数为什么这么配

  • timeout 要小于 period:经理每 5 秒问一次,每次最多等 2 秒。现在是每 3 秒问一次却要等 5 秒,上一个问题还没答完,下一个就来了,这个配置本身就不合理。

  • failureThreshold = 3:连续 3 次答不上来才算数,避免偶尔一次没答就误判。

  • liveness 门槛设得更高(失败 6 次,每次间隔 10 秒,大约 1 分钟):因为它的后果是换人,宁可慢一点判断,也别误杀。


最后

三个探针,本质是三档 "处置力度":

  1. startup:给新人时间热身,热身完之前不打扰;

  2. readiness:判断当前能不能接客,只看自身状态,不背上下游的锅;

  3. liveness:只确认进程还活着,问的问题最简单,判定门槛最高。

越重的后果,探针问的问题越要简单、门槛越要高。

分享:

相关文章