节点经历 NotReady 后重新变为 Ready,表示控制面再次观察到节点状态满足可调度条件的一部分,并不保证容器网络接口、地址分配记录、路由和邻居状态已同步恢复。节点短暂离线期间,运行时、CNI 插件与 IPAM 可能分别经历重试、超时或清理;Pod 因而可能仍在运行,却无法访问同节点或跨节点目标。排查应针对具体 Pod、节点和目标逐层验证,避免仅凭 Ready 或一次连通性结果下结论。🔎
适用场景:节点恢复后 Pod 显示运行中,但 Pod 间通信、访问节点网关或访问集群服务出现异常。先记录 Pod UID、所在节点、Pod IP、节点 IP、恢复时间和受影响目标;使用脱敏标识留存诊断材料。📋
比较同一节点上的正常与异常 Pod,并分别测试同节点和跨节点目标。单个 Pod 异常时,优先检查它自己的 sandbox、网络命名空间、接口及 IPAM 分配;整台节点的 Pod 普遍异常时,再检查节点级 CNI 组件、转发配置和节点路由。查看 Pod 事件、容器运行时记录及 CNI 插件日志,关注 sandbox 创建失败、CNI ADD/DEL 超时、重试次数增加、地址池耗尽等信号。节点 Ready 和容器 Running 都不能替代数据面的检查。⚠️
将 CNI 当前状态与该 Pod 的身份对应:确认插件是否报告配置成功,配置使用的网络及 IPAM 类型是什么,最近一次操作针对的是当前 Pod UID 和 sandbox,还是已被替换的旧实例。日志中的历史成功记录不能证明当前接口仍存在;需要把日志时间、Pod 生命周期事件和实际网络命名空间对齐。
按所用 IPAM 的支持方式只读查看分配记录,逐项比对网络名、Pod 标识、地址、分配节点和释放状态。重点辨认两类不一致:Pod 已重建,但旧分配仍占用地址;或者分配记录显示已释放,节点上却仍残留旧接口或地址。前者可能造成地址无法复用或后续分配异常,后者可能让过期路径继续影响转发。记录必须对应当前 UID 与 sandbox;不要把仅有相同名称的旧 Pod 误认为同一实例。🗂️
在 Pod 网络命名空间确认接口存在、地址和掩码符合网络预期;在节点侧找到对应的 veth 或插件所用接口。检查时将接口、地址和分配记录关联起来,而不是仅凭地址相同就断定属于当前 Pod。地址分配记录描述的是分配状态,接口和路由检查反映的是当前数据面;两边都要核对。
在 Pod 命名空间检查默认路由与目标网段路由,再在节点侧查看对应路由表和邻居项。判断目标流量应走本地 veth、节点路由、隧道还是其他插件路径,并确认下一跳指向当前有效节点或端点。缺少路由、重复前缀、旧下一跳及邻居项长期 FAILED 是不同现象,须结合所用 CNI 的网络模型解释。ip addr 和 ip route 可作为常见只读观察入口,但输出范围与必要检查会因插件、路由策略及网络命名空间而异。🧭
按层次测试 Pod 到节点网关、同节点 Pod、跨节点 Pod,以及目标服务的 IP 和端口。若基础 IP 连通失败,先定位地址、接口或路由;若 IP 可达而域名解析失败,再检查 DNS。逐次记下源、目的、发生时间和节点范围,避免将 DNS、网络策略或应用监听问题混为一谈。🧪
常见误区:把 Ready 当作网络健康证明;只看 Pod IP 而不查分配归属;看到路由存在就忽略其下一跳是否过期;基础 IP 未通便先改 DNS;未保存证据就清理分配记录或清空路由。此类动作可能扩大故障或掩盖根因。不要执行不区分归属的地址池清理、全表路由删除或节点级重启来代替诊断。🛡️
验收标准:当前 Pod 身份对应唯一且有效的分配记录;网络接口地址、路由和下一跳符合该 CNI 的预期;同节点、跨节点及目标服务访问均通过,并经过观察未出现重复分配、路由抖动或新的 CNI 错误。结论应记录验证范围和时间。只有控制面状态、分配状态与实际数据路径彼此吻合,才能确认节点恢复后的 Pod 网络问题已处理。✅