容器出现“磁盘空间不足”,不一定表示 Kubernetes 节点的磁盘已经耗尽。应用写入可能受容器可写层、Pod 的 ephemeral-storage 资源管理、临时卷限制、底层文件系统容量或 inode 数量影响。节点监控显示仍有余量,只能描述某个节点或挂载点的整体情况,不能证明容器实际写入路径没有触及更窄的边界。
排查时先记录失败目录、错误信息和时间,再确认目录对应的挂载与存储层;随后关联 Pod 配置、事件、用量和节点指标。这个顺序能减少把节点扩容当作通用答案的误判,也便于判断问题究竟是容量、配额还是 inode。
容器可写层:镜像层通常只读,容器运行时提供可写层来保存容器内新增或修改的文件。没有被卷挂载覆盖的应用目录,常会落在这一层。其空间使用与镜像、运行时、节点文件系统及可能配置的配额有关,不能仅凭 Pod 声明推断一个独立分区已经分配给容器。
临时卷:emptyDir 的生命周期与 Pod 相关,可使用节点磁盘,也可配置为内存介质。磁盘型卷会消耗节点本地临时存储;内存型卷则消耗内存资源。检查 volumeMounts、Volumes 及其 sizeLimit,并确认应用写入路径确实位于预期挂载点。🗂️
本地临时存储管理:容器可写层、容器日志以及部分临时卷会参与 ephemeral-storage 资源管理。requests 用于调度等资源判断,limits 用于资源约束和超限管理;二者不是自动创建磁盘分区的命令。Pod 可能因临时存储压力被驱逐,因此也要关注节点压力与事件。
检查示例:kubectl describe pod <虚构Pod名> -n <虚构命名空间>可用于查看资源、状态与事件;查询结果应结合实际集群的配置和指标解读。不要把示例占位名称直接用于生产操作。🔍
比较应用失败时间附近的容器或 Pod 临时存储用量、节点文件系统可用空间、inode 使用率、日志目录增长和相关事件。指标名、标签、采集范围及统计口径会随 kubelet、运行时和监控组件而异;先确认指标代表哪个容器、Pod、卷或文件系统,再与现场配置核对。字节余量充足而 inode 接近耗尽时,创建大量小文件仍会失败。📈
如果节点有余量,但单个容器用量持续逼近其限额或发生超限事件,应检查容器可写层和 ephemeral-storage 管理;若失败目录位于 emptyDir,则查看卷用量、sizeLimit 和承载它的介质。若用量指标未覆盖运行时日志或卷,不能据此断言这些路径没有增长。
验收标准:目标路径写入成功;增长速率与容量规划相符;未出现新的超限或驱逐事件;日志、缓存或卷的生命周期行为符合设计;相关指标能指向实际存储层。✅
结论:把“磁盘写满”拆成写入位置、资源限额、卷配额、节点文件系统与 inode 五个检查点,按路径定位并用同一时间窗口的配置、事件和指标互相验证,再以实际负载验收修复效果。🎯