Docker 里 Ceph OSD 起不来:盘漂移与依赖顺序
直接答案:容器方式部署的 Ceph 集群,主机重启后 OSD 反复退出,常见两个根因——OSD 对应的磁盘设备名在重启后漂移了(sdb 变了 sdc),以及依赖服务(monitor、键环)没按顺序就绪。按"先看日志、再对盘、最后查依赖"的次序走。
第一看:日志定位退出码
docker logs 看 OSD 容器的最后输出:报错里出现"设备不存在"或"块设备校验失败",方向就是盘漂移;出现 monitor 或认证相关报错,方向是依赖顺序。ceph-osd 的退出码配合日志,基本能把性质定死。
第二对:盘用稳定标识
Linux 的 sdX 设备名不保证重启不变,生产部署一律用稳定路径:按盘的 WWN/序列号生成 by-id 路径,或部署时固化设备映射到配置里。容器编排文件里挂盘写的是 sdb 这类可变名,重启一次漂一次——这是容器化 Ceph 与物理部署在运维上的关键差别。修正映射后重启 OSD 容器,进集群看 health 里 OSD 是否全部 up。
第三查:依赖顺序
OSD 启动依赖 monitor 就绪与键环(认证凭据)可读:mon 容器还在初始化时 OSD 先起,认证失败也会退。编排上给 OSD 加启动顺序依赖与重试;数据盘与 WAL/DB 分区映射核对一致,残留的旧集群凭据要清理干净再入新集群。
预防
升级或迁移前先降容量的 noout 标记,防止重启期间数据乱迁移;主机重启演练纳入季度维护——再补一句监控视角:OSD 在线状态、集群健康告警、各节点磁盘延迟要进统一监控,容器化环境里"容器在跑但集群已降级"的状态隐蔽,等写入报错才发现就晚了。版本升级按官方支持路径走,跨大版本直接跳级的集群,出问题往往没有现成答案。
容器化分布式存储的稳定性不是跑出来的,是"重启过、验证过"练出来的。