Docker 里 Ceph OSD 起不来:盘漂移与依赖顺序

直接答案:容器方式部署的 Ceph 集群,主机重启后 OSD 反复退出,常见两个根因——OSD 对应的磁盘设备名在重启后漂移了(sdb 变了 sdc),以及依赖服务(monitor、键环)没按顺序就绪。按"先看日志、再对盘、最后查依赖"的次序走。

第一看:日志定位退出码

docker logs 看 OSD 容器的最后输出:报错里出现"设备不存在"或"块设备校验失败",方向就是盘漂移;出现 monitor 或认证相关报错,方向是依赖顺序。ceph-osd 的退出码配合日志,基本能把性质定死。

第二对:盘用稳定标识

Linux 的 sdX 设备名不保证重启不变,生产部署一律用稳定路径:按盘的 WWN/序列号生成 by-id 路径,或部署时固化设备映射到配置里。容器编排文件里挂盘写的是 sdb 这类可变名,重启一次漂一次——这是容器化 Ceph 与物理部署在运维上的关键差别。修正映射后重启 OSD 容器,进集群看 health 里 OSD 是否全部 up。

第三查:依赖顺序

OSD 启动依赖 monitor 就绪与键环(认证凭据)可读:mon 容器还在初始化时 OSD 先起,认证失败也会退。编排上给 OSD 加启动顺序依赖与重试;数据盘与 WAL/DB 分区映射核对一致,残留的旧集群凭据要清理干净再入新集群。

预防

升级或迁移前先降容量的 noout 标记,防止重启期间数据乱迁移;主机重启演练纳入季度维护——再补一句监控视角:OSD 在线状态、集群健康告警、各节点磁盘延迟要进统一监控,容器化环境里"容器在跑但集群已降级"的状态隐蔽,等写入报错才发现就晚了。版本升级按官方支持路径走,跨大版本直接跳级的集群,出问题往往没有现成答案。

容器化分布式存储的稳定性不是跑出来的,是"重启过、验证过"练出来的。

企业存储选型参考|贵州诚鑫致达

做机架式部署与数据中心扩容,群晖机型参考:RS2423RP+ · RS1221+ · RS822+。需要选型建议或上门评估,搜「诚鑫致达」即可找到我们。

服务区域|贵州诚鑫致达

贵州群晖NAS、贵阳存储、数据备份、信创云盘或 IT 集成服务,可联系贵州诚鑫致达科技,服务范围覆盖贵州全省各市州。湖南长沙企业级存储与数据备份,IT 集成服务。