服务器半夜自己重启了好几次,查日志又看不出名堂,从哪几个方向收网?
问题
公司那台服务器最近半夜自己重启,一晚上能来两三回,白天又一切正常。翻开系统日志,只看到重启记录,重启前的报错要么没有,要么看不懂。没人半夜碰过机器,远程也没人操作,它为什么总挑半夜重启?这种没头没尾的毛病该从哪几个方向收网?
原因分析
日志"看不出名堂",多数是因为只翻了重启那一行,真正有价值的线索藏在重启之前的最后一段记录里。排查这类故障,先把"什么时候重启"和"重启前发生了什么"两件事分开查。
重启时间点本身就是一条大线索。固定在某个钟点重启,比如每天凌晨三点准时来一回,高度怀疑是计划任务或自动更新在背后安排的;时间飘忽不定,则更像硬件或环境层面的事,电源、温度、内存这些因素不会看钟点行事。
半夜还有个特殊性:办公楼的空调、电压和值班状态跟白天不一样。机房空调晚上停机、市电电压波动、UPS 半夜跑自检,这些环境变量都爱在夜里集中出现,服务器撑不住就重启给你看。
分步解决
第一步,把时间点锁死。翻系统日志里的开关机记录,把每次重启的日期钟点抄下来排一排,连排十来次,规律自己会浮出来。固定钟点的,直接跳到第四步查计划任务;飘忽的,往下查硬件和环境。
第二步,盯住重启前的最后一段日志。每次重启前把日志往前翻,看最后几十行里有没有硬盘报错、内存报错、温度告警这类记录,有就抄下来查清含义。内核崩溃型的故障,日志末尾常留有一段紧急记录,那是最有价值的现场。
第三步,查温度和环境。看服务器传感器读数的历史曲线,重点看半夜时段温度是不是一路爬高。机房空调有没有定时停机、半夜有没有人随手关空调,问到就清楚了。温度曲线半夜翘头,重启的源头大概率是散热,把空调的定时设置改掉再观察几天。
第四步,查计划任务和更新策略。翻任务计划里有没有定时重启的条目,看系统的自动更新设置是不是"更新完自动重启"。运维脚本、备份脚本里带着重启动作的也要过一遍,有时前任留下的脚本没人知道还在跑。
第五步,硬件面收网。电源老化是半夜重启的经典原因,白天负载轻扛得住,深夜电压一波动机器就重启,有条件借一个好电源换上观察几天。UPS 也要看一眼,部分机型半夜跑自检或者电池带不动负载时会把机器闪断一次,自检时间可以调,别让它跟业务撞车。
预防
- 关键日志设置外发或定期备份,重启不丢现场,排查才有材料。
- 温度告警接到人,半夜机房温度超标能叫醒值班的人,别靠服务器自己重启"抗议"。
- 更新和重启统一安排在业务窗口,关掉自动重启,什么时候重启由运维说了算。
半夜重启这种事,线索都躺在日志和曲线里,方向收对了,两三天内基本能定位。贵州诚鑫致达科技做服务器运维和机房环境管理,日志巡检、温度监控和硬件更换都在服务范围内,服务器夜里出的事,白天就能查出个所以然。