节点重启如何排查

节点重启的排查整体思路

排查节点重启的原因需要结合硬件状态、系统日志和配置等多个方面进行综合分析。以下是详细的排查步骤和思路：

1. 登录带外管理系统查看硬件状态

通过服务器的带外管理接口（如 iDRAC、iLO、IPMI 等）查看硬件运行状态和历史事件日志。

关键检查点：

• 电源问题：检查是否存在电源中断、过载或故障记录。
• 硬件故障：如内存 ECC 错误、CPU 温度过高、硬盘故障等。
• 温度与风扇状态：确认是否有过热或风扇异常报警。
• 事件日志：在带外系统中查找可能的硬件错误或重启触发事件。

操作方法：

2. 分析相关日志

系统日志是排查重启原因的重要依据。重点关注以下几个日志文件：

核心日志文件：

• 系统日志：

  • /var/log/messages 或 /var/log/syslog。
  • 查看重启前的异常信息，例如 OOM（内存不足）、I/O 错误、服务崩溃等：

    tail -n 500 /var/log/messages
    

• 内核日志：

  • 使用 dmesg 查看硬件相关错误或内核 Panic 信息：

    dmesg | grep -i 'error\|panic\|fail'
    

dmesg | grep -i ‘error|fail|disk|ata’
dmesg | grep -i error # 查找包含“error”的日志
dmesg | grep -i fail # 查找失败的硬件初始化
dmesg | grep -E ‘disk|ata’ # 查找磁盘相关的警告

• 崩溃转储文件（如果启用 kdump）：
  • 检查是否生成了转储文件（默认路径 /var/crash），并使用 crash 工具分析：

    crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/vmcore
    

3. 收集服务器型号和系统版本

了解服务器的硬件和软件环境，确认是否存在已知的兼容性问题或 Bug。

检查服务器型号：

• 登录带外管理系统查看型号信息。
• 或在系统内使用以下命令：

  dmidecode | grep -A3 "System Information"
  

检查系统版本：

• 查看操作系统版本和内核版本：

  cat /etc/os-release
  uname -r
  

确认补丁和驱动状态：

• 检查是否安装了最新的系统更新和硬件驱动。
• 如果内核或系统版本过旧，可能存在未修复的 Bug。

4. 检查配置和资源状态

确认系统资源和配置是否异常，导致自动重启。

内存使用情况：

• 查看是否因 OOM（Out of Memory）触发了重启：

  grep -i "oom" /var/log/messages
  

磁盘空间：

• 确保磁盘空间足够：

  df -h
  

smartctl

• 用途：检查硬盘的健康状态，包括 SMART 属性、错误记录等。
• 要针对特定硬盘运行命令，需要指定设备路径（如 /dev/sda）。
• 使用示例：

 smartctl -a /dev/sda       # 显示硬盘的完整状态
 smartctl -t short /dev/sda # 执行快速健康检查
 smartctl -t long /dev/sda  # 执行全面健康检查

电源设置：

• 检查是否配置了自动重启（BIOS 或系统级别）。

5. 检查近期变更

• 是否进行了系统更新、内核升级、配置更改或新增硬件。
• 是否有新的应用程序或服务部署。

6. 确认人为操作

查看是否有人工或自动化脚本触发的重启操作。

系统命令记录：

• 查看用户是否执行了重启命令：

  last reboot
  grep "reboot" /var/log/messages
  

计划任务：

• 检查是否有计划任务触发重启：

  crontab -l
  

7. 根据问题类型采取解决措施

• 硬件问题：联系硬件供应商或更换故障组件。
• 系统问题：升级系统版本、补丁或调整配置。
• 应用问题：优化资源使用，避免程序占用过多内存或 CPU。

日志分析细节

• 当前提供的日志文件仅显示系统启动信息（如 BIOS 和内存初始化、NUMA 配置等），未直接指明重启的具体原因。
• 检查启动前日志（如 /var/log/messages 和 /var/log/kern.log）可能更有帮助。
• 通过 /var/crash 或 kdump 提供的转储文件分析堆栈信息。

/var/crash 目录介绍

用途：

1. 存储崩溃转储文件：
   • 当系统发生 Kernel Panic 或进程崩溃时，崩溃转储工具（如 kdump 或 apport）会生成内存转储文件。
2. 问题诊断：
   • 转储文件包含崩溃时的内存内容、调用堆栈、寄存器信息等。

常见文件类型：

1. vmcore 文件：记录内核崩溃的内存转储。
2. vmcore-dmesg.txt：崩溃前的内核日志。
3. core 文件：进程崩溃的转储文件。

目录管理：

• 检查空间：

  du -sh /var/crash
  

• 清理旧文件：

  rm -rf /var/crash/*
  

分析工具：

1. crash：分析内核转储文件。
2. gdb：分析进程核心转储。
3. journalctl：查看系统日志。

总结

• 综合分析硬件状态、日志信息和转储文件，逐步排查系统重启原因。
• 维护 /var/crash 空间，定期清理无用文件，避免影响系统运行。