1、 确认所在主机及系统版本

通过#hostname、#oslevel确认所在主机后,再进行后续操作。

2、运行lsdev 命令配置各种参数,所列各种设备状态都应为Available。

#lsdev –CHS a             列出系统中可用设备。
#lsdev –Cc processor         列出系统中的所有CPU。
#lsdev –Cc memory         列出系统中的所有内存。
#lsdev –Cc disk             列出系统中的所有硬盘。
#lsdev -Cc adapter | grep ent       列出系统中的所有网卡
#lsdev -Cc adapter | grep scsi     列出系统中的所有SCSI卡。
#lsdev -Cc adapter | grep ssa       列出系统中的所有SSA卡。

3、检查pv信息

#lspv           显示系统中可用的PV。
#lspv hdiskn       显示hdiskn的具体信息。
#lsdev –Cc pdisk   显示磁盘阵列的硬盘的具体信息。
对SSA硬盘的检测:在对主机进行工作之前可以先把磁盘阵列上电,等主机完全启动后,登录到主机上,运行以下命令“ lsdev –Cc pdisk “,应该可以看到所有SSA硬盘,并且状态应为Available。

4、 检查内存信息

#lsattr –El mem0   列出系统中内存mem0的大小。

5 、检查vg信息

#lsvg           列出系统中所有的vg。
#lsvg rootvg       列出rootvg的详细信息。
#lsvg –o         列出激活的vg。

6、检查系统中各网卡配置

#netstat –in   查看网卡的IP是否配置好了。

7、检测主机内所有硬件

#diag 检测结果为 “No trouble found ”则各部分工作正常。
(选择:Task Selection-> SSA Service Aids)对SSA硬盘链路连接的校验,可以通过SSA 工具里的Link Verification 来检测。如有必要,可以用 Certify Disk运行硬盘诊断部分进行硬盘的表面分析测试。

9、查看PAGING SPACE的使用情况

#lsps –a 通常如果使用率超过70%,就需要采取措施。

10、查看有无stale的lv

#lsvg –o | lsvg –il | grep –i stale  如果输入该命令之后有输出结果,就需要采取措施。

11、 查看root用户的mail

#mail 是否有收到系统错误报告。

12、 检查双机状态

#lssrc –g cluster 检查ha三个工作进程是否激活。
#/usr/sbin/cluster/clstat –a 检查双机状态是否up。
#检查hacmp.out日志, 是否有异常信息输出。

13、 检查能否顺利进入CDE界面

如果不能进入的话,要检查/etc/hosts表中有否错误的项目。

14、 用smitty ssaraid 查看磁盘阵列RAID盘的状态是否是Good。

如果是degrade或其他状态表示RAID盘出现问题了。

15、  查看系统的DUMP设置是否正常。

#sysdumpdev -l

16、 查看当前操作系统补丁版本补丁程序(PTF)是否满足稳定运行的需要。

#instfix –ik |grep ML

17、查看磁盘空间占用率

#df –h 确保以下文件系统的占用率高于80%立即上报: /  /var  /usr  /home  /tmp   其余文件系统的占用率高于95%立即上报。可通过shell编程,在达到警戒线时发送邮件通知管理员。
find . –size +2048 –o ctime 1 –exec ls –l {} \; 查出大于1M或一天之内修改过的文件。

18、磁带机是否需要清洗

#/usr/lpp/diagnostics/bin/utape -cd rmt0 –n
显示结果为磁带机使用的小时数,若大于规定时数,如72小时,则不论磁带机黄灯是否亮都应用清洁带清洗。

19、检查 errdaemon, srcmstr 是否正常运行

# ps -ef|grep err
# ps -ef|grep src

20、性能命令参数及解析(vmstat、sar、ps、iostat、netstat)

vmstat命令解析:vmstat 命令的输出可以反映系统整体运行状况,包括cpu、内存、虚拟页面、系统进程和系统调用情况。
检查CPU是否为瓶颈,分别检查CPU的四项数值和kthr的两项数值。
检查MEM是否为瓶颈,分别检查Memory的两项数值和Page 的六项数值。

 sar可以用来收集反映系统运行状况,主要是查看CPU的运行状况,CPU是否负载均衡,是否存在分配不均的情况。

ps可以用来查看进程的当前状态。通过参数的配搭,可以观察目前正在运行的进程所耗的时间,CPU和memory 量.其中,%CPU表示进程所占用的CPU资源情况,%MEM表示进程所占用的内存情况。主要检查是否有标示为的僵尸进程耗用系统资源,以及数据库的进程的系统消耗情况。

iostat可以用来查看系统的 I/O的输入输出情况,主要查看阵列上的硬盘的每秒读写量,同时估算磁盘阵列读写速度HHhHhh 。可配合dd使用,如:在机器上用dd命令进行磁盘阵列的写操作校验,与此同时用iostat 1 –d  hdiskX观察磁盘。

netstat可以用来查看系统的网络情况,主要是查看网络客户端连接的情况和开销,检查参数为state,如有死连接,state状态为fin_wait, 这样耗用系统网络资源,从而导致网络性能下降构成瓶颈。

21、关闭重启系统

停止HACMP ( smitty clstop)。

查看HACMP的状态,检查服务器的网络地址,路由表(可用netstat -i , netstat -rn 等),检查文件系统,逻辑卷(可用 mount , lsvg -o 等)。在HACMP未完全停止前不要进行下一步。

关闭主机 :shutdown –F
重启系统可以使用:shutdown -Fr

如有必要的话,按磁盘阵列前方的白色按钮关闭磁盘阵列。

摘自:《IBM_P系列小型机日常维护故障定位故障排除手册》。

最后修改:2021 年 01 月 06 日
如果觉得我的文章对你有用,请随意赞赏