一、背景
某次月度巡检过程中,发现服务器磁盘占用率超过90%,相较于上一月度巡检,增长速度异常,应用系统存在运行不稳定的风险。
二、问题排查
1. 确定硬盘当前使用情况
df -lh
2. 定位最大文件
$ sudo du -h --max-depth=1 /
经查/var/log目录的总大小达数百GB,进入到该目录使用ls -lhS命令将文件从大到小顺序排列,发现其中一个log文件大小异常,使用tail -f命令查看该文件内容,发现该文件的内容为top命令的执行结果,进一步排查哪个进程在修改该文件,发现有一脚本每半分钟执行top命令并将执行结果追加到文件末尾。
三、问题处理
经与用户确认,该脚本为上级单位信息安全检查时使用,后忘记将脚本停止运行,导致不断往日志目录下指定文件末尾追加内容。确认该脚本不再使用后,手动停止该脚本,删除该脚本输出的文件,服务器磁盘占用率降至正常水平。