momo (@cbasil) 在 服务器崩了,排查了好久才发现硬盘满了 中发帖
下午接到运营的通知,说某项服务无法运行了。该项服务所在的服务器,日常只用来备份数据库和一些小活动项目。不应该会因为负载挂掉。最近也没有动上面的代码。有点想不明白。
通过terminus能够连接到服务器,查了一下nginx和php-fpm都是正常运行。再去看错误日志,日志上提示的是权限不足Failed to read data files。以为是谁把www文件夹权限改了。进去一看发现权限都对。把代码下载到本地也能正常运行。排除了好久就怀疑是不是nginx配置问题,用vim打开配置文件的时候服务器就提示文件不能保存,这时候就想到是不是磁盘满了。用df -h看了一下,果然是满了:
[图片]
300G的服务器都满了,最后排查了一下大文件,结果是mysql备份文件导致的,mysql一天的备份量是2.6G,几个月的时间就满了。