問(wèn)題背景

磁盤(pán)空間告警是 Linux 服務(wù)器最常見(jiàn)的報(bào)警之一。很多人的第一反應(yīng)是登錄服務(wù)器直接rm -rf找大文件刪掉。但實(shí)際場(chǎng)景中，"磁盤(pán)滿"往往有三種不同情況：

磁盤(pán)空間真的滿了（df -h 顯示 100%）

inode 耗盡了（df -h 顯示還有空間，但系統(tǒng)報(bào) No space left on device）

文件已刪除但空間未釋放（df 顯示滿，但 du 統(tǒng)計(jì)不到大文件）

不分清楚這三種情況就盲目刪文件，可能刪了半小時(shí)空間也沒(méi)釋放，或者刪了不該刪的文件導(dǎo)致業(yè)務(wù)異常。

本文按排查順序逐一講解 8 個(gè)關(guān)鍵命令，覆蓋空間排查、inode 排查、已刪文件句柄排查、IO 性能排查，最后給出生產(chǎn)環(huán)境清理的標(biāo)準(zhǔn)流程。

一、排查前的準(zhǔn)備工作

在開(kāi)始刪除任何文件前，先做兩件事：

# 記錄當(dāng)前磁盤(pán)狀態(tài)，以便事后回溯
$ df -h > /tmp/disk_before_$(date +%s).txt
$ df -i >> /tmp/disk_before_$(date +%s).txt

# 確認(rèn)掛載點(diǎn)對(duì)應(yīng)的業(yè)務(wù)
$ mount | grep <掛載點(diǎn)>
$ ls -la <掛載點(diǎn)> | head

如果有多塊數(shù)據(jù)盤(pán)（如 /data、/var/log 獨(dú)立分區(qū)），先確認(rèn)哪個(gè)分區(qū)滿了，再針對(duì)性排查。

二、8 個(gè)命令逐一詳解

命令 1：df -h —— 查看各掛載點(diǎn)使用率

$ df -h
Filesystem   Size Used Avail Use% Mounted on
/dev/vda1    40G  38G  16M 100% /
/dev/vdb1    200G 120G  80G  60% /data

關(guān)鍵檢查點(diǎn)：

**Use% = 100%**：該分區(qū)空間已滿，需要立即處理

**Use% = 90~99%**：預(yù)警范圍，需要排查哪些目錄在持續(xù)增長(zhǎng)

關(guān)注 Avail 列而非 Used 列：Avail 是實(shí)際可用空間（非 root 用戶可用），Used 可能包含預(yù)留塊（默認(rèn) 5%）

預(yù)留塊含義：mkfs.ext4默認(rèn)保留 5% 給 root 用戶，所以非 root 用戶看到 Avail 會(huì)比預(yù)期少。數(shù)據(jù)盤(pán)可以用tune2fs -m 1 /dev/vdb1調(diào)低到 1%。

命令 2：df -i —— 檢查 inode 是否耗盡

$ df -i
Filesystem   Inodes IUsed  IFree IUse% Mounted on
/dev/vda1   256000 255900   100 100% /

典型陷阱：df -h顯示還有空間，但系統(tǒng)報(bào)No space left on device，此時(shí)df -i很可能顯示 IUsed = 100%。

inode 耗盡的原因是小文件太多——每個(gè)文件（不管大小 1 字節(jié)還是 1GB）都需要一個(gè) inode。一個(gè) 40GB 的分區(qū)如果滿了 255 萬(wàn)個(gè)小文件，inode 就會(huì)耗盡，實(shí)際空間可能只用了 10%。

快速定位小文件目錄：

# 統(tǒng)計(jì)各目錄的文件數(shù)量（遞歸深度 1）
$fordirin/*/;doecho-n"$dir: "; find"$dir"-xdev -typef 2>/dev/null | wc -l;done
# -xdev 限制在同一文件系統(tǒng)，避免統(tǒng)計(jì)到掛載點(diǎn)內(nèi)

# 更精確的方式——逐級(jí)排查
$ find / -xdev -typef | awk -F/'{$NF=""; print $0}'| sort | uniq -c | sort -rn | head -10

命令 3：du -sh —— 逐層定位大目錄

# 查看根目錄下各一級(jí)目錄的大小
$ du -h --max-depth=1 / | sort -rh | head -10
6.2G  /usr
4.1G  /var
2.8G  /opt
1.5G  /home
1.2G  /root
...

# 發(fā)現(xiàn) /var 大后，再深入
$ du -h --max-depth=1 /var/ | sort -rh | head -10
3.5G  /var/log
500M  /var/lib
...

# 直到定位到具體目錄
$ du -sh /var/log/nginx/
1.2G  /var/log/nginx/

du遞歸統(tǒng)計(jì)所有子目錄，大目錄下逐層深入很快就能找到"罪魁禍?zhǔn)?。

常用變體：

# 只看當(dāng)前目錄下各子目錄大小，不遞歸更深
$ du -sh */ .[!.]*/

# 用 time 限制范圍（只看修改時(shí)間早于 N 天的文件）
# 統(tǒng)計(jì) 30 天前的日志總量
$ find /var/log-name"*.log"-mtime +30 -typef -execdu -ch {} + | tail -1

命令 4：lsof | grep deleted —— 查找已刪除但未釋放的文件

這是最容易被忽略但實(shí)際非常常見(jiàn)的場(chǎng)景。當(dāng)一個(gè)文件被rm刪除后，如果有進(jìn)程仍然持有這個(gè)文件的句柄，磁盤(pán)空間不會(huì)立即釋放。

# 檢查所有已刪除但仍有進(jìn)程引用的文件
$ sudo lsof | grep deleted
COMMAND  PID  USER  FD  TYPE DEVICE SIZE/OFF  NODE NAME
java   3456  root  23w  REG 202,1 2147483648 12345 /var/log/app/access.log (deleted)
nginx   2321  www  5w  REG 202,1 1073741824 23456 /var/log/nginx/access.log (deleted)

關(guān)鍵信息解讀：

SIZE/OFF列：文件的實(shí)際大?。▎挝蛔止?jié)），這里是 2GB 和 1GB

NAME列末尾的(deleted)標(biāo)記說(shuō)明文件已被刪除但句柄未釋放

FD（File Descriptor）列：23w表示第 23 號(hào)文件描述符，打開(kāi)方式為寫(xiě)入

解決方法（按推薦順序）：

安全方式——通知進(jìn)程重載文件句柄（大多數(shù)日志框架支持）：

$kill-USR1   # Java / log4j / syslog-ng
$ nginx -s reopen   # Nginx
$ systemctl restart rsyslog

強(qiáng)制方式——如果進(jìn)程不響應(yīng) USR1 信號(hào)或不是日志類(lèi)文件：

# 確認(rèn)進(jìn)程是否可以重啟
$ systemctl restart 

# 或直接 kill 進(jìn)程（確認(rèn)不影響業(yè)務(wù)后）
$kill-9 

臨時(shí)釋放——清空文件內(nèi)容而非刪除文件，不依賴(lài)信號(hào)：

$ : > /proc//fd/

這不會(huì)關(guān)閉進(jìn)程的文件描述符，而是將文件內(nèi)容截?cái)酁?0，立即釋放磁盤(pán)空間。適用于不能重啟進(jìn)程的生產(chǎn)環(huán)境。

為什么會(huì)出現(xiàn)這種情況：

最常見(jiàn)的場(chǎng)景是 logrotate。很多默認(rèn)的 logrotate 配置使用create指令，流程是：mv access.log access.log.1->create access.log（新建空文件）。新文件有了新 inode，但舊文件的句柄仍然被進(jìn)程持有，舊文件的磁盤(pán)空間一直占用直到進(jìn)程重啟。

正確的做法是 logrotate 配置copytruncate：

/var/log/nginx/*.log{
  daily
  rotate 30
  copytruncate  # 復(fù)制內(nèi)容后截?cái)嘣募?，不改?inode
  compress
  delaycompress
  missingok
  notifempty
}

命令 5：find 查找大文件

# 查找根目錄下大于 100MB 的文件
$ find / -xdev -typef -size +100M -execls -lh {} ; 2>/dev/null | sort -k5 -rh | head -20

# 查找特定目錄下大于 1GB 的文件
$ find /var/log-typef -size +1G -execls -lh {} ; 2>/dev/null

# 查找最近 7 天內(nèi)沒(méi)有修改過(guò)的大文件（適合清理歷史歸檔）
$ find /data/archive -typef -size +500M -mtime +7 -execls -lh {} ; 2>/dev/null

參數(shù)解釋?zhuān)?/p>

-xdev：限制在同一文件系統(tǒng)內(nèi)，不搜索掛載的其他分區(qū)

-size +100M：大于 100MB 的文件（單位：k/M/G）

-exec ls -lh {} ;：對(duì)每個(gè)結(jié)果執(zhí)行 ls

sort -k5 -rh：按第 5 列（文件大?。┓聪蚺判?/p>

2>/dev/null：過(guò)濾權(quán)限不足的錯(cuò)誤信息

命令 6：ncdu —— 交互式磁盤(pán)分析

ncdu（NCurses Disk Usage）是du的交互式替代品，對(duì)逐層排查大目錄效率更高：

# 安裝
$ apt install ncdu   # Debian/Ubuntu
$ yum install ncdu   # CentOS/RHEL

# 使用
$ ncdu /

操作方式：

方向鍵上下移動(dòng)

Enter 進(jìn)入目錄

d刪除選中的文件/目錄

q退出

ncdu 掃描速度比du快（尤其在大目錄下），而且可以實(shí)時(shí)看到各目錄大小排序，不需要反復(fù)敲命令。

命令 7：iostat -xz —— 分析磁盤(pán) IO 性能

當(dāng)磁盤(pán)使用率沒(méi)有 100% 但業(yè)務(wù)響應(yīng)仍然很慢時(shí)，可能是 IO 性能達(dá)到上限而非空間不足：

$ iostat -xz 1 5
Linux 5.15.0-91-generic ... 08/15/2025 _x86_64_ (32 CPU)

Device  r/s   w/s  rkB/s  wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz %util
vda  3200.0 4500.0 128000.0 360000.0  0.0   0.0  0.00  0.00  15.20 92.30 256.0 99.8

關(guān)鍵指標(biāo)：

對(duì) NVMe SSD 的說(shuō)明：%util對(duì)多隊(duì)列設(shè)備（NVMe）不準(zhǔn)確，可能顯示 100% 但仍能處理更多 IO。更可靠的指標(biāo)是aqu-sz（平均隊(duì)列長(zhǎng)度）和r_await / w_await（IO 延遲）。

命令 8：journalctl --disk-usage —— 檢查 systemd 日志占用

systemd-journald 的日志在不加限制的情況下可能占用數(shù) GB 磁盤(pán)空間：

# 查看 journal 日志占用的磁盤(pán)空間
$ journalctl --disk-usage
Archived and active journals use 3.8G.

# 清理 7 天前的日志
$ journalctl --vacuum-time=7d

# 限制 journal 最大體積為 500MB
$ journalctl --vacuum-size=500M

# 永久限制（編輯配置文件）
$ cat /etc/systemd/journald.conf
[Journal]
SystemMaxUse=500M
MaxFileSec=7day

修改配置后重啟 systemd-journald：

$ systemctl restart systemd-journald

三、按場(chǎng)景組合使用 8 個(gè)命令

場(chǎng)景 A：空間占比高，du 能正常定位

執(zhí)行順序：df -h→du逐級(jí)定位 →find查找大文件 →ncdu交互式確認(rèn)

$ df -h          # 定位滿的分區(qū)
$ du -h --max-depth=1 /  # 逐級(jí)深入
$ find /path -typef -size +500M -execls -lh {} ;
$ ncdu /path        # 交互式確認(rèn)

場(chǎng)景 B：df 顯示滿，但 du 統(tǒng)計(jì)不到大文件

執(zhí)行順序：df -h→sudo lsof | grep deleted→ 確認(rèn)后釋放

$ sudo lsof | grep deleted | head -5
# 找到最大的(deleted)文件
$ sudo lsof | grep deleted | awk'{print $7, $NF, $2}'| sort -rn | head -10
# 對(duì) PID 發(fā)送信號(hào)或重啟服務(wù)

場(chǎng)景 C：No space left on device 但 df -h 有空間

執(zhí)行順序：df -i→find統(tǒng)計(jì)文件數(shù) → 清理小文件

$ df -i           # 確認(rèn) inode 滿
$ find /data -xdev -typef | wc -l       # 統(tǒng)計(jì)文件總數(shù)
$ find /data -xdev -typef -mtime +90 -delete # 清理 90 天前的舊文件

場(chǎng)景 D：磁盤(pán)性能差但空間充足

執(zhí)行順序：iostat -xz→iotop -o→pidstat -d

$ iostat -xz 1 5      # 確認(rèn) %util 高、await 高
$ iotop -o         # 定位 IO 密集進(jìn)程
$ pidstat -d 1 5      # 按進(jìn)程統(tǒng)計(jì) IO

四、生產(chǎn)環(huán)境標(biāo)準(zhǔn)清理流程

不要在發(fā)現(xiàn)磁盤(pán)滿時(shí)直接上手刪文件，遵循以下流程：

記錄現(xiàn)場(chǎng) → 定位大目錄 → 確認(rèn)業(yè)務(wù)影響 → 備份 → 清理 → 驗(yàn)證

Step 1：記錄現(xiàn)場(chǎng)

$ df -h > /tmp/disk_clean_$(date +%s).before
$ du -h --max-depth=1 /var/log| sort -rh > /tmp/disk_clean_$(date +%s).logdir

Step 2：定位并確認(rèn)

# 找到大文件后確認(rèn)其業(yè)務(wù)歸屬
$ ls -la /var/log/nginx/access.log.20250815.gz
# 與業(yè)務(wù)方確認(rèn)是否可以清理

Step 3：備份后再清理

對(duì)于不確定的日志/數(shù)據(jù)文件，壓縮備份到其他分區(qū)或存儲(chǔ)后再清理：

# 備份到其他分區(qū)
$ gzip -c /var/log/nginx/access.log.20250815.gz > /backup/nginx/access.log.20250815.gz

# 確認(rèn)備份成功后刪除
$ rm /var/log/nginx/access.log.20250815.gz

Step 4：驗(yàn)證空間是否釋放

$ df -h <掛載點(diǎn)>
$ df -i <掛載點(diǎn)> # 如果之前 inode 也高的話

Step 5：配置長(zhǎng)期策略

根據(jù)排查結(jié)果配置日志輪轉(zhuǎn)或周期性清理：

# logrotate 示例：按大小輪轉(zhuǎn)
/var/log/nginx/*.log{
  size 500M
  rotate 14
  copytruncate
  compress
  missingok
  notifempty
}

# crontab 定期清理任務(wù)
0 3 * * 0 find /data/tmp -typef -mtime +30 -delete

五、預(yù)防措施

日志輪轉(zhuǎn)必須配置——沒(méi)有 logrotate 的服務(wù)器遲早會(huì)磁盤(pán)滿。檢查是否存在未被 logrotate 覆蓋的日志文件。

監(jiān)控與告警：不要等到 100% 再告警，分三級(jí)告警：

Warning: 使用率 > 80%

Critical: 使用率 > 90%

Emergency: 使用率 > 95%

獨(dú)立分區(qū)：將 /var/log、/data 等容易寫(xiě)滿的目錄獨(dú)立分區(qū)，避免寫(xiě)滿根分區(qū)導(dǎo)致系統(tǒng)無(wú)法正常啟動(dòng)。

定期巡檢：每周自動(dòng)掃描各分區(qū)使用率和大文件增長(zhǎng)趨勢(shì)。

六、注意事項(xiàng)

不要在根分區(qū)滿時(shí)重啟服務(wù)器——根分區(qū)沒(méi)有剩余空間可能導(dǎo)致重啟后部分服務(wù)無(wú)法正常啟動(dòng)。

%util 100% 不等于磁盤(pán)損壞——可能是正常的高負(fù)載，先確認(rèn) aqu-sz 和 await 是否異常。

df 和 du 的統(tǒng)計(jì)差異：正常情況下差異在 5% 以內(nèi)。如果差異顯著，優(yōu)先檢查lsof | grep deleted。

掛載點(diǎn)覆蓋：如果在非空目錄上掛載新分區(qū)，原目錄下的文件會(huì)被隱藏但仍占用空間。排查時(shí)注意mount輸出。

**生產(chǎn)環(huán)境慎用rm -rf**——可能誤刪正在寫(xiě)入的日志文件，導(dǎo)致句柄未釋放反而無(wú)法釋放空間。建議優(yōu)先用echo "" > file或truncate -s 0 file。

七、總結(jié)

磁盤(pán)滿排查的核心路徑：

先看 df -h確認(rèn)空間耗盡的分區(qū)和掛載點(diǎn)

再看 df -i排除 inode 耗盡的情況

df 滿但 du 找不到→ 執(zhí)行l(wèi)sof | grep deleted

逐層 du定位最大目錄

find 和 ncdu查找具體大文件

檢查 journalctl系統(tǒng)日志占用

配合 iostat排除 IO 性能問(wèn)題

磁盤(pán)滿的最佳應(yīng)對(duì)策略不是"發(fā)現(xiàn)滿了再刪"，而是通過(guò) logrotate、分區(qū)規(guī)劃、監(jiān)控預(yù)警建立一個(gè)防止磁盤(pán)寫(xiě)滿的體系。磁盤(pán)滿了之后的每一次刪除，都應(yīng)該有記錄、有備份、有確認(rèn)、有總結(jié)。