寫在前面

今天，跑在阿里云ECS上的生產環境，突然間訪問例外，介面各種報錯，無奈公司沒有專業的運維人員，只能硬著頭皮解決一下，

問題排查

先從表面看起，資料庫首先報錯

Caused by: org.postgresql.util.PSQLException: ERROR: could not extend file "base/16385/16587_fsm": No space left on device
  建議：Check free disk space.

直觀上看，設備沒有可用空間，也就是磁盤滿了，

進入服務器后臺，執行

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
udev                  7.9G     0  7.9G   0% /dev
tmpfs                 1.6G  3.5M  1.6G   1% /run
/dev/vda1              59G   56G     0 100% /
tmpfs                 7.9G  4.0K  7.9G   1% /dev/shm
tmpfs                 5.0M  4.0K  5.0M   1% /run/lock
tmpfs                 7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/mapper/vg0-vol0 1000G   14G  937G   2% /data
tmpfs                 1.6G     0  1.6G   0% /run/user/0

發現確實磁盤滿了，而且滿的很徹底，系統盤占用100%，估計什么服務都跑不動了，/dev/vda1 59G 56G 0 100% /

不過發現/dev/mapper/vg0-vol0 1000G 14G 937G 2% /data，1000G只用了2%

阿里云ECS分為系統盤和資料盤，1000G的是資料盤

第一反應，應該是搭建的PG資料庫的資料沒有移到資料盤上，

將Postgres資料庫資料目錄移動到系統盤

參考如何將PostgreSQL資料目錄移動到Ubuntu 16.04上的新位置

$ sudo -u postgres psql
postgres# SHOW data_directory; # 查看當前資料目錄
        data_directory        
------------------------------
 /var/lib/postgresql/9.5/main
(1 row)
postgres# \q; # 退出
# 為了確保資料的完整性，我們將在實際更改資料目錄之前關閉PostgreSQL
$ sudo systemctl stop postgresql
# 確保關閉完成
$ sudo systemctl status postgresql
. . .
Jul 22 16:22:44 ubuntu-512mb-nyc1-01 systemd[1]: Stopped PostgreSQL RDBMS.
$ sudo rsync -av /var/lib/postgresql /data # /data為要遷移到的新目錄
$ cd /data
$ ls
... postgresql
# 洗掉原資料目錄
$ sudo rm -rf /var/lib/postgresql
# 將新資料目錄鏈接到原資料目錄
$ sudo ln -s /data/postgresql /var/lib/postgresql
# 重啟Postgres資料庫
$ sudo systemctl start postgresql
$ sudo systemctl status postgresql

完成以上步驟，即將postgre資料庫資料目錄移到了阿里云資料盤

以為OK了，執行

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
udev                  7.9G     0  7.9G   0% /dev
tmpfs                 1.6G  3.5M  1.6G   1% /run
/dev/vda1              59G   56G   51M 100% /
tmpfs                 7.9G  4.0K  7.9G   1% /dev/shm
tmpfs                 5.0M  4.0K  5.0M   1% /run/lock
tmpfs                 7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/mapper/vg0-vol0 1000G   14G  937G   2% /data
tmpfs                 1.6G     0  1.6G   0% /run/user/0

紋絲未動，，，

Ubuntu查詢大檔案

猜測是存在大檔案導致磁盤被占滿

$ cd /
$ find . -type f -size +800M  -print0 | xargs -0 du -h
5.6G ./var/log/syslog.1
6.7G ./var/log/syslog
...
$ rm ...

如果發現是log字眼的大檔案，我們可以毫不留情的刪掉，要是遇見一些不認識的，不要貿然刪掉，一定要查清楚檔案的作用，能刪則刪，千萬不要不小心刪庫跑路，，，

洗掉完畢后，再次查看

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
udev                  7.9G     0  7.9G   0% /dev
tmpfs                 1.6G  3.4M  1.6G   1% /run
/dev/vda1              59G   45G   12G  80% /
tmpfs                 7.9G  4.0K  7.9G   1% /dev/shm
tmpfs                 5.0M  4.0K  5.0M   1% /run/lock
tmpfs                 7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/mapper/vg0-vol0 1000G   14G  936G   2% /data
tmpfs                 1.6G     0  1.6G   0% /run/user/0

多出了12G，

查看已洗掉空間卻沒有釋放的行程

這時候，服務應該可以恢復成功，但你馬上會發現，磁盤又被占滿，而這次，日志檔案卻不算大，

查看已經洗掉的檔案，空間有沒有釋放，沒有的話kill掉pid

使用rm洗掉檔案的時候，雖然檔案已經被洗掉，但是由于檔案被其他行程占用，空間卻沒有釋放

$ sudo lsof -n |grep deleted
java      17866                  root  237r      REG              253,1    163541    1709285 /tmp/tomcat.8250394289784312179.8080/work/Tomcat/localhost/ROOT/upload_c6db0c17_6e6a_4141_bfb6_ac1b2d8a3b0b_00000000.tmp (deleted)
...
$ sudo kill -9 17866

再次使用df -h命令，磁盤使用率一下子減少了好多，

總結

• 服務器系統盤被占滿是非常可怕的！屆時，一切服務都將變得不可用，業務系統也會莫名其妙多出奇怪的問題，所以，運維需要經常性的查看服務器磁盤占用情況，阿里云ECS用戶，可以開啟報警，及時發現問題，解決問題！

• 阿里云ECS提供了系統盤和資料盤，記住，例如Pg、Redis、Cassandra等容易占磁盤的服務，一定要將資料目錄放在阿里云ECS提供的資料盤上，

• /var/log是系統日志目錄，可以經常性的關注下，大容量日志盡早洗掉，

• 對待行程不停對檔案寫日志的操作，要釋放檔案占用的磁盤空間，最好的方法是在線清空這個檔案，可以通過如下命令完成：

[root@localhost ~]# echo "" >/var/log/syslog

通過這種方法，磁盤空間不但可以馬上釋放，也可保障行程繼續向檔案寫入日志，這種方法經常用于在線清理Apache、Tomcat、Nginx等Web服務產生的日志檔案，

最后，有一個專業的運維是多么重要！

標籤：Linux

上一篇：Ubuntu切換為阿里鏡像源

下一篇：linux 基礎入門(9) 系統服務 systemctl 與 xinted的運用