linux檔案系統與日志分析-有解無憂

一、inode結構

1.1inode與block

（1）檔案的概述

檔案資料包括元資訊與實際資訊；
檔案存盤在硬碟上，硬碟最小存盤單位是“扇區”，每個扇區存盤512位元組，
一個檔案必須占用一個inode, 并且至少占用一個block

（2）block：（塊）的概念
連續的八個扇區組成一個block（4k）；
是檔案存取的最小單位
作業系統讀取硬碟的時候，是一次性連續讀取多個扇區，即一個塊一個塊的讀取

（3）inode：（索引節點）的概念
存盤檔案元資訊( 比如檔案的創建者、創建日期、檔案大小、檔案權限等)的區域就叫做inode
中文譯名為“索引節點”，也叫i節點；
用于存盤檔案元資訊
inode不包含檔案名，檔案名是存放在目錄當中的

（4）inode和block的關系

Linux 系統中一切皆檔案，因此目錄也是一種檔案
每個inode都有一個號碼，作業系統用inode號碼來識別不同的檔案，Linux 系統內部不使用檔案名，而使用inode號碼來識別檔案，對于系統來說，檔案名只是inode號碼便于識別的別稱，檔案名和inode號碼是一一對應關系，每個inode號碼對應一個檔案名
當用戶在Linux系統中試圖訪問一個檔案時，系統會先根據檔案名去查找它對應的inode號碼;通過inode號碼，獲取inode資訊;根據inode資訊，看該用戶是否具有訪問這個檔案的權限; 如果有，就指向相對應的資料block，并讀取資料

查看檔案名對應的inode號碼的方式：
查看檔案名對應的inode號碼：ls -i 檔案名
查看檔案資訊中的inode號碼：stat 檔案名

（5）Linux系統檔案三個主要的時間屬性
ctime(change time)：最后一次改變檔案或目錄(屬性)的時間
atime(access time)：最后一次訪問檔案或目錄的時間
mtime(modify time)：最后一次修改檔案或目錄(內容)的時間

（6）用戶通過檔案名打開檔案時，系統內部的程序
系統找到這個檔案名對應的inode號碼
通過inode號碼，獲取inode資訊
根據inode資訊，找到檔案資料所在的block,讀出資料

（7）硬碟磁區后的結構

（8）訪問檔案的簡單流程

（9）indo號
inode的大小：

inode也會消耗硬碟空間：每個inode的大小一般是128位元組或者256位元組；
格式化檔案系統時確定inode的總數；
使用df -i命令可以查看每個硬碟磁區的inode總數和已經使用的數量

inode特點：

由于inode 號碼與檔案名分離，導致Linux系統具備以下幾種特有的現象:
檔案名包含特殊字符，可能無法正常洗掉，這時直接洗掉inode，能夠起到洗掉檔案的作用;
移動檔案或重命名檔案，只是改變檔案名，不影響inode 號，但是復制的話，會生成一個新的inode號
打開一個檔案以后，系統就以inode號碼來識別這個檔案，不再考慮檔案名，
檔案資料被修改保存后，會生成一個新的inode 號碼

洗掉inode號方法：

方法一：[root@localhost /data]#find -inum 102440737 -exec rm {} \;
方法二：[root@localhost /data]#find -inum 102440739 -delete

find命令詳解：find pathname -option [-print ] [ -exec | -ok command ] {} ;
命令引數：
pathname：find命令所查找的目錄路徑，例如用.來表示當前目錄，用/來表示系統根目錄，
-print：find命令將匹配的檔案輸出到標準輸出，
-exec：find命令對匹配的檔案執行該引數所給出的shell命令，相應命令的形式為command { } ;，注意{ }和\；之間的空格，
-ok：和-exec的作用相同，只不過以一種更為安全的模式來執行該引數所給出的shell命令，在執行每一個命令之前，都會給出提示，讓用戶來確定是否執行，

1.2inode節點耗盡故障處理

inode也會消耗硬碟空間，當inode的空間消耗完以后，即使硬碟還有空間，也無法使用，解決方法：如果是邏輯卷，擴容；如果不是，洗掉沒有用的檔案，

 模擬inode號被占滿實驗代碼：
 1 [root@localhost ~]#fdisk /dev/sdb
 2 [root@localhost ~]#mkfs.ext4 /dev/sdb1
 3 [root@localhost ~]#mount /dev/sdb1 /data
 4 [root@localhost ~]#df -Th
 5 [root@localhost ~]#cd /data
 6 [root@localhost /data]#ls
 7 [root@localhost /data]#df -i
 8 [root@localhost /data]#touch {1..2550}.txt
 9 [root@localhost /data]#df -i
10 [root@localhost /data]#touch feizirui.txt
11 [root@localhost /data]#rm -rf *.txt
12 [root@localhost /data]#touch feizirui.txt
13 [root@localhost /data]#ls

二、日志

內核及系統日志由系統服務 rsyslog 統一管理，根據其主組態檔 /etc/rsyslog.conf
Linux 作業系統本身和大部分服務器程式的日志檔案都默認放在目錄/var/log/下

2.1常見的一些日志檔案

2.2系統日志介紹

（1）sysklogd系統日志服務：CentOS 5 之前版本采用的日志管理系統服務

syslogd: system application 記錄應用日志
klogd: linux kernel 記錄內核日志

事件記錄格式：

日期時間主機行程[pid]：事件內容
C/S架構：通過TCP或UDP協議的服務完成日志記錄傳送，將分布在不同主機的日志實作集中管理

（2）rsyslog系統日志服務：CentOS 6以后版本的系統管理服務(官網：http://www.rsyslog.com/)

它提供了高性能，出色的安全性和模塊化設計，雖然rsyslog最初是常規的syslogd，但是它能夠接受來自各種來源的輸入，并將其轉換，然后輸出到不同的目的地，
當應用有限的處理時，rsyslog每秒可以將超過一百萬的訊息傳遞到本地目的地，即使在遠程的目的地和更精細的處理中，性能通常也被認為是驚人的，

rsyslog 特性：

多執行緒
支持UDP, TCP, SSL, TLS, RELP
支持MySQL, PGSQL, Oracle實作日志存盤
強大的過濾器，可實作過濾記錄日志資訊中任意部分
自定義輸出格式可以日志
適用于企業級

（3）ELK：由Elasticsearch, Logstash, Kibana三個軟體組成

非關系型分布式資料庫基于apache軟體基金會jakarta專案組的專案lucene
Elasticsearch是個開源分布式搜索引擎，可以處理大規模日志資料，比如：Nginx、Tomcat、系統日志等功能
Logstash對日志進行收集、分析，過濾，并將其存盤供以后使用
Kibana 可以提供的日志分析友好的 Web 界面

2.3rsyslog管理（組態檔：/etc/rsyslog.conf；/etc/rsyslog.d/*.conf）

（1）facility(設施)：從功能或程式上對日志進行歸類

內置分類：auth（驗證）, authpriv, cron（定時任務）, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, syslog
自定義的分類：local0-local7

（2）Priority 優先級別，從低到高排序

（3）查看幫助： man 3 syslog，man logger

實驗1：將ssh服務日志單獨設定(優點：壓縮功能傳輸快；密文傳輸)

實驗環境:
第一部分：CentOS7.4-1終端1：實時查看日志變化
[root@localhost ~]#tail -f /var/log/secure 

第二部分：CentOS7.4-1終端2：修改組態檔，重啟服務
[root@localhost ~]#vim /etc/ssh/sshd_config
33行添加：SyslogFacility LOCAL6
[root@localhost /opt]#vim /etc/rsyslog.conf
74行添加：local6.*                                                /opt/ssh.log

第三部分：[root@localhost /opt]#systemctl restart rsyslog.service sshd
CentOS7.4-2終端：測驗ssh遠程登錄CentOS7.4-1機器
[root@localhost ~]#ssh 192.168.10.10

實驗2：網路日志(遠程日志功能)

實驗環境:
實驗目的：將CentOS7.4-1的日志匯入到CentOS7.4-2中
CentOS7.4-1終端：修改組態檔，重啟服務,測驗

[root@localhost ~]#vim /etc/rsyslog.conf 
步驟1：打開15，16行
#15 $ModLoad imudp
#16 $UDPServerRun 514
步驟2：復制54行                                                                改成要匯入到底服務器ip地址
55 *.info;mail.none;authpriv.none;cron.none                @@192.168.10.20
[root@localhost ~]#systemctl restart rsyslog.service
[root@feizirui ~]#logger "###########你真棒，你真是個小天才！#############"
[root@feizirui ~]#cat /var/log/messages

CentOS7.4-2終端：作為主服務器，修改組態檔，重啟服務
[root@localhost ~]#vim /etc/rsyslog.conf 
打開15，16行
#15 $ModLoad imudp
#16 $UDPServerRun 514
[root@localhost ~]#systemctl restart rsyslog.service
[root@localhost ~]#ss -ntap |grep 514