FastDFS 是一個開源的高性能分布式檔案系統（DFS），它的主要功能包括：檔案存盤，檔案同步和檔案訪問，以及高容量和負載平衡，主要解決了海量資料存盤問題，特別適合以中小檔案（建議范圍：4KB < file_size <500MB）為載體的在線服務，

FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存盤服務器(Storage Server)和客戶端(Client)，

　　Tracker Server：跟蹤服務器，主要做調度作業，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動后會連接 Tracker，告知自己所屬 group 等資訊，并保持周期性心跳，

　　Storage Server：存盤服務器，主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多臺 storage server，資料互為備份，

　　Client：客戶端，上傳下載資料的服務器，也就是我們自己的專案所部署在的服務器，

2、FastDFS的存盤策略

為了支持大容量，存盤節點（服務器）采用了分卷（或分組）的組織方式，存盤系統由一個或多個卷組成，卷與卷之間的檔案是相互獨立的，所有卷的檔案容量累加就是整個存盤系統中的檔案容量，一個卷可以由一臺或多臺存盤服務器組成，一個卷下的存盤服務器中的檔案都是相同的，卷中的多臺存盤服務器起到了冗余備份和負載均衡的作用，

在卷中增加服務器時，同步已有的檔案由系統自動完成，同步完成后，系統自動將新增服務器切換到線上提供服務，當存盤空間不足或即將耗盡時，可以動態添加卷，只需要增加一臺或多臺服務器，并將它們配置為一個新的卷，這樣就擴大了存盤系統的容量，

3、FastDFS的上傳程序

FastDFS向使用者提供基本檔案訪問介面，比如upload、download、append、delete等，以客戶端庫的方式提供給用戶使用，

Storage Server會定期的向Tracker Server發送自己的存盤資訊，當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關系是對等的，所以客戶端上傳時可以選擇任意一個Tracker，

當Tracker收到客戶端上傳檔案的請求時，會為該檔案分配一個可以存盤檔案的group，當選定了group后就要決定給客戶端分配group中的哪一個storage server，當分配好storage server后，客戶端向storage發送寫檔案請求，storage將會為檔案分配一個資料存盤目錄，然后為檔案分配一個fileid，最后根據以上的資訊生成檔案名存盤檔案，

4、FastDFS的檔案同步

寫檔案時，客戶端將檔案寫至group內一個storage server即認為寫檔案成功，storage server寫完檔案后，會由后臺執行緒將檔案同步至同group內其他的storage server，

每個storage寫檔案后，同時會寫一份binlog，binlog里不包含檔案資料，只包含檔案名等元資訊，這份binlog用于后臺同步，storage會記錄向group內其他storage同步的進度，以便重啟后能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證集群內所有server的時鐘保持同步，

storage的同步進度會作為元資料的一部分匯報到tracker上，tracke在選擇讀storage的時候會以同步進度作為參考，

5、FastDFS的檔案下載

客戶端uploadfile成功后，會拿到一個storage生成的檔案名，接下來客戶端根據這個檔案名即可訪問到該檔案，

跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server，tracker發送download請求給某個tracker，必須帶上檔案名資訊，tracke從檔案名中決議出檔案的group、大小、創建時間等資訊，然后為該請求選擇一個storage用來服務讀請求，

二、安裝FastDFS環境

0、前言

操作環境：CentOS7 X64，以下操作都是單機環境，

我把所有的安裝包下載到/softpackages/下，解壓到當前目錄，

先做一件事，修改hosts，將檔案服務器的ip與域名映射(單機TrackerServer環境)，因為后面很多配置里面都需要去配置服務器地址，ip變了，就只需要修改hosts即可，

# vim /etc/hosts

增加如下一行，這是我的IP 192.168.51.128 file.ljzsg.com

如果要本機訪問虛擬機，在C:\Windows\System32\drivers\etc\hosts中同樣增加一行

1、下載安裝 libfastcommon

libfastcommon是從 FastDFS 和 FastDHT 中提取出來的公共 C 函式庫，基礎環境，安裝即可，

① 下載libfastcommon

# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

② 解壓

# tar -zxvf V1.0.7.tar.gz
# cd libfastcommon-1.0.7

③ 編譯、安裝

# ./make.sh
# ./make.sh install

④ libfastcommon.so 安裝到了/usr/lib64/libfastcommon.so，但是FastDFS主程式設定的lib目錄是/usr/local/lib，所以需要創建軟鏈接，

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

2、下載安裝FastDFS

① 下載FastDFS

# wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

② 解壓

# tar -zxvf V5.05.tar.gz
# cd fastdfs-5.05

③ 編譯、安裝

# ./make.sh
# ./make.sh install

④ 默認安裝方式安裝后的相應檔案與目錄
　　A、服務腳本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

　　B、組態檔（這三個是作者給的樣例組態檔） :

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

　　C、命令工具在 /usr/bin/ 目錄下：

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh

⑤ FastDFS 服務腳本設定的 bin 目錄是 /usr/local/bin，但實際命令安裝在 /usr/bin/ 下，

　　兩種方式：

　　》一是修改FastDFS 服務腳本中相應的命令路徑，也就是把 /etc/init.d/fdfs_storaged 和 /etc/init.d/fdfs_tracker 兩個腳本中的 /usr/local/bin 修改成 /usr/bin，

　　　　# vim fdfs_trackerd
　　　　使用查找替換命令進統一修改:%s+/usr/local/bin+/usr/bin
　　　　# vim fdfs_storaged
　　　　使用查找替換命令進統一修改:%s+/usr/local/bin+/usr/bin

　　》二是建立 /usr/bin 到 /usr/local/bin 的軟鏈接，我是用這種方式，　　

# ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
# ln -s /usr/bin/fdfs_storaged   /usr/local/bin
# ln -s /usr/bin/stop.sh         /usr/local/bin
# ln -s /usr/bin/restart.sh      /usr/local/bin

3、配置FastDFS跟蹤器(Tracker)

組態檔詳細說明參考：FastDFS 組態檔詳解

① 進入 /etc/fdfs，復制 FastDFS 跟蹤器樣例組態檔 tracker.conf.sample，并重命名為 tracker.conf，

# cd /etc/fdfs
# cp tracker.conf.sample tracker.conf
# vim tracker.conf

② 編輯tracker.conf ，標紅的需要修改下，其它的默認即可，

# 組態檔是否不生效，false 為生效
disabled=false

# 提供服務的埠
port=22122

# Tracker 資料和日志目錄地址(根目錄必須存在,子目錄會自動創建)
base_path=/ljzsg/fastdfs/tracker

# HTTP 服務埠
http.server_port=80

③ 創建tracker基礎資料目錄，即base_path對應的目錄

# mkdir -p /ljzsg/fastdfs/tracker

④ 防火墻中打開跟蹤埠（默認的22122）

# vim /etc/sysconfig/iptables

添加如下埠行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啟防火墻：
# service iptables restart

⑤ 啟動Tracker

初次成功啟動，會在 /ljzsg/fdfsdfs/tracker/ (配置的base_path)下創建 data、logs 兩個目錄，

可以用這種方式啟動
# /etc/init.d/fdfs_trackerd start
也可以用這種方式啟動，前提是上面創建了軟鏈接，后面都用這種方式
# service fdfs_trackerd start

查看 FastDFS Tracker 是否已成功啟動 ，22122埠正在被監聽，則算是Tracker服務安裝成功，

# netstat -unltp|grep fdfs

關閉Tracker命令：

# service fdfs_trackerd stop

⑥ 設定Tracker開機啟動

# chkconfig fdfs_trackerd on

或者：
# vim /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_trackerd start

⑦ tracker server 目錄及檔案結構

Tracker服務啟動成功后，會在base_path下創建data、logs兩個目錄，目錄結構如下：

${base_path}
  |__data
  |   |__storage_groups.dat：存盤分組資訊
  |   |__storage_servers.dat：存盤服務器串列
  |__logs
  |   |__trackerd.log： tracker server 日志檔案

4、配置 FastDFS 存盤 (Storage)

① 進入 /etc/fdfs 目錄，復制 FastDFS 存盤器樣例組態檔 storage.conf.sample，并重命名為 storage.conf

# cd /etc/fdfs
# cp storage.conf.sample storage.conf
# vim storage.conf

② 編輯storage.conf

標紅的需要修改，其它的默認即可，

# 組態檔是否不生效，false 為生效
disabled=false 

# 指定此 storage server 所在 組(卷)
group_name=group1

# storage server 服務埠
port=23000

# 心跳間隔時間，單位為秒 (這里是指主動向 tracker server 發送心跳)
heart_beat_interval=30

# Storage 資料和日志目錄地址(根目錄必須存在，子目錄會自動生成)
base_path=/ljzsg/fastdfs/storage

# 存放檔案時 storage server 支持多個路徑，這里配置存放檔案的基路徑數目，通常只配一個目錄，
store_path_count=1


# 逐一配置 store_path_count 個路徑，索引號基于 0，
# 如果不配置 store_path0，那它就和 base_path 對應的路徑一樣，
store_path0=/ljzsg/fastdfs/file

# FastDFS 存盤檔案時，采用了兩級目錄，這里配置存放檔案的目錄個數， 
# 如果本引數只為 N（如： 256），那么 storage server 在初次運行時，會在 store_path 下自動創建 N * N 個存放檔案的子目錄，
subdir_count_per_path=256

# tracker_server 的串列 ，會主動連接 tracker_server
# 有多個 tracker server 時，每個 tracker server 寫一行
tracker_server=file.ljzsg.com:22122

# 允許系統同步的時間段 (默認是全天) ，一般用于避免高峰同步產生一些問題而設定，
sync_start_time=00:00
sync_end_time=23:59
# 訪問埠
http.server_port=80

③ 創建Storage基礎資料目錄，對應base_path目錄

# mkdir -p /ljzsg/fastdfs/storage

# 這是配置的store_path0路徑
# mkdir -p /ljzsg/fastdfs/file

④ 防火墻中打開存盤器埠（默認的 23000）

⑤ 啟動 Storage

啟動Storage前確保Tracker是啟動的，初次啟動成功，會在 /ljzsg/fastdfs/storage 目錄下創建 data、 logs 兩個目錄，

可以用這種方式啟動

# /etc/init.d/fdfs_storaged start

也可以用這種方式，后面都用這種
# service fdfs_storaged start

查看 Storage 是否成功啟動，23000 埠正在被監聽，就算 Storage 啟動成功，

# netstat -unltp|grep fdfs

關閉Storage命令：

# service fdfs_storaged stop

查看Storage和Tracker是否在通信：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

⑥ 設定 Storage 開機啟動

# chkconfig fdfs_storaged on

或者：

# vim /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_storaged start

⑦ Storage 目錄

同 Tracker，Storage 啟動成功后，在base_path 下創建了data、logs目錄，記錄著 Storage Server 的資訊，

在 store_path0 目錄下，創建了N*N個子目錄：

5、檔案上傳測驗

① 修改 Tracker 服務器中的客戶端組態檔

# cd /etc/fdfs
# cp client.conf.sample client.conf
# vim client.conf

修改如下配置即可，其它默認，

# Client 的資料和日志目錄
base_path=/ljzsg/fastdfs/client

# Tracker埠
tracker_server=file.ljzsg.com:22122

② 上傳測驗

在linux內部執行如下命令上傳 namei.jpeg 圖片

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf namei.jpeg

上傳成功后回傳檔案ID號：group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg

回傳的檔案ID由group、存盤目錄、兩級子目錄、fileid、檔案后綴名（由客戶端指定，主要用于區分檔案型別）拼接而成，

三、安裝Nginx

上面將檔案上傳成功了，但我們無法下載，因此安裝Nginx作為服務器以支持Http方式訪問檔案，同時，后面安裝FastDFS的Nginx模塊也需要Nginx環境，

Nginx只需要安裝到StorageServer所在的服務器即可，用于訪問檔案，我這里由于是單機，TrackerServer和StorageServer在一臺服務器上，

1、安裝nginx所需環境　　

① gcc 安裝

# yum install gcc-c++

② PCRE pcre-devel 安裝

# yum install -y pcre pcre-devel

③ zlib 安裝

# yum install -y zlib zlib-devel

④ OpenSSL 安裝

# yum install -y openssl openssl-devel

2、安裝Nginx

① 下載nginx

# wget -c https://nginx.org/download/nginx-1.12.1.tar.gz

② 解壓

# tar -zxvf nginx-1.12.1.tar.gz
# cd nginx-1.12.1

③ 使用默認配置

# ./configure

④ 編譯、安裝

# make
# make install

⑤ 啟動nginx

# cd /usr/local/nginx/sbin/
# ./nginx 

其它命令
# ./nginx -s stop
# ./nginx -s quit
# ./nginx -s reload

⑥ 設定開機啟動

# vim /etc/rc.local

添加一行：
/usr/local/nginx/sbin/nginx

# 設定執行權限
# chmod 755 rc.local

⑦ 查看nginx的版本及模塊

/usr/local/nginx/sbin/nginx -V

⑧ 防火墻中打開Nginx埠（默認的 80）

添加后就能在本機使用80埠訪問了，

# vim /etc/sysconfig/iptables

添加如下埠行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT

重啟防火墻：
# service iptables restart

3、訪問檔案

簡單的測驗訪問檔案

① 修改nginx.conf

# vim /usr/local/nginx/conf/nginx.conf

添加如下行，將 /group1/M00 映射到 /ljzsg/fastdfs/file/data
location /group1/M00 {
    alias /ljzsg/fastdfs/file/data;
}

# 重啟nginx
# /usr/local/nginx/sbin/nginx -s reload

② 在瀏覽器訪問之前上傳的圖片、成功，

http://file.ljzsg.com/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg

四、FastDFS 配置 Nginx 模塊

1、安裝配置Nginx模塊

① fastdfs-nginx-module 模塊說明

　　FastDFS 通過 Tracker 服務器，將檔案放在 Storage 服務器存盤，但是同組存盤服務器之間需要進行檔案復制，有同步延遲的問題，

　　假設 Tracker 服務器將檔案上傳到了 192.168.51.128，上傳成功后檔案 ID已經回傳給客戶端，

　　此時 FastDFS 存盤集群機制會將這個檔案同步到同組存盤 192.168.51.129，在檔案還沒有復制完成的情況下，客戶端如果用這個檔案 ID 在 192.168.51.129 上取檔案,就會出現檔案無法訪問的錯誤，

　　而 fastdfs-nginx-module 可以重定向檔案鏈接到源服務器取檔案，避免客戶端由于復制延遲導致的檔案無法訪問錯誤，

② 下載 fastdfs-nginx-module、解壓

# 這里為啥這么長一串呢，因為最新版的master與當前nginx有些版本問題，
# wget https://github.com/happyfish100/fastdfs-nginx-module/archive/5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip

# 解壓
# unzip 5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip

# 重命名
# mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1  fastdfs-nginx-module-master

③ 配置Nginx

在nginx中添加模塊

# 先停掉nginx服務
# /usr/local/nginx/sbin/nginx -s stop

進入解壓包目錄
# cd /softpackages/nginx-1.12.1/

# 添加模塊
# ./configure --add-module=../fastdfs-nginx-module-master/src

重新編譯、安裝
# make && make install

④ 查看Nginx的模塊

# /usr/local/nginx/sbin/nginx -V

有下面這個就說明添加模塊成功

⑤ 復制 fastdfs-nginx-module 原始碼中的組態檔到/etc/fdfs 目錄，并修改

# cd /softpackages/fastdfs-nginx-module-master/src

# cp mod_fastdfs.conf /etc/fdfs/

修改如下配置，其它默認

# 連接超時時間
connect_timeout=10

# Tracker Server
tracker_server=file.ljzsg.com:22122

# StorageServer 默認埠
storage_server_port=23000

# 如果檔案ID的uri中包含/group**，則要設定為true
url_have_group_name = true

# Storage 配置的store_path0路徑，必須和storage.conf中的一致
store_path0=/ljzsg/fastdfs/file

⑥ 復制 FastDFS 的部分組態檔到/etc/fdfs 目錄

# cd /softpackages/fastdfs-5.05/conf/

# cp anti-steal.jpg http.conf mime.types /etc/fdfs/

⑦ 配置nginx，修改nginx.conf

# vim /usr/local/nginx/conf/nginx.conf

修改配置，其它的默認

在80埠下添加fastdfs-nginx模塊

location ~/group([0-9])/M00 {
    ngx_fastdfs_module;
}

注意：

　　listen 80 埠值是要與 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相對應，如果改成其它埠，則需要統一，同時在防火墻中打開該埠，

　　location 的配置，如果有多個group則配置location ~/group([0-9])/M00 ，沒有則不用配group，

⑧ 在/ljzsg/fastdfs/file 檔案存盤目錄下創建軟連接，將其鏈接到實際存放資料的目錄，這一步可以省略，

# ln -s /ljzsg/fastdfs/file/data/ /ljzsg/fastdfs/file/data/M00

⑨ 啟動nginx

# /usr/local/nginx/sbin/nginx

列印處如下就算配置成功

⑩ 在地址欄訪問，

能下載檔案就算安裝成功，注意和第三點中直接使用nginx路由訪問不同的是，這里配置 fastdfs-nginx-module 模塊，可以重定向檔案鏈接到源服務器取檔案，

http://file.ljzsg.com/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg

最終部署結構圖(盜的圖)：可以按照下面的結構搭建環境，

五、權限控制

前面使用nginx支持http方式訪問檔案，但所有人都能直接訪問這個檔案服務器了，所以做一下權限控制，

FastDFS的權限控制是在服務端開啟token驗證，客戶端根據檔案名、當前unix時間戳、秘鑰獲取token，在地址中帶上token引數即可通過http方式訪問檔案，

① 服務端開啟token驗證

修改http.conf
# vim /etc/fdfs/http.conf

設定為true表示開啟token驗證
http.anti_steal.check_token=true設定token失效的時間單位為秒(s)http.anti_steal.token_ttl=1800
密鑰，跟客戶端組態檔的fastdfs.http_secret_key保持一致
http.anti_steal.secret_key=FASTDFS1234567890

如果token檢查失敗，回傳的頁面
http.anti_steal.token_check_fail=/ljzsg/fastdfs/page/403.html

記得重啟服務，

② 配置客戶端

客戶端只需要設定如下兩個引數即可，兩邊的密鑰保持一致，

# token 防盜鏈功能
fastdfs.http_anti_steal_token=true
# 密鑰
fastdfs.http_secret_key=FASTDFS1234567890

③ 客戶端生成token

訪問檔案需要帶上生成的token以及unix時間戳，所以回傳的token是token和時間戳的拼接，

之后，將token拼接在地址后即可訪問：file.ljzsg.com/group1/M00/00/00/wKgzgFnkaXqAIfXyAAEoRmXZPp878.jpeg?token=078d370098b03e9020b82c829c205e1f&ts=1508141521

/**
     * 獲取訪問服務器的token，拼接到地址后面
     *
     * @param filepath 檔案路徑 group1/M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg
     * @param httpSecretKey 密鑰
     * @return 回傳token，如： token=078d370098b03e9020b82c829c205e1f&ts=1508141521
     */
    public static String getToken(String filepath, String httpSecretKey){
        // unix seconds
        int ts = (int) Instant.now().getEpochSecond();
        // token
        String token = "null";
        try {
            token = ProtoCommon.getToken(getFilename(filepath), ts, httpSecretKey);
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        }

        StringBuilder sb = new StringBuilder();
        sb.append("token=").append(token);
        sb.append("&ts=").append(ts);

        return sb.toString();
    }

④ 注意事項

如果生成的token驗證無法通過，請進行如下兩項檢查：
　　A. 確認呼叫token生成函式(ProtoCommon.getToken)，傳遞的檔案ID中沒有包含group name，傳遞的檔案ID格式形如：M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg

　　B. 確認服務器時間基本是一致的，注意服務器時間不能相差太多，不要相差到分鐘級別，

⑤ 對比下發現，如果系統檔案隱私性較高，可以直接通過fastdfs-client提供的API去訪問即可，不用再配置Nginx走http訪問，配置Nginx的主要目的是為了快速訪問服務器的檔案(如圖片)，如果還要加權限驗證，則需要客戶端生成token，其實已經沒有多大意義，

關鍵是，這里我沒找到FastDFS如何對部分資源加token驗證，部分開放，有知道的還請留言，

OK，以上就是單機中使用FastDFS搭建檔案系統并上傳下載的全部程序，

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/253512.html

標籤：其他

上一篇：c語言運算子總結(一)

下一篇：【Maven】學習筆記：自動化構建工具Maven

用FastDFS集群自己動手搭建一個檔案管理系統，給我學！

目錄

一、FastDFS介紹

FastDFS源代碼獲取： 973961276

1、簡介

2、FastDFS的存盤策略

3、FastDFS的上傳程序

4、FastDFS的檔案同步

5、FastDFS的檔案下載

二、安裝FastDFS環境

0、前言

1、下載安裝 libfastcommon

2、下載安裝FastDFS

3、配置FastDFS跟蹤器(Tracker)

4、配置 FastDFS 存盤 (Storage)

5、檔案上傳測驗

三、安裝Nginx

1、安裝nginx所需環境

2、安裝Nginx

3、訪問檔案

四、FastDFS 配置 Nginx 模塊

1、安裝配置Nginx模塊

五、權限控制