建站
咨詢
售后
建站咨詢
新聞中心
首先簡單了解一下基礎概念，F(xiàn)astDFS是一個開源的輕量級分布式文件系統(tǒng)，由跟蹤服務器（tracker server）、存儲服務器（storage server）和客戶端（client）三個部分組成，主要解決了海量數(shù)據(jù)存儲問題，特別適合以中小文件（建議范圍：4KB < file_size <500MB）為載體的在線服務。
創(chuàng)新互聯(lián)建站主營新泰網(wǎng)站建設的網(wǎng)絡公司,主營網(wǎng)站建設方案,重慶APP開發(fā),新泰h5成都微信小程序搭建,新泰網(wǎng)站營銷推廣歡迎新泰等地區(qū)企業(yè)咨詢
Tracker（跟蹤器）
Tracker主要做調(diào)度工作，相當于mvc中的controller的角色，在訪問上起負載均衡的作用。跟蹤器和存儲節(jié)點都可以由一臺或多臺服務器構成，跟蹤器和存儲節(jié)點中的服務器均可以隨時增加或下線而不會影響線上服務，其中跟蹤器中的所有服務器都是對等的，可以根據(jù)服務器的壓力情況隨時增加或減少。Tracker負責管理所有的Storage和group，每個storage在啟動后會連接Tracker，告知自己所屬的group等信息，并保持周期性的心跳，tracker根據(jù)storage的心跳信息，建立group==>[storage server list]的映射表，Tracker需要管理的元信息很少，會全部存儲在內(nèi)存中；另外tracker上的元信息都是由storage匯報的信息生成的，本身不需要持久化任何數(shù)據(jù)，這樣使得tracker非常容易擴展，直接增加tracker機器即可擴展為tracker cluster來服務，cluster里每個tracker之間是完全對等的，所有的tracker都接受stroage的心跳信息，生成元數(shù)據(jù)信息來提供讀寫服務。
Storage（存儲節(jié)點）
Storage采用了分卷[Volume]（或分組[group]）的組織方式，存儲系統(tǒng)由一個或多個組組成，組與組之間的文件是相互獨立的，所有組的文件容量累加就是整個存儲系統(tǒng)中的文件容量。一個卷[Volume]（組[group]）可以由一臺或多臺存儲服務器組成，一個組中的存儲服務器中的文件都是相同的，組中的多臺存儲服務器起到了冗余備份和負載均衡的作用，數(shù)據(jù)互為備份，存儲空間以group內(nèi)容量最小的storage為準，所以建議group內(nèi)的多個storage盡量配置相同，以免造成存儲空間的浪費。
相關資源
本次搭建要用的資源都在這里了：
到主機寶貝資源站下載：
具體下載目錄在 /2017年資料/5月/10日/CentOS 7下FastDFS分布式文件服務器搭建實戰(zhàn)/
安裝
libfastcommon
因為libfastcommon使用C語言寫的，所以我們先要安裝gcc編譯器：
yum -y install gcc-c++圖(1)
如果沒有裝解壓工具unzip可以通過以下yum命令進行安裝后再解壓：
yum -y install unzip zip
解壓完成后就可以進行編譯安裝了，分別執(zhí)行
./make.sh沒有error信息的話就說明編譯成功了，最后再執(zhí)行
./make.sh install進行安裝。
ibfastcommon.so 默認安裝到了/usr/lib64/libfastcommon.so，但是FastDFS主程序設置的lib目錄是/usr/local/lib，所以此處需要重新設置軟鏈接（類似于Windows的快捷方式）：
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so設置完畢后就可以開始安裝fastdfs了。
FastDFS
第一步依然是解壓：
tar -zxvf fastdfs-5.05.tar.gz
解壓完成后進入目錄fastdfs-5.05，依次執(zhí)行./make.sh和./make.sh install：
./make.sh
./make.sh install 圖(2)
圖(3)
沒錯，正是安裝到了/etc/fdfs中，安裝成功后就會生成如上的3個.sample文件（示例配置文件），我們再分別拷貝出3個后面用的正式的配置文件：
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp tracker.conf.sample tracker.conf圖(4)
至此FastDFS已經(jīng)安裝完畢，接下來的工作就是依次配置Tracker和Storage了。
Tracker
在配置Tracker之前，首先需要創(chuàng)建Tracker服務器的文件路徑，即用于存儲Tracker的數(shù)據(jù)文件和日志文件等，我這里選擇在/opt目錄下創(chuàng)建一個fastdfs_tracker目錄用于存放Tracker服務器的相關文件：
mkdir /opt/fastdfs_tracker接下來就要重新編輯上一步準備好的/etc/fdfs目錄下的tracker.conf配置文件，打開文件后依次做以下修改：
disabled=false #啟用配置文件（默認啟用）
port=22122 #設置tracker的端口號，通常采用22122這個默認端口
base_path=/opt/fastdfs_tracker #設置tracker的數(shù)據(jù)文件和日志目錄
http.server_port=6666 #設置http端口號，默認為8080配置完成后就可以啟動Tracker服務器了，但首先依然要為啟動腳本創(chuàng)建軟引用，因為fdfs_trackerd等命令在/usr/local/bin中并沒有，而是在/usr/bin路徑下：
ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin最后通過命令啟動Tracker服務器：
service fdfs_trackerd start如果啟動命令執(zhí)行成功，那么同時在剛才創(chuàng)建的tracker文件目錄/opt/fastdfs_tracker中就可以看到啟動后新生成的data和logs目錄，tracker服務的端口也應當被正常監(jiān)聽，最后再通過netstat命令查看一下端口監(jiān)聽情況：
netstat -unltp|grep fdfs可以看到tracker服務運行的22122端口正常被監(jiān)聽。
確認tracker正常啟動后可以將tracker設置為開機啟動，打開/etc/rc.d/rc.local并在其中加入以下配置：
service fdfs_trackerd start圖(5)
Tracker至此就配置好了，接下來就可以配置FastDFS的另一核心——Storage。
Storage
步驟基本與配置Tracker一致，首先是創(chuàng)建Storage服務器的文件目錄，需要注意的是同Tracker相比我多建了一個目錄，因為Storage還需要一個文件存儲路徑，用于存放接收的文件：
mkdir /opt/fastdfs_storage
mkdir /opt/fastdfs_storage_data接下來修改/etc/fdfs目錄下的storage.conf配置文件，打開文件后依次做以下修改：
disabled=false #啟用配置文件（默認啟用）
group_name=group1 #組名，根據(jù)實際情況修改
port=23000 #設置storage的端口號，默認是23000，同一個組的storage端口號必須一致
base_path=/opt/fastdfs_storage #設置storage數(shù)據(jù)文件和日志目錄
store_path_count=1 #存儲路徑個數(shù)，需要和store_path個數(shù)匹配
store_path0=/opt/fastdfs_storage_data #實際文件存儲路徑
tracker_server=10.211.55.5:22122 #tracker 服務器的 IP地址和端口號，如果是單機搭建，IP不要寫127.0.0.1，否則啟動不成功（此處的ip是我的CentOS虛擬機ip）
http.server_port=8888 #設置 http 端口號配置完成后同樣要為Storage服務器的啟動腳本設置軟引用：
ln -s /usr/bin/fdfs_storaged /usr/local/bin接下來就可以啟動Storage服務了：
service fdfs_storaged start 圖(6)
圖(7)
如圖(7)，可以看到此時已經(jīng)正常監(jiān)聽tracker的22122端口和storage的23000端口，至此storage服務器就已經(jīng)配置完成，確定了storage服務器啟動成功后，還有一項工作就是看看storage服務器是否已經(jīng)登記到 tracker服務器（也可以理解為tracker與storage是否整合成功），運行以下命令：
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf圖(8)
如圖(8)所示，看到10.211.55.5 ACTIVE 字樣即可說明storage服務器已經(jīng)成功登記到了tracker服務器，同理別忘了添加開機啟動，打開/etc/rc.d/rc.local并將如下配置追加到文件中：
service fdfs_storage start至此我們就已經(jīng)完成了fastdfs的全部配置，此時也就可以用客戶端工具進行文件上傳下載的測試了。
初步測試
測試時需要設置客戶端的配置文件，編輯/etc/fdfs目錄下的client.conf 文件，打開文件后依次做以下修改：
base_path=/opt/fastdfs_tracker #tracker服務器文件路徑
tracker_server=192.168.111.11:22122 #tracker服務器IP地址和端口號
http.tracker_server_port=6666 # tracker 服務器的 http 端口號，必須和tracker的設置對應起來配置完成后就可以模擬文件上傳了，先給/opt目錄下隨便放個文件（簡歷.pdf）。
然后通過執(zhí)行客戶端上傳命令嘗試上傳：
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /opt/簡歷.pdf 圖(9)
圖(10)
但是此時并不能通過http訪問，因為FastDFS目前已不支持http協(xié)議，所以此處在nginx上使用FastDFS的模塊fastdfs-nginx-module，這樣做最大的好處就是提供了HTTP服務并且解決了group中storage服務器的同步延遲問題，接下來就具體記錄一下fastdfs-nginx-module的安裝配置過程。
fastdfs-nginx-module
在安裝nginx之前需要先安裝一些模塊依賴的lib庫，直接貼出安裝代碼：
yum -y install pcre pcre-devel
yum -y install zlib zlib-devel
yum -y install openssl openssl-devel依次裝好這些依賴之后就可以開始安裝nginx了。
storage nginx
首先分別進行解壓：
tar -zxvf nginx-1.13.0.tar.gz
unzip fastdfs-nginx-module-master.zip解壓成功后就可以編譯安裝nginx了，進入nginx目錄并輸入以下命令進行配置：
./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module-master/圖(11)
緊接著就可以進行編譯安裝了，依次執(zhí)行以下命令：
make
make install安裝完成后，可以看到/usr/local/下新增了一個nginx目錄，這就是剛才新安裝的nginx的目錄。
接下來要修改一下nginx的配置文件，進入conf目錄并修改nginx.conf，把listen端口為80的server改為：
server {
listen 9999;
location ~/group1/M00 {
root /opt/fastdfs_storage_data/data;
ngx_fastdfs_module;
}
}然后進入FastDFS的安裝目錄/usr/local/fastdfs-5.05目錄下的conf目錄，將http.conf和mime.types拷貝到/etc/fdfs目錄下：
cp -r /usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs/
cp -r /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs/接下來還需要把fastdfs-nginx-module安裝目錄中src目錄下的mod_fastdfs.conf也拷貝到/etc/fdfs目錄下：
cp -r /usr/local/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/沒什么問題，接下來就需要編輯剛拷貝的這個mod_fastdfs.conf文件了，打開mod_fastdfs.conf并按順序依次編譯以下內(nèi)容：
base_path=/opt/fastdfs_storage #保存日志目錄
tracker_server=10.211.55.5:22122 #tracker服務器的IP地址以及端口號
storage_server_port=23000 #storage服務器的端口號
url_have_group_name = true #文件 url 中是否有 group 名
store_path0=/opt/fastdfs_storage_data # 存儲路徑
group_count = 3 #設置組的個數(shù)，事實上這次只使用了group1設置了group_count = 3，接下來就需要在文件尾部追加這3個group setting：
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data
[group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data接下來還需要建立 M00 至存儲目錄的符號連接：
ln -s /opt/fastdfs_storage_data/data /opt/fastdfs_storage_data/data/M00最后啟動nginx：
/usr/local/nginx/sbin/nginx 圖(12)
圖(13)
如果訪問不了，先ping一下自己的ip，如果能ping通，說明是防火墻的問題，在防火墻上打開對應端口就可以了：
/sbin/iptables -I INPUT -p tcp --dport 9999 -j ACCEPT其他端口以此類推。
如果ping不通ip說明nginx配置不正確，或者ip不對。
storage服務器的nginx就已經(jīng)安裝完畢，接下來看一下tracker服務器的nginx安裝。
tracker nginx
同理，再裝一個nginx，目錄命名為nginx2，安裝路徑依舊放在/usr/local下，由于和之前一樣，此處就不再做詳細解釋：
mkdir nginx2
cd nginx-1.8.1/
./configure --prefix=/usr/local/nginx2 --add-module=/usr/local/fastdfs-nginx-module-master/src
make
make install接下來依然是修改nginx2的配置文件，進入conf目錄并打開nginx.conf文件加入以下配置，tracker的nginx無需修改listen端口，即默認的80端口，并將upstream指向storage的nginx地址，在http節(jié)點下新增：
upstream fdfs_group1 {
server 127.0.0.1:9999;
}在server節(jié)點下新增：
location /group1/M00 {
proxy_pass http://fdfs_group1;
}接下來啟動nginx2：
/usr/local/nginx2/sbin/nginx最后一步就是需要修改/etc/fdfs目錄下的client.conf文件，打開該文件并加入以下配置：
base_path=/data/fastdfs_storage #日志存放路徑
tracker_server=10.211.55.5:22122 #tracker 服務器 IP 地址和端口號
http.tracker_server_port=6666 # tracker 服務器的 http 端口號，必須和tracker的設置對應起來至此關于fastdfs就已經(jīng)全部配置完畢了，再一次進行測試看看是否能正常上傳文件并通過http訪問文件。
HTTP測試
圖(14)
圖(15)
一切正常~ 至此關于FastDFS在CentOS 7下的部署測試就已經(jīng)全部完成了。
參考文章
我基本上都是照上面這篇文章操作的，講得很詳細。
分享題目：CentOS7下FastDFS分布式文件服務器搭建實戰(zhàn)
當前路徑：http://www.5511xx.com/article/dpegscd.html
