建站
咨詢
售后
建站咨詢
新聞中心
面試官：如何實現文件的大規(guī)模分布式存儲？
作者：冰河 2020-09-27 06:52:22
存儲
存儲軟件
分布式 在生產環(huán)境中，往往需要對FastDFS實現高可用，進而實現文件的大規(guī)模分布式存儲。那么，如何實現FastDFS的高可用呢?今天，我們就基于CentOS 8服務器來搭建FastDFS高可用集群環(huán)境。
成都創(chuàng)新互聯公司是一家專業(yè)提供海東企業(yè)網站建設,專注與成都網站制作、成都做網站、外貿營銷網站建設、H5場景定制、小程序制作等業(yè)務。10年已為海東眾多企業(yè)、政府機構等服務。創(chuàng)新互聯專業(yè)網絡公司優(yōu)惠進行中。
作者個人研發(fā)的在高并發(fā)場景下，提供的簡單、穩(wěn)定、可擴展的延遲消息隊列框架，具有精準的定時任務和延遲隊列處理功能。自開源半年多以來，已成功為十幾家中小型企業(yè)提供了精準定時調度方案，經受住了生產環(huán)境的考驗。為使更多童鞋受益，現給出開源框架地址：
https://github.com/sunshinelyz/mykit-delay
寫在前面
在生產環(huán)境中，往往需要對FastDFS實現高可用，進而實現文件的大規(guī)模分布式存儲。那么，如何實現FastDFS的高可用呢?今天，我們就基于CentOS 8服務器來搭建FastDFS高可用集群環(huán)境。
服務器版本
我們在服務器的命令行輸入如下命令來查看服務器的內核版本。
- [root@localhost lib]# cat /etc/redhat-release
- CentOS Linux release 8.1.1911 (Core)
可以看到，集群中每臺服務器的內核版本為：release 8.1.1911 (Core)。
服務器規(guī)劃
這里，我們總共規(guī)劃了6臺服務器，分別為：2臺tracker服務器，4臺storage服務器，其中2臺storage服務器為group1，兩臺storage服務器為group2。具體如下所示。
- tracker服務器
tranker1：192.168.175.101
tracker2：192.168.175.102
- storage服務器
storage1：192.168.175.103 group1
storage2：192.168.175.104 group1
storage3：192.168.175.105 group2
storage4：192.168.175.106 group2
環(huán)境準備
下載FastDFS
在每臺服務器上執(zhí)行如下命令下載FastDFS。
- [root@localhost source]# wget https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz
- [root@localhost source]# wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz
- [root@localhost source]# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz
安裝環(huán)境依賴
在每臺服務器上執(zhí)行如下命令安裝FastDFS所依賴的環(huán)境。
- [root@localhost dest]# yum install gcc gcc-c++
- [root@localhost dest]# yum install libtool zlib zlib-devel openssl openssl-devel
- [root@localhost dest]# yum -y install pcre pcre-devel libevent libevent-devel perl unzip net-tools wget
安裝FastDFS
安裝libfastcommon
在每臺服務器上依次執(zhí)行如下命令。
(1)解壓libfastcommon的壓縮包
- [root@localhost source]# tar -zxvf V1.0.43.tar.gz
(2)編譯并安裝編譯并安裝
- [root@localhost source]# cd libfastcommon-1.0.43/
- [root@localhost libfastcommon-1.0.43]# ./make.sh && ./make.sh install
(3)檢查執(zhí)行的結果，看安裝是否成功
- [root@localhost libfastcommon-1.0.43]# ls /usr/lib64|grep libfastcommon
- libfastcommon.so
- [root@localhost libfastcommon-1.0.43]# ls /usr/lib|grep libfastcommon
- libfastcommon.so
安裝fastdfs
在每臺服務器上依次執(zhí)行如下命令。
(1)解壓fastdfs
- [root@localhost source]# tar -zxvf V6.06.tar.gz
(2)安裝fastdfs
- [root@localhost source]# cd fastdfs-6.06/
- [root@localhost fastdfs-6.06]# ./make.sh && ./make.sh install
(3)檢查fastdfs是否安裝成功
- [root@localhost fastdfs-6.06]# ls /usr/bin|grep fdfs
- fdfs_appender_test
- fdfs_appender_test1
- fdfs_append_file
- fdfs_crc32
- fdfs_delete_file
- fdfs_download_file
- fdfs_file_info
- fdfs_monitor
- fdfs_regenerate_filename
- fdfs_storaged
- fdfs_test
- fdfs_test1
- fdfs_trackerd
- fdfs_upload_appender
- fdfs_upload_file
安裝部署tracker服務
復制tracker的配置文件
在兩臺tracker服務器上，依次執(zhí)行如下命令。
- [root@localhost fastdfs-6.06]# cd /etc/fdfs/
- [root@localhost fdfs]# cp client.conf.sample client.conf
- [root@localhost fdfs]# cp tracker.conf.sample tracker.conf
注意：無須生成storage.conf文件，這兩臺tracker不做為storage。
安裝Nginx
在兩臺tracker服務器上，依次執(zhí)行如下命令。
注意：tracker上不需要安裝fastdfs-nginx-module
(1)解壓Nginx
- [root@localhost source]# tar -zxvf nginx-1.17.8.tar.gz
(2)nginx配置,http_stub_status_module 模塊
- [root@localhost fdfs]# cd /usr/local/source/nginx-1.17.8/
- [root@localhost nginx-1.17.8]# ./configure --prefix=/usr/local/soft/nginx --with-http_stub_status_module
(3)編譯安裝Nginx
- [root@localhost nginx-1.17.8]# make && make install
(4)檢查安裝是否成功
- [root@localhost nginx-1.17.8]# ls /usr/local/soft/ | grep nginx
- nginx
(5)查看指定的編譯參數是否起作用
- [root@localhost fdfs]# /usr/local/soft/nginx/sbin/nginx -V
- nginx version: nginx/1.17.8
- built by gcc 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)
- configure arguments: --prefix=/usr/local/soft/nginx --with-http_stub_status_module
配置并啟動FastDFS
在兩臺tracker上，配置并啟動FastDFS。
(1)創(chuàng)建tracker服務所需的目錄
- [root@localhost fdfs]# mkdir /data/fastdfs
- [root@localhost fdfs]# mkdir /data/fastdfs/tracker
- [root@localhost fdfs]# chmod 777 /data/fastdfs/tracker
(2)配置tracker服務，修改 tracker.conf 文件
- [root@localhost fdfs]# vi /etc/fdfs/tracker.conf
只修改base_path一項的值為我們在上面所創(chuàng)建的目錄即可
- base_path = /data/fastdfs/tracker
(3)啟動 tracker 服務
- [root@localhost fdfs]# /etc/init.d/fdfs_trackerd start
(4)檢查tracker服務啟動是否成功
- [root@localhost fdfs]# ps auxfww | grep fdfs
- root 15067 0.0 0.0 12320 964 pts/0 S+ 15:14 0:00 | | \_ grep --color=auto fdfs
- root 15026 0.0 0.1 90160 5940 ? Sl 15:13 0:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
說明：能看到 fdfs_trackerd,表示tracker服務啟動成功。
(5)檢查tracker服務是否已綁定端口 22122
- [root@localhost dest]# netstat -anp | grep 22122
- tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 15026/fdfs_trackerd
說明：22122端口是在/etc/fdfs/tracker.conf中定義的，如下所示：
- # the tracker server port
- port = 22122
配置client.conf
兩臺tracker上，配置client.conf,配置fastdfs的客戶端使用的配置文件。
(1)配置client.conf
- [root@localhost fdfs]# vi /etc/fdfs/client.conf
以下兩項配置用到的tracker目錄和服務器地址端口
- base_path = /data/fastdfs/tracker
- tracker_server = 192.168.175.101:22122
- tracker_server = 192.168.175.102:22122
說明：兩臺tracker上的client.conf配置相同
(2)從客戶端的配置可以看到：客戶端只需要了解tracker_server的信息。tracker server作用也正是負載均衡和調度
(3)Storage server作用是文件存儲，客戶端上傳的文件最終存儲在 Storage 服務上
測試文件
用client.conf上傳文件測試。
(1)從tacker上傳一個文件
- [root@0268c2dc2bf6 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/a.txt
注意返回的是group1，我們可以group1下面的兩臺機器均找到此txt文件：
- storage1上
- [root@d5d19e99e782 docker_tmp]# ls /data/fastdfs/storage/data/00/00
- rBEABF5aTEeAXHF4AAAABHf4XZU792.txt
- storage2上
- [root@f201111d0698 docker_tmp]# ls /data/fastdfs/storage/data/00/00
- rBEABF5aTEeAXHF4AAAABHf4XZU792.txt
(2)指定group上傳文件
如果想指定上傳到某個group怎么辦?例如：指定上傳到group2
- [root@0268c2dc2bf6 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/a.txt 192.168.175.105:23000
- group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt
說明：指定group2中任一臺的ip和端口即可。
(3)查看效果
- storage3上
- [root@494ac47d63f8 fdfs]# ls /data/fastdfs/storage/data/00/00
- rBEABl5aUAqAXLCZAAAABHf4XZU043.txt
- storage4上
- [root@59fa1efff362 fdfs]# ls /data/fastdfs/storage/data/00/00
- rBEABl5aUAqAXLCZAAAABHf4XZU043.txt
安裝部署storage服務
生成默認配置文件
四臺storage上：生成啟動fastdfs默認的配置文件。
- [root@localhost fastdfs-6.06]# cd /etc/fdfs/
- [root@localhost fdfs]# cp storage.conf.sample storage.conf
- [root@localhost fdfs]# cp client.conf.sample client.conf
說明：不需要生成tracker.conf,因為storage上不再運行tracker服務
安裝Nginx
四臺storage上：安裝nginx及fastdfs-nginx-module
(1)解壓nginx
- [root@localhost source]# tar -zxvf nginx-1.17.8.tar.gz
(2)解壓fastdfs-nginx-module
- [root@localhost source]# tar -zxvf V1.22.tar.gz
(3)修改config文件，把/usr/local 替換成 /usr
- [root@localhost source]# cd fastdfs-nginx-module-1.22/
- [root@localhost fastdfs-nginx-module-1.22]# cd src
- [root@localhost src]# vi config
(4)Nginx配置,添加fastdfs-nginx-module和http_stub_status_module 模塊
- [root@localhost fdfs]# cd /usr/local/source/nginx-1.17.8/
- [root@localhost nginx-1.17.8]# ./configure --prefix=/usr/local/soft/nginx --with-http_stub_status_module --add-module=/usr/local/source/fastdfs-nginx-module-1.22/src/
(5)編譯安裝nginx
- [root@localhost nginx-1.17.8]# make && make install
(6)檢查安裝是否成功
- [root@localhost nginx-1.17.8]# ls /usr/local/soft/ | grep nginx
- nginx
(7)查看指定的編譯參數是否起作用
- [root@localhost fdfs]# /usr/local/soft/nginx/sbin/nginx -V
- nginx version: nginx/1.17.8
- built by gcc 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)
- configure arguments: --prefix=/usr/local/soft/nginx --with-http_stub_status_module --add-module=/usr/local/source/fastdfs-nginx-module-1.22/src/
配置并啟動storage服務
四臺storage上：配置并啟動storage服務
(1)創(chuàng)建storage服務所需的目錄
- [root@localhost fdfs]# mkdir /data/fastdfs/storage
- [root@localhost fdfs]# chmod 777 /data/fastdfs/storage/
(2)配置storage服務
編輯storage的配置文件:
- [root@localhost fdfs]# vi /etc/fdfs/storage.conf
各配置項包括：
- group_name = group1
- #配置base_path為上面所創(chuàng)建的storage目錄
- base_path = /data/fastdfs/storage
- #store_path ：存儲所在的目錄，可以設置多個，注意從0開始
- store_path0 = /data/fastdfs/storage
- #tracker_server的ip和端口
- tracker_server = 192.168.175.101:22122
- tracker_server = 192.168.175.102:22122
- #指定http服務的端口
- http.server_port = 80
配置的不同之處：
- 192.168.175.103 group_name = group1
- 192.168.175.104 group_name = group1
- 192.168.175.105 group_name = group2
- 192.168.175.106 group_name = group2
(3)啟動storage服務
- [root@localhost fdfs]# /etc/init.d/fdfs_storaged start
- 正在啟動 fdfs_storaged (via systemctl)： [ 確定 ]
(4)檢查storage服務啟動是否成功
- [root@localhost fdfs]# ps auxfww | grep fdfs
- root 15630 0.0 0.0 12320 972 pts/0 S+ 15:46 0:00 | | \_ grep --color=auto fdfs
- root 15026 0.0 0.1 155696 6964 ? Sl 15:13 0:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
- root 15573 2.7 1.7 150736 66292 ? Sl 15:45 0:02 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
說明：看到fdfs_storaged,表示storage服務啟動成功
(5)檢查storage服務是否已綁定到端口：23000
- [root@localhost fdfs]# netstat -anp | grep 23000
- tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 15573/fdfs_storaged
說明：23000 端口是在配置文件 /etc/fdfs/storage.conf中定義的，如下:
- # the storage server port
- port = 23000
配置fastdfs-nginx-module
四臺存儲服務器上：配置fastdfs-nginx-module
(1)生成配置文件
- [root@localhost nginx-1.17.8]# cp /usr/local/source/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/
(2)編輯配置文件
- [root@localhost nginx-1.17.8]# vi /etc/fdfs/mod_fastdfs.conf
配置以下幾項
- group_name=group1
- connect_timeout=10
- tracker_server=192.168.175.101:22122
- tracker_server=192.168.175.102:22122
- url_have_group_name = true
- store_path0=/data/fastdfs/storage
- group_count = 2
- [group1]
- group_name=group1
- storage_server_port=23000
- store_path_count=1
- store_path0=/data/fastdfs/storage
- [group2]
- group_name=group2
- storage_server_port=23000
- store_path_count=1
- store_path0=/data/fastdfs/storage
說明：最上面的group_name：當機器屬于group1這組時，值為group1;當機器屬于group2這組時，值為group2。
說明：url_have_group_name = true。注意：這一項不要漏掉，會導致nginx不正常工作
(3)復制另兩個web訪問用到配置文件到fdfs配置目錄下:
- [root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/http.conf /etc/fdfs/
- [root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/mime.types /etc/fdfs/
配置Nginx
四臺存儲服務器上：配置nginx
編輯nginx的配置文件:
- [root@localhost conf]# vi /usr/local/soft/nginx/conf/nginx.conf
在server listen 80 的這個server配置下面，
增加一個location
- location ~/group([0-9]) {
- root /data/fastdfs/storage/data;
- ngx_fastdfs_module;
- }
啟動nginx
(1)啟動Nginx
- [root@localhost storage]# /usr/local/soft/nginx/sbin/nginx
(2)檢查nginx是否已成功啟動
- [root@localhost storage]# ps auxfww | grep nginx
- root 24590 0.0 0.0 12320 980 pts/0 S+ 16:44 0:00 | | \_ grep --color=auto nginx
- root 24568 0.0 0.0 41044 428 ? Ss 16:44 0:00 \_ nginx: master process /usr/local/soft/nginx/sbin/nginx
- nobody 24569 0.0 0.1 74516 4940 ? S 16:44 0:00 \_ nginx: worker process
配置tracker服務
配置tracker服務
說明：這一步等待四臺storage server配置完成后再進行。使用n=Nginx做upstream負載均衡的原因：可以通過一個地址訪問后端的多個group
(1)文件上傳完成后，從瀏覽器訪問各個storage的Nginx即可:
例如:
- http://192.168.175.103/group1/M00/00/00/rBEABF5aTRiAEuHwAAAABHf4XZU322.txt
- http://192.168.175.104/group1/M00/00/00/rBEABF5aTRiAEuHwAAAABHf4XZU322.txt
- http://192.168.175.105/group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt
- http://192.168.175.106/group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt
說明：各臺storage server的ip地址后面跟著上傳時所返回的地址。注意：只能訪問各臺機器所在的group,
- 如果想通過統(tǒng)一的ip地址進行訪問
- 需要在Nginx中通過upstream訪問到后端的機器
- 此Nginx應運行在tracker上
(2)配置nginx.conf
- [root@0268c2dc2bf6 ~]# vi /usr/local/soft/nginx/conf/nginx.conf
內容:
添加 upstream到后端的storage。
- upstream fdfs_group1 {
- server 192.168.175.103:80 weight=1 max_fails=2 fail_timeout=30s;
- server 192.168.175.104:80 weight=1 max_fails=2 fail_timeout=30s;
- }
- upstream fdfs_group2 {
- server 192.168.175.105:80 weight=1 max_fails=2 fail_timeout=30s;
- server 192.168.175.106:80 weight=1 max_fails=2 fail_timeout=30s;
- }
針對帶有group的url進行處理
- location /group1 {
- proxy_next_upstream http_502 http_504 error timeout invalid_header;
- proxy_pass http://fdfs_group1;
- expires 30d;
- }
- location /group2 {
- proxy_next_upstream http_502 http_504 error timeout invalid_header;
- proxy_pass http://fdfs_group2;
- expires 30d;
- }
(3)重啟測試
- [root@0268c2dc2bf6 ~]# /usr/local/soft/nginx/sbin/nginx -s stop
- [root@0268c2dc2bf6 ~]# /usr/local/soft/nginx/sbin/nginx
在瀏覽器中訪問:
- http://192.168.175.101/group1/M00/00/00/rBEABF5aTRiAEuHwAAAABHf4XZU322.txt
- http://192.168.175.101/group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt
本文轉載自微信公眾號「冰河技術」，可以通過以下二維碼關注。轉載本文請聯系冰河技術公眾號。
分享標題：面試官：如何實現文件的大規(guī)模分布式存儲？
新聞來源：http://www.5511xx.com/article/dhhgggh.html
