建站
咨詢
售后
建站咨詢
新聞中心
Moosefs分布式文件系統(tǒng)集群講解配置
作者：Andy-xxb 2014-06-24 15:24:52
開發(fā)
前端
分布式 本篇為大家分享一下關于MooseFS的相關知識，以及簡單的安裝配置介紹。MooseFS是一種分布式文件系統(tǒng)，它通過四個節(jié)點服務器來進行整個分布式文件系統(tǒng)的正常運作，包括管理服務器，元數(shù)據(jù)日志服務器，存儲服務器和客戶端掛載。本章將通過實驗環(huán)境為大家介紹整個集群的運行原理以及工作方式。如有更多方案或者簡介，歡迎多多交流！
10年積累的成都網(wǎng)站制作、成都做網(wǎng)站經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你，你也不認識我。但先網(wǎng)站設計后付款的網(wǎng)站建設流程，更有福山免費網(wǎng)站建設讓你可以放心的選擇與我們合作。
1 管理服務器(master-server):負責各個數(shù)據(jù)存儲服務器的管理,文件讀寫調(diào)度,文件空間回收以及恢復.多節(jié)點拷貝
2 元數(shù)據(jù)日志服務器(changelog-server): 負責備份master服務器的變化，（一般情況下可以和管理服務器放在一起）文件類型為changelog_ml.*.mfs，以便于在master server出問題的時候接替其進行工作
3數(shù)據(jù)存儲服務器(chunk-server):負責連接管理服務器,聽從管理服務器調(diào)度,提供存儲空間，并為客戶提供數(shù)據(jù)傳輸.
4客戶端(clients): 通過fuse內(nèi)核接口掛接遠程管理服務器上所管理的數(shù)據(jù)存儲服務器,.看起來共享的文件系統(tǒng)和本地unix文件系統(tǒng)使用一樣的效果.
MFS文件系統(tǒng)的讀寫原理：
MFS分布式文件系統(tǒng)搭建：
系統(tǒng)環(huán)境：
RHEL6.4
selinux is disabled
iptables is flush
一、yum 源定義，用來解決軟件包的依賴性問題
- # cat yum.repo
- [base]
- name=yum
- baseurl=ftp://192.168.2.234/pub/RHEL6.4
- gpgcheck=0
- [HA]
- name=ha
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/HighAvailability
- gpgcheck=0
- [lb]
- name=LB
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/LoadBalancer
- gpgcheck=0
- [Storage]
- name=St
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/ResilientStorage
- gpgcheck=0
- [SFS]
- name=FS
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/ScalableFileSystem
- gpgcheck=0
二、主機解析準備
- # cat /etc/hosts
- 192.168.2.88 node1 mfsmaster
- 192.168.2.89 node2
- 192.168.2.90 node3
- 192.168.2.82 node4
- 192.168.2.85 node5
實驗將用node1作為master-server
node3和node4作為chunk-server
node5作為clients
所有節(jié)點必須有以上準備
三、安裝準備
#yum install rpm-build gcc make fuse-devel zlib-devel -y 安裝編譯環(huán)境使用的依賴(其實安裝過程中會提示安裝)
#rpmbuild -tb mfs-1.6.27.tar.gz 將gz包構建成rpm包的方式 注意：包的格式很重要(只支持大的版本)
## ls /root/rpmbuild/RPMS/x86_64/ 生成的rpm包
mfs-cgi-1.6.27-2.x86_64.rpm mfs-client-1.6.27-2.x86_64.rpm
mfs-cgiserv-1.6.27-2.x86_64.rpm mfs-master-1.6.27-2.x86_64.rpm
mfs-chunkserver-1.6.27-2.x86_64.rpm mfs-metalogger-1.6.27-2.x86_64.rpm
1.master-server安裝：
- # yum localinstall mfs-cgi-1.6.27-2.x86_64.rpm mfs-master-1.6.27-2.x86_64.rpm mfs-cgiserv-1.6.27-2.x86_64.rpm -y
可以用cgi進行頁面監(jiān)控：
master-server：主要文件和目錄
/var/lib/mfs mfs數(shù)據(jù)目錄
metadata.mfs mfs啟動文件
/etc/mfs 主目錄(存儲配置文件)
mfsmaster.cfg mfs主配置文件(定義相關參數(shù)，用戶、組等設定)
mfsexports.cfg mfs被掛接目錄及其權限控制文件
mfstopology.cfg 定義 MFS 網(wǎng)絡拓撲結(jié)構的文件
配置文件默認不需要修改就可以使用
#chown -R nobody /var/lib/mfs 注意給數(shù)據(jù)目錄以mfs的權限
# mfsmaster 啟動mfs
#mfsmaster stop 關閉mfs
#netstat -antlpe（mfsmaster開啟三個端口：客戶端連接9421端口，監(jiān)聽9422端口;數(shù)據(jù)節(jié)點9420端口）
#/usr/share/mfscgi
#chmod +x *.cgi 給所有的cgi頁面可執(zhí)行權限(以便與在web下查看狀態(tài))
# mfscgiserv ------- -》啟動cgi監(jiān)控
http://192.168.2.88:9425/
查看mfs監(jiān)控信息
2.chunk-server安裝配置（node3 and node4）
#rpm -ivh mfs-chunkserver-1.6.27-2.x86_64.rpm
#cd /etc/mfs/
#cp mfschunkserver.cfg.dist mfschunkserver.cfg
# cp mfshdd.cfg.dist mfshdd.cfg
# vim mfshdd.cfg 存儲文件
/mnt/chunk 真正存儲的目錄(將客戶端/mnt/mfs的文件存儲)
#mkdir /mnt/chunk
#mkdir /var/lib/mfs
#chown nobody /var/lib/mfs/
#chown nobody /mnt/chunk
# mfschunkserver 啟動mfs服務器（注意，mfsmaster的解析必須到位）
#l. 產(chǎn)生一個隱藏鎖文件
.mfschunkserver.lock
3.clients端的安裝與配置；
# yum localinstall mfs-client-1.6.27-2.x86_64.rpm
#cp mfsmount.cfg.dist mfsmount.cfg
#vim mfsmount.cfg
修改master和分布式目錄/mnt/mfs
#mkdir /mnt/mfs
#mfsmounts 執(zhí)行客戶端掛載
mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root 掛載成功
# df 查看掛載設備
mfsmaster:9421 6714624 0 6714624 0% /mnt/mfs
# ll -d /mnt/mfs/ 掛載后自動讀寫
drwxrwxrwx 2 root root 0 Jun 8 10:29 /mnt/mfs/
測試：MFS測試：
# mkdir hello{1,2}
# ls
hello1 hello2
# mfsdirinfo hello1/
hello1/:
inodes: 1
directories: 1
files: 0
chunks: 0
length: 0
size: 0
realsize: 0
# mfssetgoal -r 3 hello1/ 設置備份次數(shù)
hello1/:
inodes with goal changed: 1
inodes with goal not changed: 0
inodes with permission denied: 0
# mfsgetgoal hello1/ 查看文件備份數(shù)
hello1/: 3
# mfsgetgoal hello2
hello2: 1
#cp /etc/fstab hello1/
# cp /etc/passwd hello2/
# mfsfileinfo /hello/fstab 查看文件具體信息
fstab:
chunk 0: 000000000000000B_00000001 / (id:11 ver:1)
copy 1: 192.168.2.82:9422
copy 2: 192.168.2.90:9422
# mfscheckfile passwd
測試存儲關系：
# mfsfileinfo fstab
fstab:
chunk 0: 000000000000000B_00000001 / (id:11 ver:1)
copy 1: 192.168.2.90:9422
[root@node5 hello1]# mfsfileinfo ../hello2/passwd
../hello2/passwd:
chunk 0: 000000000000000C_00000001 / (id:12 ver:1)
no valid copies !!!
客戶端：誤刪除文件(不小心刪除/mnt/mfs/hello*/passwd)
# mfsmount -m /mnt/test/ -H mfsmaster 恢復目錄掛載到mfsmaster上
mfsmaster accepted connection with parameters: read-write,restricted_ip
# mount
#cd /mnt/test/
## mfscheckfile passwd
# mv 00000005\|hello2\|passwd undel/
直接恢復到之前的mfs目錄中
# umount /mnt/meta/
mfschunk-server可以自動檢測客戶端的配置文件：
# mfschunkserver stop
在客戶端重新拷貝文件，
#cp /etc/inittab /mnt/mfs/hello1
#mfsgetgoal hello1/fstab 查看文件份數(shù)
#mfsgetgoal hello1/inittab
# mfsfileinfo inittab 剛開始只有一個chukserver，只能保存一份
開啟chunkserver
#mfschunkserver
# mfsfileinfo inittab 查看文件的備份數(shù)，恢復成chunkserver的數(shù)
inittab:
chunk 0: 0000000000000006_00000001 / (id:6 ver:1)
copy 1: 192.168.2.184:9422
copy 2: 192.168.2.185:9422
注意:
在mfsmaster中，正常運行時，數(shù)據(jù)文件為metadata.mfs.back
當主機出現(xiàn)故障，數(shù)據(jù)文件會保存成metadata.mfs
使用非正常關閉，(kill -9 pid) 數(shù)據(jù)文件將不會恢復
# mfsmetarestore -a- 非正常啟動后會丟失metadata.mfs文件，必須恢復一下
然后重新啟動mfsmaster(mfsmaster啟動必須有metadata.mfs文件)
本文來自：http://my.oschina.net/xxbAndy/blog/282833
網(wǎng)站名稱：Moosefs分布式文件系統(tǒng)集群講解配置
鏈接地址：http://www.5511xx.com/article/coijhcp.html
