日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間:8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
通過Yum部署MFS分布式文件系統(tǒng)具體步驟

MFS 是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng), 它把數(shù)據(jù)分散存放在多個物理服務(wù)器上,而呈現(xiàn)給用戶的則是一個統(tǒng)一的資源,本篇文章重點(diǎn)講解一下通過Yum部署MFS分布式文件系統(tǒng)具體步驟。

分布式原理

分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點(diǎn)上,而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。簡單來說,就是把一些分散的(分布在局域網(wǎng)內(nèi)各個計算機(jī)上)共享文件夾,集合到一個文件夾內(nèi)(虛擬共享文件夾)。對于用戶來說,要訪問這些共享文件時,只要打開這個虛擬共享文件夾,就可以看到所有鏈接到虛擬共享文件夾內(nèi)的共享文件夾,用戶感覺不到這些共享文件是分布于各個計算機(jī)上的。分布式文件系統(tǒng)的好處是集中訪問、簡化操作、數(shù)據(jù)容災(zāi),以及提高文件的存取性能。

MFS原理

MFS是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng),它把數(shù)據(jù)分散存放在多個物理服務(wù)器上,而呈現(xiàn)給用戶的則是統(tǒng)一的資源。

MFS文件系統(tǒng)的組成
元數(shù)據(jù)服務(wù)器(Master):在整個體系中負(fù)責(zé)管理文件系統(tǒng),維護(hù)元數(shù)據(jù)。
元數(shù)據(jù)日志服務(wù)器(Metalogger):備份Master服務(wù)器的變化日志文件,文件類型為changelog_ml.*.mfs。當(dāng)Master服務(wù)器數(shù)據(jù)丟失或損壞時,可以從日志服務(wù)器中取得文件,進(jìn)行恢復(fù)。
數(shù)據(jù)存儲服務(wù)器(Chunk Server):真正存儲數(shù)據(jù)的服務(wù)器。存儲文件時,會把文件分塊保存,并在數(shù)據(jù)服務(wù)器間進(jìn)行復(fù)制。數(shù)據(jù)服務(wù)器越多,能使用的“容量”也越大,可靠性越高,性能也就越好。
客戶端(Client):可以直接掛載MFS文件系統(tǒng)。
MFS讀取數(shù)據(jù)的處理過程
客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求
元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置(Chunk Server的IP地址和Chunk編號)告知客戶端
客戶端向已知的Chunk Server請求發(fā)送數(shù)據(jù)
Chunk Server向客戶端發(fā)送數(shù)據(jù)
MFS寫入數(shù)據(jù)的處理過程
客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求
元數(shù)據(jù)服務(wù)器與Chunk Server進(jìn)行交互(只有當(dāng)所需的分塊Chunk存在的時候才進(jìn)行交互),但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊chunks,創(chuàng)建成功后由Chunk Servers告知元數(shù)據(jù)服務(wù)器操作成功
元數(shù)據(jù)服務(wù)器告知客戶端,可以在哪個Chunk Server的那些chunks寫入數(shù)據(jù)
客戶端向指定的Chunk Server寫入數(shù)據(jù)
該Chunk Server與其他Chunk Server進(jìn)行數(shù)據(jù)同步,同步成功后Chunk Server告知客戶端數(shù)據(jù)寫入成功
客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢

MFS優(yōu)勢

高可用性:沒有單點(diǎn)故障也稱為無SPOF配置。文件系統(tǒng)的元數(shù)據(jù)在物理冗余服務(wù)器上保存為兩個或多個副本。用戶數(shù)據(jù)冗余地分布在系統(tǒng)中的存儲服務(wù)器上。
低成本的數(shù)據(jù)安全:MooseFS使用戶能夠節(jié)省大量硬盤空間,保持相同的數(shù)據(jù)冗余級別。在大多數(shù)常見情況下,將節(jié)省至少55%的硬盤空間.
可擴(kuò)展性:存儲可以擴(kuò)展到16字節(jié)(~16000千兆字節(jié)),這使我們可以存儲超過20億個文件
高性能:旨在支持高性能I/O操作。用戶數(shù)據(jù)可以在許多存儲節(jié)點(diǎn)上同時讀取/寫入,從而避免單個中央服務(wù)器或單個網(wǎng)絡(luò)連接瓶頸。

環(huán)境準(zhǔn)備

使用五臺服務(wù)器模擬搭建MFS文件系統(tǒng)
關(guān)閉防火墻及selinux systemctl stop firewalld setenforce 0
虛擬機(jī)規(guī)劃如下

項(xiàng)目實(shí)施 搭建Master Server

安裝軟件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

//添加鍵值

curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

//添加適當(dāng)?shù)膸鞐l目

yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y
啟動服務(wù)
systemctl start moosefs-master
systemctl enable moosefs-master
netstat -ntap | grep mfs

搭建MetalLogger Server

安裝軟件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

//添加鍵值

curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

//添加適當(dāng)?shù)膸鞐l目

yum install moosefs-metalogger -y
修改配置文件
vim /etc/mfs/mfsmetalogger.cfg
MASTER_HOST = 172.16.10.21  

//地址指向主服務(wù)器

啟動服務(wù)
systemctl start moosefs-metalogger
systemctl enable moosefs-metalogger
netstat -ntap | grep mfs

搭建Chunk Server

項(xiàng)目中的兩臺Chunk Server的搭建步驟是完全相同

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

//添加鍵值

curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

//添加適當(dāng)?shù)膸鞐l目

yum install moosefs-chunkserver -y

修改配置文件

修改mfschunkserver.cfg

vim /etc/mfs/mfschunkserver.cfg
MASTER_HOST = 172.16.10.21

//在配置文件中修改,將地址指向主服務(wù)器

修改mfshdd.cfg

vim /etc/mfs/mfshdd.cfg
/chen  

//在末行添加共享目錄

為共享目錄授權(quán)

chown -R mfs:mfs /chen

啟動服務(wù)

systemctl start moosefs-chunkserver
systemctl enable moosefs-chunkserver
netstat -ntap | grep mfs

安裝Client

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

//添加鍵值

curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

//添加適當(dāng)?shù)膸鞐l目

yum install moosefs-client -y

加載fuse模塊到內(nèi)核

modprobe fuse

掛載共享目錄

mkdir /opt/mfs

//創(chuàng)建掛載點(diǎn)

mfsmount /opt/mfs/ -H 172.16.10.21

//掛載,地址為master地址

查看掛載

df -h

常用操作介紹

mfsgetgoal命令用來查詢文件被復(fù)制的份數(shù),利用-r命令可以對整個目錄進(jìn)行遞歸,goal是指文件被復(fù)制的份數(shù)。

mfsgetgoal -r /opt/mfs/

mfssetgoal命令同來設(shè)置文件被復(fù)制的份數(shù),生產(chǎn)環(huán)境中Chunk節(jié)點(diǎn)數(shù)量應(yīng)至少大于2,文件副本數(shù)量小于等于Chunk服務(wù)器數(shù)量。

mfssetgoal -r 2 /opt/mfs/

MFS監(jiān)控

Mfscgiserv是一個用Python編寫的web服務(wù)器,監(jiān)聽端口是9425,可以在Master Server啟動監(jiān)控,用戶利用瀏覽器就可以全面監(jiān)控所有客戶掛載、Chunk Server、Master Server,以及客戶端的各種操作等。

主服務(wù)器上開啟監(jiān)控

mfscgiserv


當(dāng)前名稱:通過Yum部署MFS分布式文件系統(tǒng)具體步驟
轉(zhuǎn)載來源:http://www.5511xx.com/article/dhosojg.html