moosefs 分布式文件系统,mofs自组装
MooseFS是Linux下的开源半分布式文件系统,以下简称MFS。目前很多企业都在用。它之所以被广泛使用,是因为它有以下优点:
安装和配置简单方便
高可靠性(数据的多个副本存储在多个不同的服务器上)
可以通过添加新的服务器或硬盘来动态扩展容量。
删除的数据可以保留一段时间(类似于windows中的回收站机制,需要配置数据保留时间)
不难看出,MFS是开源的,但功能并不逊于专业存储系统。让我们了解一下如何安装和配置MFS。
MFS文件系统结构
整个文件系统包括以下角色:
管理-主服务器
元数据服务器-MetaloggerServer
数据存储服务器-ChunkServer
客户-客户
每个角色的作用如下:
1.管理服务器,负责各个数据存储服务器的管理,文件读写调度,文件空间恢复和多节点副本恢复。
2.元数据日志服务器,负责备份主服务器的更改日志文件。文件类型是changelog_ml。*.mfs,以便在主服务器出现问题时接管它的工作。
3.数据存储服务器负责连接管理服务器,服从管理服务器的调度,提供存储空间,为客户提供数据传输。
4.客户端通过fuse内核接口连接远程管理服务器管理的数据存储服务器。共享文件系统似乎与本地unix文件系统具有相同的效果。
准备工作
准备服务器:
操作系统:Centos 5.8 x86_64
服务器:192.168.0.201
元数据服务器:192.168.0.202
数据存储服务器:192.168.0.203
数据存储服务器:192.168.0.204
客户:192.168.0.205
下载安装包:
wget http://pro . hit . gemi us . pl/hit redir/id=p 4 cvhpozkva 0 jjik . m0 ee 6 dyhzegoqb 1 kaipmvk 29 ex . M7/URL=
moosefs.org/tl_files/mfscode/mfs-1.6.26.tar.gz
添加相关用户和用户组:
groupaddmfs
useradd-gmfsmfs-s /sbin/nologin
编译MFS
整个MFS安装非常简单,只有以下步骤。
tarzxvfmfs-1.6.26.tar.gz
cdmfs-1.6.26。/configure -前缀=/usr/local/MFS-with-default-user=MFS-with-default-group=MFS
制造
安装
注意客户端部分需要在安装前检查是否安装了fuse。如果没有,请执行以下部分:
yuminstallfuse
yuminstallfuse-devel
使用
服务器(192.168.0.201):
mfsmaster.cfg的配置
cd/usr/local/mfs/etc
cpmfsmaster . CFG . distmfsmaster . CFG
vim mfsmaster.cfg
mfsmaster.cfg文件如下所示,
所有带#的都是默认配置,不带#的需要手动配置。
# WORKING _ USER=mfs运行mfsmaster的用户。
#WORKING_GROUP=mfs运行mfsmaster的组。
#SYSLOG_IDENT=mfsmaster是SYSLOG中主服务器的标识。
#LOCK_MEMORY=0是否要执行mlockall()以避免mfsmaster进程溢出?
#NICE_LEVEL=-19运行优先级
# exports _ filename=/usr/local/MFS/etc/MFS exports . CFG是其权限控制文件的挂载目录和存储路径。
# TOPOLOGY _ FILENAME=/usr/local/MFS/etc/MFS TOPOLOGY . CFG
# data _ path=/usr/local/MFS/var/MFS数据存储路径,存储三种类型的文件,changelog、sessions和stats。
#BACK_LOGS=50元数据的更改日志文件数
#BACK_META_KEEP_PREVIOUS=1
#REPLICATIONS_DELAY_INIT=300延迟复制时间
# replications _ delay _ disconnect=3600 chunk服务器断开复制的延迟
#MATOML_LISTEN_HOST=*元数据日志服务器侦听的IP地址。
#MATOML_LISTEN_PORT=9419元数据日志服务器监听的端口地址。
#MATOCS_LISTEN_HOST=*用于ChunkServer连接的IP地址
#MATOCS_LISTEN_PORT=9420用于ChunkServer连接的端口地址
#MATOCL_LISTEN_HOST=*用于客户端挂钩连接的IP地址
#MATOCL_LISTEN_PORT=9421客户端挂钩连接的端口地址
#CHUNKS_LOOP_CPS=100000
# chunks _ loop _ time=个块的回送频率
#CHUNKS_SOFT_DEL_LIMIT=10
#CHUNKS_HARD_DEL_LIMIT=25
#CHUNKS_WRITE_REP_LIMIT=2一个周期内复制到ChunkServer的最大块数。
#CHUNKS_READ_REP_LIMIT=10一个周期内从ChunkServer复制的最大块数。
#REJECT_OLD_CLIENTS=0弹出上一版本的客户端钩子。
#已弃用:
# CHUNKS _ DEL _ LIMIT-请改用组块_删除_限制
# LOCK _ FILE-locksystem已更改,而和andthisoptionisusedonlyto
searchforoldlockfile
mfsmaster.cfg的配置
cd/usr/local/mfs/etc
cpmfsmaster。CFG。distmfsmaster。稳频发电机(发生器)(constant frequency generator的缩写)
vimmfsmaster.cfg
mfsmaster.cfg文件的内容如下:
该配置文件中每个条目分为三部分,客户端互联网协议(互联网协议)地址、挂接的目录、客户端拥有的权限。默认带#号的配置是不生效的。
*/rw,alldirs,maproot=0
#192.168.1.0/24/rw,alldirs,maproot=0,password=密码
#10.0.0.0-10.0.0.5/testrw,maproot=nobody,password=test
#10.1.0.0/255.255.0.0/publicrw,mapall=1000:1000
#10.2.0.0/16/rw,alldirs,maproot=0,mintrashtime=2h30m,maxtrashtime=2w
[!- empirenews.page - ]
复制元数据文件
cd/usr/local/mfs/var/mfs/
mv元数据。MFS。空元数据。马凡综合征
与管理服务器相关的命令:
启动命令:/usr/local/MFS/sbin/mfsmasterstart
安全停止命令:/usr/local/MFS/sbin/MFS masters
更多帮助信息:/usr/local/MFS/sbin/MFS masterh
元数据日志服务器(192.168.0.202):
mfsmetalogger.cfg的配置
cd/usr/local/mfs/etc
cpmfsmetalogger。CFG。distmfsmetalogger。稳频发电机(发生器)(constant frequency generator的缩写)
vimmfsmetalogger.cfg
mfsmetalogger.cfg文件的内容如下:
带#号的均为默认配置,不带#号的需手工配置。
#WORKING_USER=mfs
# WORKING _ GROUP=mfs
#SYSLOG_IDENT=mfsmetalogger
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#数据路径=/usr/local/mfs/var/mfs
#BACK_LOGS=50
#BACK_META_KEEP_PREVIOUS=3
#META_DOWNLOAD_FREQ=24元数据备份文件下载请求频率,默认是24小时。
#MASTER_RECONNECTION_DELAY=5
主主机=192.168.0.201此处需要修改为主服务器的互联网协议(互联网协议)
#主端口=9419
#MASTER_TIMEOUT=60
#已弃用,toberemovedinMooseFS1.7
# LOCK _ FILE=/var/run/MFS/MFS metalogger。锁
与元数据日志服务器相关的命令:
启动命令:/usr/local/MFS/sbin/mfsmetaloggerstart
安全停止命令:/usr/local/MFS/sbin/MFS metaloggers
更多帮助信息:/usr/local/MFS/sbin/MFS metaloggerh
数据存储服务器(192.168.0.203和192.168.0.203):
mfschunkserver.cfg的配置
cd/usr/local/mfs/etc
cpmfschunkserver。CFG。distmfschunkserver。稳频发电机(发生器)(constant frequency generator的缩写)
vimmfschunkserver.cfg
mfschunkserver.cfg文件的内容如下:
带#号的均为默认配置,不带#号的需手工配置。
#WORKING_USER=mfs
# WORKING _ GROUP=mfs
#SYSLOG_IDENT=mfschunkserver
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#数据路径=/usr/local/mfs/var/mfs
#MASTER_RECONNECTION_DELAY=5
#BIND_HOST=*
主主机=192.168.0.201元数据服务器的名称或地址,可以是主机名或互联网协议(互联网协议)地址
主端口=9420
#MASTER_TIMEOUT=60
#CSSERV_LISTEN_HOST=*
#CSSERV_LISTEN_PORT=9422该端口用于与其他数据存储服务器间的连接,通常是数据复制。
#硬盘驱动器_ CONF _文件名=/usr/local/mfs/etc/mfshdd.cfg分配给马凡综合征使用的磁盘空间配置文件的位置。
#硬盘测试FREQ=10
#已弃用,toberemovedinMooseFS1.7
# LOCK _ FILE=/var/run/MFS/mfschunkserver。锁
#BACK_LOGS=50
#CSSERV_TIMEOUT=5
mfshdd.cfg的配置
cd/usr/local/mfs/etc
cpmfshdd。CFG。distmfshd。稳频发电机(发生器)(constant frequency generator的缩写)
vimmfshdd.cfg
mfshdd.cfg文件的内容如下:
/数据
上面的/数据是一个马凡综合征分区,需要将此分区的属主改为mfs。
chownRmfs.mfs/data
与数据存储服务器相关的命令:
启动命令:/usr/local/MFS/sbin/mfschunkserverstart
安全停止命令:/usr/local/MFS/sbin/mfschunkservers
更多帮助信息:/usr/local/MFS/sbin/mfschunkserverh
客户端(192.168.0.205):
创建挂接点
mkdirp/data/MFS
挂载马凡综合征的命令
/usr/local/MFS/bin/MFS mount/data/MFS-h 192。168 .0 .201
查看挂载情况:
查看挂载信息:
卸载马凡综合征挂载:
卸载/数据/mfs
查看更多帮助信息:
/usr/local/MFS/bin/MFS mounth
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。