moosefs 分布式文件系统,mofs自组装

  moosefs 分布式文件系统,mofs自组装

  MooseFS是Linux下的开源半分布式文件系统,以下简称MFS。目前很多企业都在用。它之所以被广泛使用,是因为它有以下优点:

  安装和配置简单方便

  高可靠性(数据的多个副本存储在多个不同的服务器上)

  可以通过添加新的服务器或硬盘来动态扩展容量。

  删除的数据可以保留一段时间(类似于windows中的回收站机制,需要配置数据保留时间)

  不难看出,MFS是开源的,但功能并不逊于专业存储系统。让我们了解一下如何安装和配置MFS。

  MFS文件系统结构

  整个文件系统包括以下角色:

  管理-主服务器

  元数据服务器-MetaloggerServer

  数据存储服务器-ChunkServer

  客户-客户

  每个角色的作用如下:

  1.管理服务器,负责各个数据存储服务器的管理,文件读写调度,文件空间恢复和多节点副本恢复。

  2.元数据日志服务器,负责备份主服务器的更改日志文件。文件类型是changelog_ml。*.mfs,以便在主服务器出现问题时接管它的工作。

  3.数据存储服务器负责连接管理服务器,服从管理服务器的调度,提供存储空间,为客户提供数据传输。

  4.客户端通过fuse内核接口连接远程管理服务器管理的数据存储服务器。共享文件系统似乎与本地unix文件系统具有相同的效果。

  准备工作

  准备服务器:

  操作系统:Centos 5.8 x86_64

  服务器:192.168.0.201

  元数据服务器:192.168.0.202

  数据存储服务器:192.168.0.203

  数据存储服务器:192.168.0.204

  客户:192.168.0.205

  下载安装包:

  wget http://pro . hit . gemi us . pl/hit redir/id=p 4 cvhpozkva 0 jjik . m0 ee 6 dyhzegoqb 1 kaipmvk 29 ex . M7/URL=

  moosefs.org/tl_files/mfscode/mfs-1.6.26.tar.gz

  添加相关用户和用户组:

  groupaddmfs

  useradd-gmfsmfs-s /sbin/nologin

  编译MFS

  整个MFS安装非常简单,只有以下步骤。

  tarzxvfmfs-1.6.26.tar.gz

  cdmfs-1.6.26。/configure -前缀=/usr/local/MFS-with-default-user=MFS-with-default-group=MFS

  制造

  安装

  注意客户端部分需要在安装前检查是否安装了fuse。如果没有,请执行以下部分:

  yuminstallfuse

  yuminstallfuse-devel

  使用

  服务器(192.168.0.201):

  mfsmaster.cfg的配置

  cd/usr/local/mfs/etc

  cpmfsmaster . CFG . distmfsmaster . CFG

  vim mfsmaster.cfg

  mfsmaster.cfg文件如下所示,

  所有带#的都是默认配置,不带#的需要手动配置。

  # WORKING _ USER=mfs运行mfsmaster的用户。

  #WORKING_GROUP=mfs运行mfsmaster的组。

  #SYSLOG_IDENT=mfsmaster是SYSLOG中主服务器的标识。

  #LOCK_MEMORY=0是否要执行mlockall()以避免mfsmaster进程溢出?

  #NICE_LEVEL=-19运行优先级

  # exports _ filename=/usr/local/MFS/etc/MFS exports . CFG是其权限控制文件的挂载目录和存储路径。

  # TOPOLOGY _ FILENAME=/usr/local/MFS/etc/MFS TOPOLOGY . CFG

  # data _ path=/usr/local/MFS/var/MFS数据存储路径,存储三种类型的文件,changelog、sessions和stats。

  #BACK_LOGS=50元数据的更改日志文件数

  #BACK_META_KEEP_PREVIOUS=1

  #REPLICATIONS_DELAY_INIT=300延迟复制时间

  # replications _ delay _ disconnect=3600 chunk服务器断开复制的延迟

  #MATOML_LISTEN_HOST=*元数据日志服务器侦听的IP地址。

  #MATOML_LISTEN_PORT=9419元数据日志服务器监听的端口地址。

  #MATOCS_LISTEN_HOST=*用于ChunkServer连接的IP地址

  #MATOCS_LISTEN_PORT=9420用于ChunkServer连接的端口地址

  #MATOCL_LISTEN_HOST=*用于客户端挂钩连接的IP地址

  #MATOCL_LISTEN_PORT=9421客户端挂钩连接的端口地址

  #CHUNKS_LOOP_CPS=100000

  # chunks _ loop _ time=个块的回送频率

  #CHUNKS_SOFT_DEL_LIMIT=10

  #CHUNKS_HARD_DEL_LIMIT=25

  #CHUNKS_WRITE_REP_LIMIT=2一个周期内复制到ChunkServer的最大块数。

  #CHUNKS_READ_REP_LIMIT=10一个周期内从ChunkServer复制的最大块数。

  #REJECT_OLD_CLIENTS=0弹出上一版本的客户端钩子。

  #已弃用:

  # CHUNKS _ DEL _ LIMIT-请改用组块_删除_限制

  # LOCK _ FILE-locksystem已更改,而和andthisoptionisusedonlyto

  searchforoldlockfile

  mfsmaster.cfg的配置

  cd/usr/local/mfs/etc

  cpmfsmaster。CFG。distmfsmaster。稳频发电机(发生器)(constant frequency generator的缩写)

  vimmfsmaster.cfg

  mfsmaster.cfg文件的内容如下:

  该配置文件中每个条目分为三部分,客户端互联网协议(互联网协议)地址、挂接的目录、客户端拥有的权限。默认带#号的配置是不生效的。

  */rw,alldirs,maproot=0

  #192.168.1.0/24/rw,alldirs,maproot=0,password=密码

  #10.0.0.0-10.0.0.5/testrw,maproot=nobody,password=test

  #10.1.0.0/255.255.0.0/publicrw,mapall=1000:1000

  #10.2.0.0/16/rw,alldirs,maproot=0,mintrashtime=2h30m,maxtrashtime=2w

  [!- empirenews.page - ]

  复制元数据文件

  cd/usr/local/mfs/var/mfs/

  mv元数据。MFS。空元数据。马凡综合征

  与管理服务器相关的命令:

  启动命令:/usr/local/MFS/sbin/mfsmasterstart

  安全停止命令:/usr/local/MFS/sbin/MFS masters

  更多帮助信息:/usr/local/MFS/sbin/MFS masterh

  元数据日志服务器(192.168.0.202):

  mfsmetalogger.cfg的配置

  cd/usr/local/mfs/etc

  cpmfsmetalogger。CFG。distmfsmetalogger。稳频发电机(发生器)(constant frequency generator的缩写)

  vimmfsmetalogger.cfg

  mfsmetalogger.cfg文件的内容如下:

  带#号的均为默认配置,不带#号的需手工配置。

  #WORKING_USER=mfs

  # WORKING _ GROUP=mfs

  #SYSLOG_IDENT=mfsmetalogger

  #LOCK_MEMORY=0

  #NICE_LEVEL=-19

  #数据路径=/usr/local/mfs/var/mfs

  #BACK_LOGS=50

  #BACK_META_KEEP_PREVIOUS=3

  #META_DOWNLOAD_FREQ=24元数据备份文件下载请求频率,默认是24小时。

  #MASTER_RECONNECTION_DELAY=5

  主主机=192.168.0.201此处需要修改为主服务器的互联网协议(互联网协议)

  #主端口=9419

  #MASTER_TIMEOUT=60

  #已弃用,toberemovedinMooseFS1.7

  # LOCK _ FILE=/var/run/MFS/MFS metalogger。锁

  与元数据日志服务器相关的命令:

  启动命令:/usr/local/MFS/sbin/mfsmetaloggerstart

  安全停止命令:/usr/local/MFS/sbin/MFS metaloggers

  更多帮助信息:/usr/local/MFS/sbin/MFS metaloggerh

  数据存储服务器(192.168.0.203和192.168.0.203):

  mfschunkserver.cfg的配置

  cd/usr/local/mfs/etc

  cpmfschunkserver。CFG。distmfschunkserver。稳频发电机(发生器)(constant frequency generator的缩写)

  vimmfschunkserver.cfg

  mfschunkserver.cfg文件的内容如下:

  带#号的均为默认配置,不带#号的需手工配置。

  #WORKING_USER=mfs

  # WORKING _ GROUP=mfs

  #SYSLOG_IDENT=mfschunkserver

  #LOCK_MEMORY=0

  #NICE_LEVEL=-19

  #数据路径=/usr/local/mfs/var/mfs

  #MASTER_RECONNECTION_DELAY=5

  #BIND_HOST=*

  主主机=192.168.0.201元数据服务器的名称或地址,可以是主机名或互联网协议(互联网协议)地址

  主端口=9420

  #MASTER_TIMEOUT=60

  #CSSERV_LISTEN_HOST=*

  #CSSERV_LISTEN_PORT=9422该端口用于与其他数据存储服务器间的连接,通常是数据复制。

  #硬盘驱动器_ CONF _文件名=/usr/local/mfs/etc/mfshdd.cfg分配给马凡综合征使用的磁盘空间配置文件的位置。

  #硬盘测试FREQ=10

  #已弃用,toberemovedinMooseFS1.7

  # LOCK _ FILE=/var/run/MFS/mfschunkserver。锁

  #BACK_LOGS=50

  #CSSERV_TIMEOUT=5

  mfshdd.cfg的配置

  cd/usr/local/mfs/etc

  cpmfshdd。CFG。distmfshd。稳频发电机(发生器)(constant frequency generator的缩写)

  vimmfshdd.cfg

  mfshdd.cfg文件的内容如下:

  /数据

  上面的/数据是一个马凡综合征分区,需要将此分区的属主改为mfs。

  chownRmfs.mfs/data

  与数据存储服务器相关的命令:

  启动命令:/usr/local/MFS/sbin/mfschunkserverstart

  安全停止命令:/usr/local/MFS/sbin/mfschunkservers

  更多帮助信息:/usr/local/MFS/sbin/mfschunkserverh

  客户端(192.168.0.205):

  创建挂接点

  mkdirp/data/MFS

  挂载马凡综合征的命令

  /usr/local/MFS/bin/MFS mount/data/MFS-h 192。168 .0 .201

  查看挂载情况:

  查看挂载信息:

  卸载马凡综合征挂载:

  卸载/数据/mfs

  查看更多帮助信息:

  /usr/local/MFS/bin/MFS mounth

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: