本篇文章为你整理了Hadoop安装（hadoop安装的三种模式）的详细内容，包含有hadoop安装与配置 hadoop安装的三种模式 hadoop安装与配置实验报告 hadoop安装实验总结 Hadoop安装，希望能帮助你了解 Hadoop安装。

　　准备虚拟机

　　网上教程很多，可以随便参考一个，搭建自己的Ubuntu虚拟机。然后使用克隆，一共准备三台虚拟机

　　修改主机名

　　用户名@主机名

　　克隆的三台服务器用户名主机名都是相同的，我们需要修改其主机名，可以分别设置为master、slave01、slave02.（随意即可，我的是serendipity、slave01、slave02，方便起见，后面都采用我自己的命名方法）

sudo vim /etc/hostname

　　第一行就是本机主机名信息，将三台主机分别修改为对应的serendipity、slave01、slave02，进行保存。对虚拟机重启后即可生效。

　　ping 通三台主机

　　首先记录三台主机的ip地址。（可以自己设置静态ip，也可直接进行操作）

ifconfig

　　记录三台主机

192.168.58.129 serendipity

　　192.168.58.134 slave01

　　192.168.58.135 slave02

　　分别三台主机，设置节点IP映射

sudo vim /etc/hosts

　　本来上面一串东西，可以都删掉。

　　ping 测试

ping IP地址

　　出现下面矩形框，便是成功。分别再三台主机进行测试

　　ssh免密

　　基础准备

　　安装ssh

sudo apt-get install openssh-server #安装服务，一路回车 

　　sudo /etc/init.d/ssh restart #启动服务

　　sudo ufw disable #关闭防火墙，不然后面会出现很多奇妙的bug

　　查看是否开通ssh服务

ps -e grep ssh

　　如上即可：

　　设置免密登录

　　
再serendipity节点生成SSH公钥

cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost 

　　rm ./id_rsa* # 删除之前生成的公匙（如果有）

　　ssh-keygen -t rsa # 一直按回车就可以

　　
将serendipity节点将公钥传输到slave01节点，需要密码就将密码输入即可,@前后就是你的终端显式的东西，用户名@主机名

scp ~/.ssh/id_rsa.pub serendipity@slave01:/home/serendipity

　　
再slave01节点将公钥加入授权

mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在则忽略 

　　cat ~/id_rsa.pub ~/.ssh/authorized_keys

　　rm ~/id_rsa.pub # 用完就可以删掉了

　　
建议使用推荐的版本。高版本的可能配置文件与下列描述有所出入。

　　下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/

　　jdk8

　　先去安装一下jdk8.

　　下载安装

　　建议再外部主机下载，虚拟机下载网络很慢。下载结束后使用Xftp 或者只用Vmware 安装VMware tools后直接拖拽入虚拟机。

　　将软件再一个合适的目录解压。（作为linux小白，不太懂 local 、opt的作用啥的，就自己建了一个hadoop文件夹）

　　进入压缩包所在文件目录内，执行解压命令

tar -zxvf hadoop-2.7.5.tar.gz

　　或者后等待解压完成，完成后会再同级目录下创建名为hadoop-2.7.5文件夹。

　　将其修改文件夹名为 hadoop。这就是hadoop安装目录

mv hadoop-2.7.5 hadoop

　　进入安装目录，查看安装文件，如图所示

　　修改配置文件，进入安装目录内的 etc 下的 hadoop 文件夹

cd etc/hadoop/

　　hadoop-env.sh

sudo vim hadoop-env.sh 

　　再文件较前地方有

export JAVA_HOME=${JAVA_HOME}

　　等号后面修改为 你的 JDK 安装目录。

　　yarn-env.sh

sudo vim yarn-env.sh

　　再较前面。有个

#export JAVA_HOME=/home/y/libexec/jdk1.6.0

　　将# 去掉，后面改为你的java安装目录

　　核心组件 core-site.xml

　　设置namenode的地址、指定使用Hadoop时临时文件的存放路径等信息

sudo vim core-site.xml 

　　再configuration内部添加如下信息

 property 

　　 name fs.defaultFS /name

　　 value hdfs://serendipity:9000 /value

　　 /property

　　 property

　　 name hadoop.tmp.dir /name

　　 value /home/serendipity/hadoop/hadoopdata /value

　　 /property

　　其中，hdfs://serendipity:9000 中 serendipity是主机名，可以修改为自己的主机名

　　/home/serendipity/hadoop/hadoopdata是指定存放数据信息的文件夹，可以自己创建一个文件夹。将其全路径放在这里。

　　文件系统 hdfs-site.xml

　　配置分布式文件系统HDFS的属性，包括指定HDFS保存数据的副本数了，指定HDFS中NameNode、DataNode节点的存储位置

sudo vim hdfs-site.xml 

　　将下面信息加入configuration内部

 property 

　　 name dfs.replication /name

　　 value 1 /value

　　 /property

　　 property

　　 name dfs.namenode.datanode.registration.ip-hostname-check /name

　　 value false /value

　　 /property

　　dfs.replication 为执行副本数量

　　文件系统 yarn-site.xml

　　yarn是mapreduce的调度框架。

sudo vim yarn-site.xml 

　　将下列信息加入configuration内部，信息不用改，直接抄

 property 

　　 name yarn.nodemanager.aux-services /name

　　 value mapreduce_shuffle /value

　　 /property

　　 property

　　 name yarn.resourcemanager.address /name

　　 value serendipity:18040 /value

　　 /property

　　 property

　　 name yarn.resourcemanager.scheduler.address /name

　　 value serendipity:18030 /value

　　 /property

　　 property

　　 name yarn.resourcemanager.resource-tracker.address /name

　　 value serendipity:18025 /value

　　 /property

　　 property

　　 name yarn.resourcemanager.admin.address /name

　　 value serendipity:18141 /value

　　 /property

　　 property

　　 name yarn.resourcemanager.webapp.address /name

　　 value serendipity:18088 /value

　　 /property

　　计算框架 mapred-site.xml

　　使用cp命令将 mapred-site.xml.template 复制一份为 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

　　打开 mapred-site.xml 文件

sudo vim mapred-site.xml

　　将下列信息加入configuration内部

 property 

　　 name mapreduce.framework.name /name

　　 value yarn /value

　　 /property

　　slaves

　　配置启动的从机

sudo vim slaves 

　　再内部键入你需要启动的从机的主机名，我只有两个从机，slave01，slave02.所以就写了这两个

　　将配置的所有hadoop信息复制到从机

scp -r hadoop/hadoop serendipity@slave01:/home/serendipity/hadoop/hadoop

　　不确定的话，可以将上述安装配置Hadoop的流程，再从机上全部重复一遍，都是一样的操作。

　　配置环境变量

　　打开 etc/profile文件

sudo vim /etc/profile

　　将下面代码追加到文件末尾

export HADOOP_HOME=/home/serendipity/hadoop/hadoop

　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP/sbin

　　执行命令，激活配置

source /etc/profile

　　至此。Hadoop安装与配置完毕。

　　启动Hadoop集群

　　格式化文件系统

hdfs namenode -format

　　启动Hadoop集群

　　将路径切到hadoop安装目录

cd hadoop/hadoop

　　启动集群

sbin/start-all.sh

　　查看Hadoop是否正常启动

　　在serendipity 执行 jps命令

jps # 查看java进程：java process status？？？ 可能吧 不知道。

　　在slave01、slave02执行jps命令

　　分别如图所示，即Hadoop集群节点已正式启动

　　在serendipity 查看集群信息

bin/hadoop dfsadmin -report

　　箭头所指区域不全为0 即为正常。

　　使用web查看集群是否正常，在浏览器地址栏输入：http://serendipity:50070，检查namenode和datanode是否正常

　　全为0，即集群不是正常状态，尤其是live Nodes节点，一般有几个机器有datanode节点，这里就应该是几。

　　以上就是Hadoop安装（hadoop安装的三种模式）的详细内容，想要了解更多 Hadoop安装的内容，请持续关注盛行IT软件开发工作室。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。