hadoop的安装方式,开启hadoop的命令

hadoop的安装方式,开启hadoop的命令,最新hadoop安装教程及hadoop的命令使用(亲测可用)

这篇文章主要介绍了最新hadoop安装教程(亲测可用),本文主要讲解了如何安装hadoop,使用hadoop的命令及遇到的问题解决,需要的朋友可以参考下

目录

01 引言02 hadoop安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动03 相关命令3.1纱线相关命令3.2 hdfs相关命令04 一次填完所有的坑

01 引言

最近安装hadoop-2.7.7版本的时候遇到了很多坑,本文来详细讲解如何安装和解决遇到的问题。

02 hadoop 安装

2.1 下载与安装

Step1: 下载

百度网盘下载

链接:https://pan . Baidu . com/s/1 yd PDP 3 XL 0 il 6 skyxdiq 2 ew提取码:nnpf

Step2: 上传并解压

CD/数据

塔尔-zxvf hadoop-2.7.7.tar.gz

2.2 hadoop配置

Step1: 修改hadoop安装目录/etc/hadoop下的hadoop-env.sh的文件内容

[root @ server 11 Hadoop]# VI Hadoop-env。嘘

# 指定JAVA_HOME

导出JAVA _ HOME=/usr/lib/JVM/腾讯kona-8。0 .1-242

Step2: 修改hadoop安装目录/etc/hadoop下的核心网站。可扩展标记语言的文件内容

[root @ server 19 Hadoop]# VI核心站点。可扩展标记语言

配置

!-指定HDFS老大(namenode)的通信地址-

财产

namefs.defaultFS/name

valuehdfs://服务器的真实IP:9002/值

/属性

!-指定hadoop运行时产生文件的存储路径-

财产

namehadoop.tmp.dir/name

价值/数据/Hadoop/tmp/价值

/属性

/配置

注:这里fs.defaultFS的价值最好是写本机的静态知识产权。当然写本机主机名,再配置主机是最好的,如果用本地主机,然后在窗子用Java 语言(一种计算机语言,尤用于创建网站)语言(一种计算机语言,尤用于创建网站)操作hdfs的时候,会连接不上主机。

Step3: 修改hadoop安装目录/etc/hadoop下的hdfs-site.xml的文件内容

配置

财产

namedfs.namenode.name.dir/name

值/数据/Hadoop/Hadoop/HDFS/nn/值

/属性

财产

namefs.checkpoint.dir/name

价值/数据/Hadoop/HDFS/snn/价值

/属性

财产

namefs.checkpoint.edits.dir/name

价值/数据/Hadoop/HDFS/snn/价值

/属性

财产

namedfs.datanode.data.dir/name

价值/数据/Hadoop/HDFS/dn/价值

/属性

财产

namedfs.name.dir/name

值/数据/Hadoop/名称/值

/属性

财产

namedfs.data.dir/name

价值/数据/Hadoop/节点/价值

/属性

财产

namedfs.replication/name

值1/值

/属性

财产

namedfs.http.address/name

价值服务器的真实IP:9000/值

/属性

财产

nameipc.maximum.data.length/name

值134217728/值

/属性

/配置

*第四步:修改hadoop安装目录/etc/hadoop下的yarn-site.xml的文件内容

配置

!-现场特定的纱线结构特性-

财产

名纱。节点管理器。vmem-检查-启用/名称

值错误/值

/属性

财产

名纱。节点管理器。辅助服务/名称

valuemapreduce_shuffle/value

/属性

财产

nameyarn.application.classpath/name

价值

/data/hadoop-2.7.7/etc/*,

/data/Hadoop-2。7 .7/etc/Hadoop/*,

/data/hadoop-2.7.7/lib/*,

/data/Hadoop-2。7 .7/share/Hadoop/common/*,

/data/Hadoop-2。7 .7/share/Hadoop/common/lib/*,

/data/Hadoop-2。7 .7/share/Hadoop/MapReduce/*,

/data/Hadoop-2。7 .7/share/Hadoop/MapReduce/lib/*,

/data/Hadoop-2。7 .7/share/Hadoop/HDFS/*,

/data/Hadoop-2。7 .7/share/Hadoop/HDFS/lib/*,

/data/Hadoop-2。7 .7/share/Hadoop/yarn/*,

/data/Hadoop-2。7 .7/share/Hadoop/yarn/lib/*

/值

/属性

/配置

2.3 免登陆配置

线上环境已配置,无需配置

#到根目录下:

CD/根目录

#执行生成密钥命令:

ssh-keygen -t rsa

#然后三个回车

#然后复制公钥追加到第一台节点的公钥文件中:

ssh-copy-id -i /root/.ssh/id_rsa.pub root@master01

#选择是

#输入登录第一台节点的密码(操作完成该节点公钥复制到第一台节点中)

2.4 配置环境变量

vi /etc/profile

### 配置内容如下:

导出JAVA _ HOME=/usr/lib/JVM/腾讯kona-8。0 .1-242

导出类路径=。$ JAVA _ HOME/JRE/lib/rt . jar:$ JAVA _ HOME/lib/dt。jar:$ JAVA _ HOME/lib/tools。冲突

导出HADOOP_HOME=/data/hadoop-2.7.7

导出路径=$ PATH:$ JAVA _ HOME/bin:$ HADOOP _ HOME/bin:$ HADOOP _ HOME/sbin

导出HADOOP _ class path=' HADOOP class path '

导出HADOOP目录=/数据/hadoop-2.7.7/etc/hadoop

### 生效配置

来源/etc/配置文件

注意:配置HADOOP_CLASSPATH!

2.5 配置域名

可能会配置到,根据提示错误配置就好了

vi /etc/hosts

127.0.0.1本地主机。本地域本地主机

127.0.0.1本地主机4 .本地域四本地主机四

127.0.0.1虚拟机-xx-centos主组件

* 1台VM-xx-centos VM-xxx-centos

* 1个本地主机

* 1台本地主机6

服务器的真实IP VM-XXX-centos localhost。主本地域总成

2.6 启动

进入hadoop安装目录/sbin,执行start-all.sh文件:/start-all.sh

使用日本药理学会命令验证是否已经启动成功(这些都启动了才算成功:ResourceManager、DataNode、SecondaryNameNode、NodeManager、TaskManagerRunner、YarnTaskExecutorRunner、NameNode):

日本药理学会

浏览器打开:http://服务器地址:50070/,可以看到hadoop环境搭建好了:

03 相关命令

3.1 yarn相关命令

## 正在运行的任务

纱线应用列表

##杀死掉故事正在运行的任务

纱线应用-杀死应用_1654588814418_0003

## 查找故事已经完成的任务列表

纱线应用-应用状态完成-列表

## 查找故事所有任务列表

纱线应用-应用状态列表

## 查看容器日志

卷曲http://127。0 .0 .1:8042/节点/容器日志/容器_ 1654588814418 _ 0003 _ 01 _ 000001/root/作业管理器。out/?开始=0

## 查看故事内存使用情况

卷曲度http://127 .0 .0 .1:8042/簇

3.2 hdfs相关命令

# 因为在HDFS上没有为当前用户创建主目录,所以要先创建目录

$ Hadoop fs-mkdir-p/用户/根

# 目录只能一级级创建,不能一下子创建2个

$ hadoop fs -mkdir ./弗林克

# 上传

$ hadoop fs -put /资源路径/相关资源。/弗林克

# 下载

$ hadoop fs -get ./弗林克

# 查看

$ hadoop fs -ls ./弗林克

# 删除整个文件夹

$ hadoop fs -rm -rf flink

# 此处为逐级删除

$ hadoop fs -rm ./flink/资源

# 备注:上面的`./bin/hadoop fs '等同于`./bin/hdfs dfs文件

04 一次填完所有的坑

1.程序访问hdfs失败,提示"本地异常失败:com。谷歌。原buf。invalidprotocolbuffererexception:协议消息"

解决方案:使用命令HDFS密钥文件系统。默认。名字获取正确的端口号并配置到程序

2.首次安装hadoop,使用hdfs命令时,会提示"'.':没有这样的文件或目录"

解决方案: 因为在hdfs上没有为当前用户创建主目录,所以要先创建目录$ Hadoop fs-mkdir-p/用户/根

3.首次安装hadoop,使用hdfs命令时,可能会提示"'有0个datanode正在运行,此操作中不排除任何节点。"

解决方案:可能是格式化两次hadoop,导致没有数据节点。首先stop-all.sh停掉所有的服务,然后找到hadoop指定的数据目录(线上是:/data/hadoop)删除,接着从新执行一下hadoop namenode格式,最后使用start-all.sh重启一下hadoop

4.使用hdfs命令,提示"原因:org。阿帕奇。Hadoop。IPC。远程异常:无法创建目录"

解决方案:是因为安全模式没有自动关闭,使用命令关闭" HDFS DFS管理员-安全模式休假",然后删除出错的街区块,命令:" hdfs fsck/-delete "。

5.启动hadoop时,可能会提示第二节点连接被拒绝,即访问被拒绝

解决方案:修改hadoop安装目录/etc/hadoop下的hdfs-site.xml的文件内容

财产

namedfs.http.address/name

值:9002/值

/属性

财产

namedfs.secondary.http.address/name

值:9002/值

/属性

6.部署可能失败,在local exception:com . Google . proto buf . invalidprotocolbuffer异常:协议消息上提示失败,是指端口号配置错误,查询端口号的命令:

解决方案:修改查询端口号并修改

HDFS getconf-conf key fs . default . name

7.7.hadoop的登录是什么目录:

in:/data/Hadoop-2 . 7 . 7/logs 05 Yarn相关配置

顺带一提,本文讲的是与yarn相关的配置(配置在/etc/hadoop/yarn-site.xml中),可以直接跳过。

描述YARN . node manager . resource . memory-MB表示该节点上可用于YARN的物理内存总量,默认值为8192(MB)。注意,如果你的节点内存资源不够8GB,你需要减少这个值,Yarn不会智能检测节点的物理内存总量。yarn . node manager . vmem-pmem-ratio任务每1MB物理内存最多可以使用虚拟内存,默认为2.1。yarn . node manager . pmem-check-enabled是否启动一个线程来检查每个任务正在使用的物理内存量,如果任务超过了赋值的值,直接将其杀死。默认值为true。yarn . node manager . vmem-check-enabled是否启动一个线程来检查每个任务使用的虚拟内存量。如果任务超过赋值,就直接被杀。默认值为true。默认情况下,单个任务可以申请的最小物理内存量是1024(MB)。如果一个任务申请的物理内存量小于这个值,相应的值将被改为这个数字。yarn . scheduler . maximum-allocation-MB单个任务可以申请的最大物理内存量。默认值为8192(MB)。

在文章的结尾

本文主要讲解如何安装hadoop,使用hadoop的命令以及遇到问题的解决方法。希望能帮到大家。感谢您的阅读。这篇文章完了!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: