hadoop安装与配置过程,简述hadoop安装配置过程
Hadoop的开发周期一般是：
1)开发和部署环境的准备
2)写入映射器和缩减器
2)单元测试
3)编译打包。
4)提交作业和搜索结果。
在使用Hadoop处理大数据之前，需要先部署运行和开发环境。下面是基本环境的安装过程。所有软件都安装在Linux系统上。下面描述在一台机器上的部署，这台机器的信息如下：
1个JDK装置
1)下载最新的jdk-7u17-linux-x64.gz JDK并解压。
2)设置Java环境变量
切换到root用户的根目录，编辑。bashrc文件，并在文件底部添加以下语句：
导出JAVA_HOME=/opt/jdk1.7(可以更改)
export class path=$ class path:$ JAVA _ HOME/JRE/lib:$ JAVA _ HOME/lib:
导出路径=$JAVA_HOME/bin:$PATH
重新执行修改后的文件。
# source /root/。没有则创建
3)测试安装是否成功。
在终端中执行：java -version。如果显示的版本号与安装的版本号一致，则说明java设置安装成功。
2 Eclipse安装
后来需要在Eclipse中编程mapper和reducer函数，现在IDE环境就设置在这里了。
1)下载最新版本的Eclipse
eclipse-JEE-Juno-SR2-Linux-GTK-x86 _ 64 . tar . gz
2)tar.gz减压文件
3)在Windows系统上用VNC启动Eclipse
进入解压缩文件，单击eclipse图标或在终端中执行以下命令。/eclipse
设置工作目录
4)常见问题解决
如果出现以下问题，但安装的JDK高于1.5
当您启动eclipse时，您需要指定它使用的JVM。为了方便起见，我们编写了一个脚本(startEclipse.sh)来启动Eclipse。脚本如下：
使这个脚本可执行：chmod 777 startEclipse.sh
执行这个脚本，eclipse将正常启动。
3 Hadoop安装
Hadoop有三种安装模式：单机模式、伪分布式模式和全分布式模式。
3.1安装
1)下载最新版本的Hadoop，解压。
% tar xzf hadoop-x.y.z.tar.gz
2) Hadoop路径配置
切换到root用户的根目录，编辑。bashrc文件，并在文件底部添加以下语句：
(如果只在终端输入exoprt，只在当前shell下生效，重启后不会生效。它们都是在中配置的。bashrc文件一劳永逸)
导出HADOOP _ INSTALL=/home/Tom/HADOOP-x . y . z
导出路径=$PATH:$HADOOP_INSTALL/bin
重新执行修改后的文件(如果没有这一步，有时会出现hadoop命令：Hadoop commondnot found)
# source /root/。巴沙尔
3.2配置
Core-site.xml用于配置常用组件的属性，hdfs-site.xml用于配置hdfs属性，mapred-sit.xml用于配置MapReduce实现。这些配置文件放在conf子目录中。
独立或本地模式
单机，单线程运行，不需要启动hadoop进程，所有程序都在单个JVM上执行。这种模式适合在开发阶段测试和调试MapReduce程序。
伪分布式模式(伪分布式模式)
单机，启动所有hadoop进程(如NameNode、DataNode、TaskTracker、JobTracker、Secondary NameNode)，更好的模拟hadoop集群。
完全分配模式
需要使用多台机器实现hadoop的分布式集群，通过高仿真环境进行集成测试。
在特定模式下运行hadoop需要两件事：正确设置属性和启动hadoop进程。下图是配置不同模式所需的最小属性集。
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。