spark的python开发包安装方式,hadoop+hive+spark搭建

　　首先，准备构建Spark python开发环境：

　　Windows1064位专业版

　　蟒蛇3

　　Java 8 64位

　　Spark基于Hadoop 2.7 64位

　　媒体下载和准备：

　　以及安装和配置anaconda https://www.anaconda.com/products/individual

　　并安装和配置Java https://www.Oracle.com/Java/technologies/Java SE/Java SE-JDK8-downloads.html

　　火花https://安装和配置火花。Apache.org/downloads.html

　　安装配置Hadoop依赖于https://spark。Apache.org/downloads.html.

　　测试火花。\ hxdnm \ spark-shell。\ hxdnm \ pyspark

　　步骤截图：

　　安装安卓。这一步通常没有问题。同其他计算机软件安装一样，下一步，在中间[请选择addanacondatotethystempathernversion变量3360]

　　JAVA的安装和配置。请记住，这与上一步相同，即在逐步安装后配置环境变量。

　　首先，设置JAVA_HOME并将JAVA_HOME系统变量添加到环境变量中。该值是JDK的安装目录。

　　然后，设置类路径并输入.% Java _ home % \ lib在系统变量中。% JAVA _ HOME % \ lib \ tools . jar [注意前面有一个点]

　　完成以上步骤后，JAVA就安装好了。在作为命令行界面(CLI)运行的Win R期间输入CMD，java -version

　　spark的安装和配置

　　请下载基于hadoop 2.7的预编译软件包。不需要安装spark程序。解冻后即可使用。解压缩后，复制到指定的文件夹。通常是存放程序的文件夹。[注意]文件夹名称中不能有空格。

　　环境变量：添加SPARK_HOME。这个值是spark程序的文件路径。例如，上面的屏幕截图是C:\spark

　　然后将“%spark _ home% \ hxdnm”和“%spark _ home% \ shxdnm”添加到系统变量PATH中。

　　然后，设置日志显示级别。操作：将log4j.propertiestemplate从spark\conf文件夹复制到log4j.properties .即删除模板后缀，设置root用户的日志级别为WARN。

　　到目前为止还好吗？

　　Hadoop安装和配置：

　　根据网址下载https://github.com/lemen Chao/Hadoop . dll-and-winutils . exe-for-Hadoop 2 . 7 . 3-on-windows _ x 65292；

　　然后将其解压缩到您自己的hadoop文件夹中：

　　设置环境变量HADOOP_HOME，添加HADOOP_HOME。该值是HADOOP文件所在的目录。在上面的例子中，这是C:\Program Files\hadoop

　　然后将“%HADOOP_HOME%\hxdnm”添加到PATH的系统变量中。

　　5.测试：

　　在cmd中键入spark-shell和pyspark，分别得到以下两个屏幕截图。也就是说，是的。

　　或者输入cd%SPARK_HOME%

　　重新。\hxdnm\spark- shell

　　这样看来，应该是对的。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。