到底选spark还是python,spark python入门教程

　　spark能跑Python么？

　　Spark可以运行Python程序。python写的算法，或者扩展库，比如sklearn，都可以在spark上运行。也可以直接用spark的mllib，大部分算法都有。

　　Spark是一个通用引擎，可以用来完成各种操作，包括SQL查询、文本处理、机器学习等。

　　本实验运行在linux下的spark环境下。spark版本是1.6.1，相当于在spark本地执行。spark文件放在/opt/models/spark-1.6.1/(您将在代码中看到它)

　　编写python测试程序

　　#test.py文件

　　# -*-编码：utf-8 -*-

　　导入操作系统

　　导入系统

　　#配置环境变量并导入pyspark

　　OS . environ[ SPARK _ HOME ]=r /opt/moudles/SPARK-1 . 6 . 1

　　sys . path . append(/opt/moudles/spark-1 . 6 . 1/python )

　　sys . path . append(/opt/moudles/spark-1 . 6 . 1/python/lib/py4j-0.9-src . zip )

　　从pyspark导入SparkContext，SparkConf

　　AppName=spark_1 #应用程序名称

　　master= spark ://Hadoop 0133607077 # Hadoop 01是主节点的主机名，请将其更改为您自己的主节点主机名。

　　conf=SparkConf()。setAppName(appName)。setMaster(主机)

　　sc=SparkContext(conf=conf)

　　数据=[1，2，3，4，5]

　　distData=sc.parallelize(data)

　　res=distData.reduce(lambda a，b: a b)

　　打印(===================================)

　　打印(分辨率)

　　打印(=================================)来执行python程序

　　执行以下命令

　　python.py的执行和结果如下图所示：

　　这就是spark能够运行Python的细节。更多信息请关注热门IT软件开发工作室其他相关文章！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。