pyspark col,pyspark coalesce
遵循上述集成学习模型，本文使用pyspark提供的多层感知器神经网络模型，这是一个相对简单但重要的神经网络模型。MLP是一种具有前向结构的人工神经网络，它将一组输入向量映射到一组输出向量。MLP可以看作是一个有向图，它由几个节点层组成，每一层都与下一层相连。除了输入节点，每个节点都是一个神经元(或处理单元)，具有非线性激活函数。一种称为反向传播算法的监督学习方法通常用于训练MLP。MLP是感知器的推广，克服了感知器不能识别线性不可分数据的缺点。多层感知器(MLP)也称为人工神经网络(甜蜜之星)。除了输入和输出层，它还可以有多个隐藏层。最简单的MLP需要一个隐层，即输入层、隐层和输出层，称为简单神经网络。
MLP结果的简单示意图如下：
也可以是这样的：
上面是只有一个隐层的MLP神经网络模型，下面是两个隐层的神经网络结果示意图：
同样，下面是我学习pyspark以来的笔记，如下：
顾名思义，spark是python和Spark的结合体。spark提供了一个Python_Shell，即pyspark，这样就可以用Python交互式地编写Spark程序。这个博客就不细说Spark的基本架构和pyspark环境的配置了，网上有很多很好的解释。
pyspark的核心模块是SparkContext (sc)，最重要的数据载体是RDD。RDD就像一个数字阵列或熊猫系列，可以被视为一个有序的项目集。只是这些项不存在于驱动程序的内存中，而是被分成了很多分区，每个分区的数据都存在于集群的执行器的内存中。
接下来回到正题，基于pyspark的MLP分类模型实现如下：
#!Usr/欢呼声mood/env python # Encoding:utf-8 from _ _ future _ _ import division _ _ author _ _:Yishu cold city函数：pyspark机器学习练习的[多层感知器分类器模型] import findsparkfindspark . init()import pyspark from pyspark import SparkConffrom pyspark . context import pipeline from pyspark . SQL . session import Spark session Spark session from pyspark . ml . classification import decision treeciation classificationevaluator from pyspark . ml . evaluation import multicalsparkset appname( ml demo )sc=spark context( local )spark=spark session(sc)def MLP Classifier(data= ml lib/Sample _ multi class _ classification _ data . txt ): 多层感知器分类器(MLPC)是一种基于前馈人工神经网络的分类器。MLPC由多层节点组成。网络中的每一层都完全连接到下一层。输入层中的节点表示输入数据。所有其他节点通过输入和节点权重W和偏差B的线性组合将输入映射到输出，并应用激活函数。多层分类器 #加载LIBSVM格式数据集data=spark.read.format (libsvm )。load (data) # training set，test set partition splits=data . random split([0.6，0.4]，234)train=splits[0]test=splits[1]#指定神经网络的层# 4神经元在输入层，隐层和输出层的神经元数分别为5和4，层中的神经元数为3=[4，5，4，3]trainer=multilayerpeppercentronclassifier(maxIter=100，layers=layers，blockSize=128，seed=1234)evaluate(prediction labels))if _ _ name _ _= _ _ main _ :MLP分类器(data= ml lib/sample _ multi class _ classification _ data . txt )结果输出如下：
本文的MLP神经网络模型的输入是多分类数据集，可以看出在多分类的情况下，MLP的准确率在90%以上，整体表现还是很不错的。
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。