大数据预处理的目的,数据的预处理包括哪些内容和方法,大数据预处理的目的,数据的预处理包括哪些内容和内容

　　转载自数据预处理最全介绍——知乎

　　另一方面，数据可能存在问题，但在实际业务处理中，数据通常是脏的。污染意味着数据可能存在以下问题(主要问题):

　　1.“缺失数据”表示属性值为空。例如，Occupancy=

　　2.数据噪声(noise)是指数据值超出常识的情况。比如工资="-100 "

　　3.数据不一致是指前后数据不一致。例如年龄=“42”对生日=“01/09/1985”

　　4.数据冗余是指数据量或属性数量大于数据分析所需的数量。

　　5.如果每个类别的数据量相差很大，则数据集不平衡。

　　6.“离群值”是远离数据集其余部分的数据。

　　7.数据重复是指在一个数据集中多次出现的数据。

　　二。数据预处理程序数据预处理主要包括以下程序，在这些程序中处理第一部分提到的各种脏数据。

　　1.数据清理和数据学习

　　2.数据转换

　　3.数据描述数据描述

　　4.选择特征选择或特征组合。

　　5.特征提取功能扩展

　　在数据清洗阶段，我们处理第一部分提及的缺失数据、离群点和重复数据。

　　缺失的数据分为以下几类：

　　A.遗漏a.missingcompletelyatrandom:的概率是随机的，比如断电断网时店内计数器的数据为空。

　　B.missingconditionallyatrandom:数据是否缺失取决于其他属性。例如，有些女性不想填写她们的体重。

　　C.不是随机缺失：缺失的数据与其本身的值有关。例如，高收入的人可能不愿意申报收入。

　　处理方法如下。

　　A.删除数据。如果缺少数据的记录比例很小，直接删除这些记录，结束。

　　B.根据领域知识手工填写、重新收集数据或补充数据。

　　C.自动补全，简单来说就是平均值的填充方式。或者，再加一个概率分布，看起来会更真实。另外，也可以根据实际情况用公式计算。比如门店缺点，可以参考过去的客流数据，进行数据转换，用简单的公式自动计算出缺失时间段的销售额，并进行弥补。

　　离群值是远离数据集其余部分的数据，可能来自随机因素或不同的机制。如何处理取决于异常值产生的原因和应用的目的。如果来自随机因素，我们会忽略或排除异常值；如果来自不同的机制，离群值就是宝藏，是应用的重点。后者的应用之一是异常行为检测。比如在银行信用卡诈骗的识别中，通过对大量信用卡用户的信息和消费行为进行量化建模和聚类发现，远离聚类中的大量样本是非常可疑的。因为他们的特点不同于普通信用卡用户，所以他们的消费行为与普通信用卡用户相差甚远。此外，购物网站等场景的恶意回执检测也侧重于漏洞分析。

　　无论是提出离群点，还是着眼于研究和应用，都需要先检测离群点。Sklearn(python机器学习包)提供了各种方法，包括OneClassSVM、隔离森林、localoutlierfactor (lof)等。需要了解更多原理的人可以阅读附加材料。不要在这里散开。

　　重复数据的处理如下。如果高度可疑的样本相邻，可以在滑动窗口中进行比较。为了使相似的记录相邻，可以为每个记录生成一个散列关键字，并根据该关键字进行排序。

　　经过数据清洗阶段，我们得到的是一个不容置疑的数据集~

　　358 www.Sina.com/http://www.Sina.com/is从特定的概率分布中提取样本点的过程。采样在机器学习中有非常重要的应用：将复杂的分布简化为离散的样本点；重采样可以调整样本集，以便更好地调整和适应后期的模型学习；复杂模型近似解或推理的随机模拟。抽样的一个重要作用是处理不平衡的数据集。

　　处理不平衡样本集最简单的方法是随机抽样。一般分为过采样和欠采样。随机过采样从少数样本集S_min中随机重复提取样本，而随机下采样从多数样本集S_max中随机选择较少的样本。这两种方法也存在一些问题，如随机过采样容易扩大数据规模，造成过拟合；随机欠采样可能会丢失一些有用的信息，从而导致欠匹配。为了解决上诉问题，我们通常不会简单地在随机过采样中复制样本，而是通过一定的方法生成一个新的样本。例如，可以使用Smote(合成少数技术)算法、Borderline-SMOTE、ADASYN和其他算法。对于欠采样，可以使用知情欠采样来解决数据丢失的问题。

　　PS:当数据总量不够时，除了简化模型，还可以借鉴随机过采样的方法，对每一类进行过采样。具体到图像任务，也可以直接在图像空间进行变换。例如，可以通过应用某种幅度变换(旋转、平移、缩放、裁剪、填充、翻转、添加噪声、颜色变换、改变亮度、锐度、对比度等)来获得扩展的数据集。)到图像。另外，迁移学习也是在小数据集上建模的好方法。

　　PS:整体准确率不适用于不平衡数据集。有必要引入新的测量模式，如G-mean。它会先看正类上的准确率，再看负类上的准确率，然后两者相乘得到平方根。另一个常见的度量是F-score。

　　类型转换处理之前，我们先来看看数据的类型。

　　数据类型可以简单地分为数值型和非数值型。数值是连续的和离散的。非数值型可以分类和不分类，其中，如果类别中存在排序问题，则分类，如果不存在排序问题，则分类，不分类则为字符串。如下所示：

　　1.连续的

　　真实值：温度、身高、体重…

　　2.离散的

　　整数值：人数…

　　3.顺序序数

　　排名：{一般、良好、最好}、{低、中、高} …

　　4.标称类型

　　符号：{教师，工人，推销员}，{红色，绿色，蓝色} …

　　5.字符串字符串

　　正文：“清华大学”、“平安大街123号”…

　　对于非数值型，我们需要进行类别转换，即将非数值型转换为数值型，以便于机器学习算法的后续处理。

　　对于排序类型，我们可以用序号编码，比如等级，分为三个等级：一般，好，最好。序列号编码可以根据尺寸关系为排序类型特征分配一个数字ID，例如，平均为1，良好为2，最佳为3，转换后尺寸关系保持不变。

　　对于固定类型，我们可以使用一次加热编码，如三原色，即红、绿、蓝。一热编码可以把三原色变成一个三维稀疏向量，红色为(0，0，1)，绿色为(0，1，0)，蓝色为(1，0，0)。应该注意的是，当有许多类值时，可以使用稀疏向量来节省空间。目前，大多数算法实现接受稀疏向量形式的输入。当然，还有许多其他编码方法，如二进制编码等。有兴趣的可以查阅附加资料了解。

　　对于字符串类型，我们有多种表达方式，如词袋、TF-IDF(词频-逆)、主题模型、词嵌入模型等。各种表情都有不同的应用场景和优缺点。如果需要了解更多，可以查看附加资料。

　　经过类别转换后，我们所有的数据都转换成了数字数据。为了消除数据特征之间的量纲影响，我们需要对010到59000的特征进行处理，使不同的指标具有可比性。比如分析一个人的身高体重对健康的影响，如果以米(m)和公斤(kg)为单位，身高在1.6-1.8m的数值范围内，体重特征在50-100kg的数值范围内，分析结果会倾向于数值差异较大的体重特征。数值特征的归一化可以将所有特征统一到大致相同的区间中进行分析。归一化方法通常包括线性函数归一化(最小-最大缩放)和零均值归一化(Z分数归一化)。归一化，决策树模型不需要。以C4.5为例，决策树的节点分裂时，主要取决于数据集D关于特征X的信息增益比，信息增益比与特征是否归一化无关。

　　比如在以梯度和矩阵为核心的算法中，比如logistic回归、支持向量机、神经网络，无量纲化可以加快求解速度；但是在距离模型中，比如K-最近邻和K-Means聚类，无量纲化可以帮助我们提高模型的精度，避免一个取值范围特别大的特征对距离计算的影响。(一个特例是决策树和树的集成算法。我们不需要无量纲的决策树。决策树可以很好地处理任何数据。)

　　当然，不是所有的机器学习算法需要对数值进行归一化，在实际应用中，通过梯度下降法求解的模型通常需要归一化，因为经过归一化后，梯度在不同特征上更新速度趋于一致，可以加快模型收敛速度。数据一般描述为在数据描述阶段，我们可以根据需要计算统计量和对数据进行可视化。，mean，median，mode。

　　Mean是平均值；中位数是中位数，取数据排序后中间位置的值，避免极端离群值影响客观评价；Mode是出现频率最高的元素，但很少使用。方差就是方差，它衡量一个数据集与其均值的偏差。

　　数据之间的相关性可以用variance来衡量。前者适用于度量数据的情况，后者适用于分类统计的情况。

　　Pearson correlation coefficient和Pearson chi-square一维数据饼图、直方图；二维数据散点图；三维数据以三维坐标呈现；高维数据需要先进行转换或映射，比如matlab中的箱线图，也可以用平行坐标表示。有很多工具可用，比如matlab和Geph。

　　我们在做具体分析的时候，可能会有很多属性，但是有些属性是不相关的，有些是重复的，所以需要用数据可视化来选择最相关的属性，以降低问题的难度。

　　我们可以通过熵信息增益、分支定界等方法来选择特征。这些特性包括顺序向前、顺序向后、模拟退火、禁忌搜索、遗传算法等。

　　为了提高对复杂关系的拟合能力，特征工程中经常将一些离散的特征两两特征选择组成高阶特征。比如点击率预测问题，原始数据有两个特征：语言和类型。为了提高拟合能力，可以将语言和类型组合成二阶特征，共同预测对点击率的影响。如何找到有意义的组合特征？一种方法是基于决策树的组合特征搜索方法。

　　在机器学习中，数据通常需要以向量的形式表示来进行训练，但在处理和分析高维向量时，会极大地消耗系统资源，甚至会造成维数灾难。所以需要用低维向量来表示高维向量。组合是用低纬度矢量表示高维矢量的方法。

　　特征抽取或降维有两种方法：主成分分析(PCA)和线性判别分析(LDA)。两者的相似之处在于都假设数据服从受人尊敬的咖啡分布，都使用了矩阵分解的思想。两者的区别在于，PCA是一种无监督算法，对降维没有限制，目标是投影方差最大化。LDA是一种监督算法。降维后的维度小于类别数，其目标是最小化类别内方差，最大化类别间方差。

　　以上步骤是数据预处理，希望对正在做实操的朋友有帮助。

　　特征抽取是

　　Referencewzdhy. 清华大学 《数据挖掘：理论与算法》 课件，学堂在线。Jeru_d39e. 数据挖掘：理论与算法笔记.干净的未来等. 《百面机器学习：算法工程师带你去面试》 .brdgb. 《机器学习基础：从入门到求职》 .

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。