特征数据归一化加速梯度下降优化,常见的梯度优化算法

　　博客明星评选

　　个人主页：@电脑魔术师作者简介：CSDN内容合伙人，全栈领域优质创作者。

　　推荐一个求职神器网站：Niuke.com 笔试题库面试经验实习招聘推送

　　如果没有账号，点击链接跳转到牛科。com，登录注册，开始刷题库。我们快点过海关面试吧。

　　这篇文章包含一个专栏-机器学习-

　　@ toc

　　@[目录]

　　吴恩达机器学习笔记，阅读文章大约需要三分钟。

　　1.问题分析在线性回归中，特别是在多元回归模型中，由于各种数据之间的量化程度不同，如果数

　　根据范围[0~1000，0 ~5]或[-0.00004 ~ 0.0002，10 ~ 30]，那么在使用梯度下降算法时，它们的轮廓线是一条窄而高的轮廓线，如下图所示：

　　因为当它们的量化级别不同时(1，299)和(3，800)将出现的特征实例，所以等高线将窄且高。在梯度下降算法中，参数更新会左右波动，如上图所示。如果等高线如下图所示，参数更新会收敛，更新更快。

　　2.3D可视化如下：成本函数(即回归模型的预测值与实际值之差的平方和)的3D图就像下山一样。作为一个下山的人，你一定希望地形相对平坦，一定要清楚的知道去哪里下山最快。如果山又陡又窄，下坡的人是不是下的慢了很多，到处都是下坡，找不到准确的方向？

　　理想成本函数

　　但实际情况往往如下图。

　　解然后，为了使梯度下降算法的特征下降得更快，收敛得更快，我们需要标准化每个数据，例如：

　　第一特征X0的量化级别为：0 ~ 2000。

　　平均值为u0 :1000，

　　第二个特征X1的定量轮廓是：1 ~ 5。

　　平均值记录为u1 :2

　　此时，我们将其数据标准化，使其成为平均值为0的情况，操作如下：

　　X0=(X0-u0 )/X0量化级别X1=(X1-u1 )/X1量化级别使得X0和X1的量化级别都是-1 ~ 1，

　　实现了数据标准化。

　　注意：数据标准化不需要太精确的结果。对于结果来说，0 ~ 1和0 ~ 2并不总是可以接受的，因为我们的目的达到了，这样“山”就不那么陡了，很容易下山。

　　如果对应的数据量化级别是0 ~ 3，-3~ 3，这个其实是可以接受的，不需要数据标准化。

　　电脑魔术师原创作品，

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。