python操作教程,python初学者教程

　　背景：打算学习CNN。上周看了Python课程，现在看到P28 18.3 CNN卷积神经网络。

　　视频链接：https://www.bilibili.com/video/av16001891/? p=29

　　不麻烦源码：https://github . com/morvanzhou/tutorials/tree/master/tensorflowut

　　笔记里只记录了一部分原理，所有代码都放在文件夹里。你可以参考莫凡的源代码。

　　随机梯度下降法

　　其中，SGD并不是最快的优化算法。我们可以用下图来看一下。

　　该图显示了加速神经网络训练(深度学习)的P18优化器。SGD的路由最短，速度最慢。

　　接下来，介绍几个优化器。

　　气势酒鬼走歪了，给个坡就能直下了。

　　阿达格拉德穿不太合脚的鞋子，有抵抗力，强迫人一直往前走。

　　RMSProp

　　亚当是最快和最好的优化。

　　Momentum和adam是常见的高阶优化器。

　　过拟合问题：

　　1.正规化：

　　回归中使用的惩罚机制。

　　当我们的预测值中权重W过大，也就是预测值过大，那么我们就会使成本值也增大，也就是惩罚会更重。惩罚机制是在代价函数后加一个关于W的函数：W，W 2，W 3，W4等。这样我们学过的曲线就不会太扭曲。

　　如上图所示，在添加黄色加号之前，黄色虚线可以完美拟合所有的点，但是在添加更多的数据(这里是添加5个加号)之后，黄色曲线的误差远大于蓝色直线的误差，这就是所谓的过拟合。

　　2.辍学：用于神经网络

　　每次都是随机忽略神经网络中的一些神经元，然后进行训练和预测。

　　P26卷积神经网络

　　在卷积检查RGB图片被扫描后，只有一层。这里之所以有高度，是因为用了很多卷积核。一个卷积核是一层，原来是三层，因为RGB是一个颜色一层。

　　卷积核表示一个特征。为了获得更多不同的特征集，卷积层会有多个卷积核来生成不同的特征。

　　分池：原尺寸为4*4，分为4个2*2矩阵。maxpooling保存每个2*2矩阵的最大特征值，形成一个新的2*2矩阵。averagepooling保存平均值，通常使用max，因为max可以更好地保存特性。

　　tensorflow中定义conv2d和pooling非常容易，有特殊语句：tf.nn.conv2d和tf.nn.max_pool。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。