反向传播算法包括几个传播过程,cnn的反向传播算法

　　反向传播的目的是计算成本函数C对网络中任意W或B的偏导数。一旦我们有了这些偏导数，我们将通过一些常数和这个量相对于成本函数的偏导数的乘积来更新网络中的权重和偏差。这是一种流行的梯度下降算法。而偏导数给出上升方向。因此，关于反向传播算法，我们继续看下面。

　　我们向相反的方向迈了一小步，——下降的方向，也就是把我们带到代价函数局部最小值的方向。

　　图示演示：

　　反向传播算法中Sigmoid函数代码演示：

　　#实现sigmoid函数

　　return1/(1 np.exp(-x))

　　defsigmoid_derivative(x):

　　#sigmoid导数计算

　　return sigmoid(x)*(1-sigmoid(x))反向传播算法中ReLU 函数导数函数代码演示：

　　RELU函数的DEF RELU _ devic(X): #导数

　　D=np.array(x，copy=True)#用于保存梯度的张量

　　D[x0]=0#负元素的导数为0。

　　D[x=0]=1#元素的正导数是1

　　returnd的以上内容，相信可以让我们更好的了解反向传播的实际效果。既然知道了反向传播实际在做什么，那就来实际应用一下吧~

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。