【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
给空压机换上“中国关节”
本报讯 （记者 苏益纯 通讯员 洪江武） 运行温度降低20℃，设备振动值明显下降，各项指标均优于改造...
敏于监督 速于办案
本报讯（全媒体记者匡雪 通讯员赵元桢）“判决结果出来了，我们追诉的上游供货商、监督立案的下线买家...
实地走访 护“桂”有方
近日，广东省肇庆市高要区检察院检察官来到当地肉桂企业，了解企业经营发展现状，结合办案进行风险提示...
伊拉克称不追究外国石油公司“不...
当地时间3月20日晚，伊拉克石油部消息人士称，伊拉克政府决定对在伊外国石油公司负责开发的所有油田实行...
伊朗总统：无意与伊斯兰国家发生...
来源：新华网新华社德黑兰3月20日电 据伊朗伊斯兰共和国通讯社报道，伊朗总统佩泽希齐扬20日表示，伊...