【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
多家机构更新Spotify(S...
经济观察网 Spotify Technology S.A.（SPOT）获多家机构更新评级及目标价，中...
从“会整理”到“会学习”
（来源：衢州日报）转自：衢州日报 何苏君 上小学一年级的小乐，总喜欢把课本、练习册、作业本、文具...
坚决克服麻痹思想松劲心态 打好...
（来源：衢州日报）转自：衢州日报 本报讯 （记者 徐颖之） 8月6日下午，市委书记高屹在衢江区检查...
国际金价盘中重回4300美元
（来源：北京商报）现货黄金迎来反弹行情。8月6日，伦敦金现盘中一度重回4300美元/盎司关口，这也是...
好店不再“藏在深巷”，数字化帮...
（来源：千龙网）当前，千千万万的个体工商户在线上经营过程中，常常面临缺乏曝光机会、缺乏渠道对接、好产...