【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
“梦溪”流过威尼斯：中国艺术架...
威尼斯因水而生，也因交流而兴。水巷之间，东西方文明的相遇与回响延续数百年。如今，在第61届威尼斯...
“鱼档少年”为啥火了
前段时间，广东佛山南海区学生迎来首个春假，小学生杨今府没有出游，而是像以往一样，在自家鱼档帮父母...
铜川“五链融合”绘就新兴领域党...
实施“吾铜引凤”行动，在重点企业建立“一企一策”人才专班，推动项目、政策、人才、服务“四进企业”...
天美科学仪器集团总部基地在江宁...
（来源：新华日报） 本报讯 （季铖 王强） 5月8日，天美科学仪器集团总部基地开业活动在南京...
冰火两重天！大暴雨+11级雷暴...
— 天气预报 —江南华南将有新一轮较强降水11-14日，江南、华南及贵州东部、湖北南部等地部分地区将...