【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
学术怎能以“帽”取人
（来源：湖州日报）转自：湖州日报 孙琳 最近，一场高校学术打假风波在全网持续发酵。一位名叫“耿同...
老北市露天狂欢
本报讯 记者王月宏报道 5月23日晚，距球场数公里外的四百年街区——沈阳老北市景区，巨幅观赛大屏亮起...
“东北超”，开启“注意力经济”...
5月23日，首届“东北超”盛大启幕，球迷在沈阳人民广场“第二现场”观赛。 本报记者 王迪 摄 “东北...
创新是体验经济生命线
（来源：湖州日报）转自：湖州日报 随着新技术、新场景以及消费新业态不断涌现，如今体验经济成为繁荣消...
沈阳“海选”200名环境体验官...
本报讯 记者赫巍利报道 “没想到我也能为城市管理出一份力！”近日，沈阳市城市管理综合行政执法局创新推...