【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
约旦基地频繁遭袭 美军再添伤亡
（来源：沈阳晚报）转自：沈阳晚报 美军中央司令部18日证实，两名美军士兵17日在约旦境内遭伊朗弹道...
一张票根让球迷用自己的方式打开...
（来源：沈阳晚报）转自：沈阳晚报 7月19日上午，沈阳的天空落起了雨。雨丝细密，落在沈阳故宫的红墙...
沙要治 日子要好
（来源：沈阳日报）转自：沈阳日报 新华社记者 曾焱 汽车驶入内蒙古自治区浑善达克沙地深处，窗外绿...
守住“舌尖上的防线”
（来源：沈阳日报）转自：沈阳日报 进入汛期，暴雨频发，潮湿闷热的环境极易导致食物腐败变质。沈阳市疾...
暴雨中的惦念
（来源：沈阳日报）转自：沈阳日报 “附近哪有商场？我们要买一块智能手表监测心率。”7月12日中午，...