【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
东方基金王怀勋：投资是从预测到...
投资是什么？在东方基金量化投资部基金经理王怀勋看来，答案可以浓缩为两个词：预测和决策。 王怀勋...
公募直销平台扎堆“免费” 基金...
近期，多家头部基金公司扎堆官宣直销平台基金申购费“归零”，抢在过渡期结束前率先执行监管要求。 ...
省科技馆“匠心课堂”迎来暑期收...
（来源：沈阳日报）转自：沈阳日报 本报讯（沈阳日报、沈报全媒体记者杨博）辽宁省科技馆暑期品牌科普活...
新出厂充电宝须带有CCC标志
（来源：沈阳日报）转自：沈阳日报 充电宝已成为现代人出行的标配，但市场上产品质量参差不齐，安全隐患...
浑南实践：“关爱明天、普法先行...
（来源：沈阳日报）转自：沈阳日报 浑南区关工委联合区委政法委、区法院、区检察院等部门，扎实开展“关...