【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18

问题

现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。

梯度下降的步骤

  1. 用随机值初始化权重和偏差
  2. 把输入传入网络，得到输出值
  3. 计算预测值和真实值之间的误差
  4. 反向传播求出每个神经元的梯度
  5. 根据梯度调整神经元的权值，以减少误差
  6. 重复迭代，直至得到网络权重的最佳值

全连接层反向传播

在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1

上一篇：实战五十六：基于机器学习的上海房价预测（完整代码+数据集）

下一篇：【MySQL Shell】9.3 创建 InnoDB ReplicaSet

相关内容

热门资讯

山东阳谷县通报：一公司石蜡料场... 情况通报2026年6月13日17时38分，山东阳谷华泰化工股份有限公司石蜡料场起火，市县立即组织力量...
采纳科技2025年参保人数14... 6月14日消息，据天眼查数据显示，采纳科技股份有限公司2025年参保人数为149人，较2024年披露...
劣质“迪卡侬”流向全国，有店铺... 据蓝鲸新闻6月14日报道，近日，记者接到大量消费者买到迪卡侬劣质产品的举报线索。记者在一些电商平台以...
市值暴增790亿！PCB“卖铲... 进入2026年，大族激光在资本市场上“一路长虹”。数据统计显示，截至最新收盘，大族激光年内股价涨幅突...
微光成炬！联动多方资源，这场公... （来源：上观新闻）2026年6月14日是第23个世界献血者日。近日，徐汇区漕河泾街道红十字会联合徐汇...