【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18

问题

现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。

梯度下降的步骤

  1. 用随机值初始化权重和偏差
  2. 把输入传入网络，得到输出值
  3. 计算预测值和真实值之间的误差
  4. 反向传播求出每个神经元的梯度
  5. 根据梯度调整神经元的权值，以减少误差
  6. 重复迭代，直至得到网络权重的最佳值

全连接层反向传播

在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1

上一篇：实战五十六：基于机器学习的上海房价预测（完整代码+数据集）

下一篇：【MySQL Shell】9.3 创建 InnoDB ReplicaSet

相关内容

热门资讯

打仗需要什么就专攻精练什么，在... 来源：中国军网-解放军报北部战区海军某部在任务一线检验理论学习成果——学用结合 为战砺剑■张腾飞 吴...
柳州部分地区出现塌陷坑，专家：... （来源：上观新闻）5月18日，广西柳州市柳南区发生地震后，辖区池塘、道路等接连出现圆形地面塌陷坑，引...
美加州圣迭戈市伊斯兰中心枪击事... （来源：上观新闻）当地时间5月18日，美国加利福尼亚州圣迭戈市警方表示，当地一家伊斯兰中心当天发生的...
广西柳州两次5.2级地震之间有... 　　来源：上观新闻　　据中国地震台网正式测定，5月18日21时44分在广西柳州市柳南区再次发生5.2...
李在明喊话，三星电子劳资相互让... 【环球时报驻韩国特派记者 莽九晨】连日来，韩国三星电子劳资谈判引发韩国各界关注。据韩联社报道，三星电...