【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18

问题

现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。

梯度下降的步骤

  1. 用随机值初始化权重和偏差
  2. 把输入传入网络，得到输出值
  3. 计算预测值和真实值之间的误差
  4. 反向传播求出每个神经元的梯度
  5. 根据梯度调整神经元的权值，以减少误差
  6. 重复迭代，直至得到网络权重的最佳值

全连接层反向传播

在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1

上一篇：实战五十六：基于机器学习的上海房价预测（完整代码+数据集）

下一篇：【MySQL Shell】9.3 创建 InnoDB ReplicaSet

相关内容

热门资讯

苏州旺山旺水医药：完成1.00... 苏州旺山旺水医药公告称，2026年7月15日完成转换100,220,667股境内非上市股份为H股。此...
中国丰汇：完成公司名称、简称、... 中国丰汇公告称，公司名称由“Crown International Corporation Limi...
巴拉特雷德罗集团税前利润增长，... 　　本财年房屋成交量 17667 套，上年同期为 16826 套公司此前给出 2026 财年房屋销量...
陕西200MW风电项目获核准 （来源：龙船风电网）近日，陕西水电榆林陕投公司榆阳区（二期）10万千瓦风电项目、佳县10万千瓦风电项...
乌军无人机杀疯了，连续两夜打击... （来源：上观新闻）新华社基辅7月15日电 乌克兰无人系统部队15日在社交媒体发布消息说，乌军前一夜在...