【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18

问题

现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。

梯度下降的步骤

  1. 用随机值初始化权重和偏差
  2. 把输入传入网络，得到输出值
  3. 计算预测值和真实值之间的误差
  4. 反向传播求出每个神经元的梯度
  5. 根据梯度调整神经元的权值，以减少误差
  6. 重复迭代，直至得到网络权重的最佳值

全连接层反向传播

在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1

上一篇：实战五十六：基于机器学习的上海房价预测（完整代码+数据集）

下一篇：【MySQL Shell】9.3 创建 InnoDB ReplicaSet

相关内容

热门资讯

湖南省人大常委会审议省“两院”... 7月30日，省十四届人大常委会第二十四次会议分组审议了省高级人民法院关于全省法院行政审判工作情况的报...
一颗桃子，如何改变一个乡村？ （来源：北京新闻广播） #北京平谷90后小两口卖桃半年赚...
一秒钟，我们能看见多远？ 转自：吉林发布1953年的第一个黎明，《人民日报》的元旦社论如号角吹响。新中国第一个“五年计划”开始...
宏桥控股：拟定增募资不超过12... （来源：财闻） 发行对象认购股份自发行结束之日起6个月内不得转让。 ...
从计算到存储：二维半导体产业链... 　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：钛媒体APP...