【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
问题
现在才意识到，卷积神经网络在不同的层上的反向传播的计算公式不一样，之前一直按照全连接层的那种简单反向传播去理解了。
梯度下降的步骤
- 用随机值初始化权重和偏差
- 把输入传入网络，得到输出值
- 计算预测值和真实值之间的误差
- 反向传播求出每个神经元的梯度
- 根据梯度调整神经元的权值，以减少误差
- 重复迭代，直至得到网络权重的最佳值
全连接层反向传播
在数据表示上，将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元，会将上一层神经元的输出作为输入，通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值，最后通过激活函数得到该层最终激活后的输出：
z l = W l ∗ a l − 1
相关内容
热门资讯
航路还堵着，能源怎么办
近期，全球多个关键能源运输通道相继出了状况：霍尔木兹海峡通行受阻，曼德海峡局势紧绷，黑海与波罗的海沿...
奋力构建世界级科研枢纽
2023年8月，国务院正式印发《河套深港科技创新合作区深圳园区发展规划》，提出锚定“深港科技创新开放...
业态升级激发消费新活力
近年来，国内工业遗产活化利用进程持续提速，工业旅游凭借独特的产业价值、文化价值，成为文旅产业转型升级...
进一步挖掘服务消费潜力
近年来，我国经济保持平稳增长，经济结构优化升级特点明显。随着居民消费需求从“有没有”向“好不好”转变...
理性对待情绪消费
下班后，买一束鲜花犒劳辛苦工作的“老己”；逛街时，在潮玩店开新品盲盒，收集不同的惊喜；在周末，为喜爱...