【深度学习笔记】手动推导反向传播公式BP
创始人
2024-05-13 12:22:18
0

问题

现在才意识到,卷积神经网络在不同的层上的反向传播的计算公式不一样,之前一直按照全连接层的那种简单反向传播去理解了。

梯度下降的步骤

  1. 用随机值初始化权重和偏差
  2. 把输入传入网络,得到输出值
  3. 计算预测值和真实值之间的误差
  4. 反向传播求出每个神经元的梯度
  5. 根据梯度调整神经元的权值,以减少误差
  6. 重复迭代,直至得到网络权重的最佳值

全连接层反向传播

在数据表示上,将全连接神经网络的每一层神经元都表示为一个列向量。每一层的神经元,会将上一层神经元的输出作为输入,通过乘上权重矩阵以及加上列向量形式的偏置项。得到激活前的输出值,最后通过激活函数得到该层最终激活后的输出:
z l = W l ∗ a l − 1

相关内容

热门资讯

粉丝把范丞丞爸爸认成范丞丞,他... 粉丝把范丞丞爸爸认成范丞丞,他们长得很像吗?他们长得确实很像范丞丞,继承了他爸的大部分基因,他跟他爸...
电视剧《咱家那些事》的片头曲叫... 电视剧《咱家那些事》的片头曲叫什么名字?片头曲 《好大一个家》 从小盼着快...
打坐时如何净心 打坐时如何净心净,就是清除心中的杂念,与自然融合净心之妙法 莫若至诚持念阿弥陀佛圣号 打坐也当以念佛...
奇瑞董事长尹同跃:质比量重要,... “我们现在已经调整了(打法),不再追求销量的排名,我们认为质比量重要。”7月11日,在2025中国汽...
中粮可口可乐甘肃厂再次启动“净... 近日,甘肃陇南康县遭遇强降雨天气过程,其中碾坝镇累计降雨量达221.8毫米。强降雨引发山洪、滑坡及泥...
百合股份“回扣门”发酵:内部审... 近日,有“营养保健食品代工第一股”之称的威海百合生物技术股份有限公司(股票代码:603102.下称“...
新大唐双龙传(王晶版)总共共多... 新大唐双龙传(王晶版)总共共多少集刚播放的时候听说是四部 每部40集一共160集 到底多少集呢第一部...
美轰炸机参与美日韩空中演习 据韩国国防部消息,美日韩7月11日在韩国济州岛南部举行联合空中演习,美军战略轰炸机B-52H参与。韩...
29岁高学历女演员被曝当服务员 转自:扬子晚报近日,29岁女演员宇书田在餐厅兼职当服务员,引发关注。宇书田告诉记者,她硕士毕业于英国...
以更多诚意和远见“疏通”红海航... 本月以来,以色列对也门胡塞武装控制区的目标发动空袭,胡塞武装加大对红海水域与以色列有关商船的袭击,这...