AI：简易的自动求微分算法
创始人
2024-05-30 14:21:45

文章目录

    • 一、自动求微分
      • 1.1 变量
      • 1.2 函数
      • 1.3 数值微分求法
      • 1.4 反向传播算法
      • 1.5 实现自动反向传播
      • 1.6 使用循环方式代替递归方式完成自动反向传播
      • 1.7 简化调用函数的方式
      • 1.8 省略编写`y.grad = np.array(1.0)`
      • 1.9 限制Variable处理数据的类型
      • 1.10 使程序能够使用零维的ndarray实例进行计算
      • 1.11 用标准库中包含的unittest在Python中进行测试
    • 二、优化自动求微分
      • 2.1 将程序扩展到可以处理可变长度的输入和输出
      • 2.2 实现add类
      • 2.3 扩展backward方法
      • 2.4 解决使用相同变量输入时出现的问题
      • 2.5 解决重

上一篇：知识蒸馏论文阅读：DKD算法笔记

下一篇：Iterator 迭代器

相关内容

热门资讯

代表委员履职记丨杨新民委员：把... 来源：科技日报科技日报记者 王姗姗在启程参加2026年全国两会前，全国政协委员、重庆国家应用数学中心...
奕派科技双品牌发力：前2月销量... 中经记者 张家振 武汉报道如何打赢“新春第一仗”？奕派科技以全新销量表现给出了自己的答案。3月1日，...
黄金交易提醒：中东战火蔓延推升... 　　汇通财经APP讯——周一（3月2日）全球黄金市场迎来剧烈波动。在美国与以色列对伊朗发动军事打击后...
价格暴涨！全球LNG格局或将迎... .ct_hqimg {margin: 10px 0;} .hqimg_wrapper {text-a...
美国敦促美公民立即离开中东国家 每经AI快讯，一名美国官员当地时间3月2日透露，美国国务院敦促美国公民立即离开十多个中东国家。美国和...