AI：简易的自动求微分算法
创始人
2024-05-30 14:21:45

文章目录

    • 一、自动求微分
      • 1.1 变量
      • 1.2 函数
      • 1.3 数值微分求法
      • 1.4 反向传播算法
      • 1.5 实现自动反向传播
      • 1.6 使用循环方式代替递归方式完成自动反向传播
      • 1.7 简化调用函数的方式
      • 1.8 省略编写`y.grad = np.array(1.0)`
      • 1.9 限制Variable处理数据的类型
      • 1.10 使程序能够使用零维的ndarray实例进行计算
      • 1.11 用标准库中包含的unittest在Python中进行测试
    • 二、优化自动求微分
      • 2.1 将程序扩展到可以处理可变长度的输入和输出
      • 2.2 实现add类
      • 2.3 扩展backward方法
      • 2.4 解决使用相同变量输入时出现的问题
      • 2.5 解决重

上一篇：知识蒸馏论文阅读：DKD算法笔记

下一篇：Iterator 迭代器

相关内容

热门资讯

深圳市金新农科技股份有限公司关... 证券代码：002548 证券简称：金新农 公告编号：2026-029深圳市金新农科技股份有限公司关于...
上海海欣集团股份有限公司202... 证券代码：600851 证券简称：海欣股份 公告编号：2026-016900917 海欣B股上海海...
一颗果子里的增收“密码” 编者按 特色林果业是兵团农业发展的重要支撑，也是广大职工群众增收致富的重要渠道。近年来，兵团坚...
长沙橘子洲沙滩公园 将进...     橘子洲沙滩公园公共区域提质改造项目效果图。    受访者 供图　　三湘都市报6月16日讯 湘...
成名了才有故事，还是有故事才会... 　　0比0，北京时间6月16日凌晨，面对首次进入世界杯决赛圈的佛得角，美加墨世界杯夺冠最大热门西班牙...