基于pytorch实现模型剪枝
创始人
2024-05-26 18:09:05
  • 一，剪枝分类
  • 二，PyTorch 的剪枝
  • 三，总结
  • 参考资料

一，剪枝分类

所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。

1.1，非结构化剪枝

非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数（scaling floats）。其重点在于，剪枝权重对象是随机的，没有特定结构，因此被称为非结构化剪枝。

1.2，结构化剪枝

与非结构化剪枝相反，结构化剪枝会剪枝整个参数结构。比如，丢弃整行或整列的权重，或者在卷积层中丢弃整个过滤器（Filter）。

1.3，本地与全局修剪

剪枝可以在每层（局部）或多层/所有层（全局）上进

上一篇：适合穷人的18个创业项目投资小,创业都有什么行业 100元低成本创业项目适合穷人加盟 90后低成本创业项目适合穷人创业

下一篇：大学生创新创业项目计划书ppt,大学生创新创业项目计划书 创新创业计划书ppt案例怎么写 创新创业项目计划书ppt模板长版

相关内容

热门资讯

“小爱同学”不是想喊就能喊 （来源：法治日报）转自：法治日报□ 本报记者　　 罗莎莎　　□ 本报通讯员 刘晓慧 张海陵　　科技飞...
以文塑城 以旅兴城 （来源：衢州日报）转自：衢州日报　　记者 赵凯怡　　当人文温度融入城市治理的肌理，衢州将千年文脉转化...
中煤（宣威）新能源有限公司成立... 经济观察网 天眼查App显示，12月3日，中煤（宣威）新能源有限公司成立，法定代表人为杨航行，注册资...
深化普法长效机制，打造法治宣传... （来源：法治日报）转自：法治日报□ 周元卿　　法治宣传教育是全面依法治国的长期基础性工作。党的二十届...
《雨中曲》等经典剧目岁末年初蓉... 转自：成都日报锦观《雨中曲》等经典剧目岁末年初蓉城上演 本报讯 （成都日报锦观新闻记者 余力）...