基于pytorch实现模型剪枝
创始人
2024-05-26 18:09:05
  • 一，剪枝分类
  • 二，PyTorch 的剪枝
  • 三，总结
  • 参考资料

一，剪枝分类

所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。

1.1，非结构化剪枝

非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数（scaling floats）。其重点在于，剪枝权重对象是随机的，没有特定结构，因此被称为非结构化剪枝。

1.2，结构化剪枝

与非结构化剪枝相反，结构化剪枝会剪枝整个参数结构。比如，丢弃整行或整列的权重，或者在卷积层中丢弃整个过滤器（Filter）。

1.3，本地与全局修剪

剪枝可以在每层（局部）或多层/所有层（全局）上进

上一篇：适合穷人的18个创业项目投资小,创业都有什么行业 100元低成本创业项目适合穷人加盟 90后低成本创业项目适合穷人创业

下一篇：大学生创新创业项目计划书ppt,大学生创新创业项目计划书 创新创业计划书ppt案例怎么写 创新创业项目计划书ppt模板长版

相关内容

热门资讯

微信给马化腾浇了“一盆冷水” 　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：虎嗅APP）...
做好繁荣法学研究服务法治实践工... （来源：法治日报）转自：法治日报本报讯 记者徐鹏 近日，青海省法学会第八届理事会第二次常务理事扩大会...
宝立食品拟申请银行综合授信额度... 中访网数据  上海宝立食品科技股份有限公司于2026年2月4日召开第二届董事会第十六次会议，审议通过...
强化春节前后自然灾害风险防范应... （来源：法治日报）转自：法治日报本报北京2月4日讯 记者蒋起东 国家防灾减灾救灾委员会办公室今天印发...
汲取传统文化智慧赋能基层调解工... （来源：法治日报）转自：法治日报□ 本报记者 周孝清　　“有些纠纷不是简单的金钱问题，只有情感沟通与...