所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差(weigths/bias)的模型压缩技术。关于什么参数才是“不必要的”,这是一个目前依然在研究的领域。
非结构化剪枝(Unstructured Puning)是指修剪参数的单个元素,比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数(scaling floats)。其重点在于,剪枝权重对象是随机的,没有特定结构,因此被称为非结构化剪枝。
与非结构化剪枝相反,结构化剪枝会剪枝整个参数结构。比如,丢弃整行或整列的权重,或者在卷积层中丢弃整个过滤器(Filter
)。
剪枝可以在每层(局部)或多层/所有层(全局)上进
上一篇:适合穷人的18个创业项目投资小,创业都有什么行业 100元低成本创业项目适合穷人加盟 90后低成本创业项目适合穷人创业
下一篇:大学生创新创业项目计划书ppt,大学生创新创业项目计划书 创新创业计划书ppt案例怎么写 创新创业项目计划书ppt模板长版