量化(3): 量化校准
创始人
2025-05-30 02:32:57

1、校准的含义

校准是为模型权重和激活选择边界的过程。为了简单起见，这里只描述了对称范围的校准（工业界一般对称量化即可满足需求），如对称量化所需。这里考虑三种校准方法：

  • Max：使用校准期间的最大绝对值；
  • Histogram：将范围设置为校准期间看到的绝对值分布的百分位。
  • Entropy：使用KL散度来最小化原始浮点值和量化比特表示的值之间的信息损失。

2. Max校准

在这里插入图片描述

3. Histogram校准

我们都知道量化的过程与数据的分布有关。如下图所示：当数据的直方图分布比较均匀时，高精度向低精度进行映射就会将表示空间利用比较充分；如果分布不均匀，就会浪费很大的表示空间。

在这里插入图片描述

  • 关于上面这种直接将量化阈值设置为 |max| 的方法，它的显著特点是int8的表示空间没有充分利用，因此称为不饱和量化<

上一篇：天字打一成语 一个大天一个小天疯狂猜成语

下一篇：戴尔笔记本电脑各项功能键指南

相关内容

热门资讯

今年我省粮食产量达515.56... （来源：辽宁日报）转自：辽宁日报 图为在中储粮（盘锦）储运有限公司，装运粮食的重型卡车排起长队...
国家发展改革委部署促进投资止跌... （来源：辽宁日报）转自：辽宁日报 新华社北京12月13日电 （记者魏玉坤） 记者13日从全国发展和改...
江苏省实施《中华人民共和国森林... （来源：新华日报） 目 录 第一章 总则 第二章 森林、林木和林地权属管理...
姜堰数字化产品讲“活”理论 （来源：新华日报） □ 本报记者 卢佳乐 通讯员 姜宣 “王教授，您约我‘喝茶论道’，...
联合国维和部队在苏丹遇袭 6人... 转自：财联社【联合国维和部队在苏丹遇袭 6人死亡】财联社12月14日电，当地时间13日，苏丹武装部队...