Hessian-based Post-Training Quantization

量化#

量化（Quantization）这一概念源自通信和信息学领域，是指一种从大（通常是连续）范围的输入值映射到（通常是离散）范围的输出值的方法。在数值计算问题中，量化问题指一组连续的实数值应该如何映射到一组取值固定的离散数值集合上，从而能够最大限度地减少数值表示所需的位数并最大限度地提高计算的精度。近年来，由于基于深度学习的神经网络模型的复杂度不断提高，对神经网络的量化问题的研究逐渐成为人工智能技术应用和神经网络计算优化的重要子领域。
针对深度神经网络的量化一般有两个目的：网络压缩和推理加速。网络压缩指通过降低模型参数（包括权重和激活值）的数值表示所需的位数，达到降低内存容量和带宽的效果，例如将一个参数全部是 32 位浮点数的神经网络的权重和激活值全部量化到 8 位整型数值，其内存占用和带宽理论上均可减少至原来的四分之一。而实现推理加速则是利用量化从高精度映射到低精度数值表示的特性，进行进一步的低精度（如整型）的计算优化，减少模型计算推理的时间，例如对 8 位整型数的乘法运算进行优化，可以理论上实现相比 32 位浮点数的乘法运算的速度快 16 倍的加速效果。
量化时的浮点数离散化操作会造成精度损失，因此在量化操作之后得到的值会与原真实值存在差异，这个差异叫作量化误差（Quantization Error）。直观上来说，将全精度的数值映射为低精度的数值会不可避免地导致信息丢失，这个过程中会对神经网络模型引入量化误差，导致模型预测精度的下降。但是实际上许多量化神经网络的表现与原始神经网络相差无几。关于量化误差与模型预测精度的相关性，目前尚未出现严谨的理论证明。一个可能的解释是：当前多数神经网络模型都存在严重的参数冗余，模型参数的自由度较高，因此对于参数的量化具有较高的鲁棒性。

量化的数学表示#

量化可以表示为一个映射函数 $Q$，该函数将输入的浮点数值集合 $X$ 映射到离散的数值集合 $Y$。函数 $Q$ 在过去的研究中有多种实现方式，其中使用得最为广泛的是对称仿射量化（Symmetric Affine Quantization），或者叫作对称线性量化（Symmetric Linear Quantization）。对称线性量化的一般形式如下：

对于某一粒度规模（Layer-wise 或者 Channel-wise）的参数，对称线性量化使用一个缩放系数 $s$ 来调整原始集合的数值范围到固定的数值范围，然后经过舍入 $\text{round}$ 和截断 $\text{clip}$ 的方式实现取值的离散化，最后重新使用缩放系数 $s$ 来恢复到原始集合的数值范围。使用对称线性量化的好处是：在求解量化问题时需要优化的参数只有量化的缩放系数 $s$，并且量化神经网络在实际进行乘法运算时，可以提取出计算过程中不同的缩放系数 $s$，先进行低精度的整数乘法，然后统一进行缩放运算，这样可以简化运算，实现计算加速效果，如图 3 所示。

后训练量化和量化感知训练#

后训练量化（Post-Training Quantization, PTQ），又称离线量化，指的是将一个预训练的神经网络模型通过参数优化等方法获得一个量化的神经网络模型，一般不会涉及网络的再训练过程。离线量化方法可以快速获取一个量化模型，可以节省训练所需的计算资源，并且更适合快速迭代的应用场景。针对激活值的离线量化需要使用一个小规模的数据集作为校准集（Calibration Dataset），通过对校准集进行推理来统计激活值的数值范围，从而实现对激活的量化优化。
量化感知训练（Quantization-Aware Training，QAT），又称在线量化。与离线量化不同，在线量化将量化映射函数事先插入到模型的计算图中需要被量化的参数的位置，并对模型使用完整的训练集进行训练。再训练过程不仅会优化原始任务的损失，同时也会优化量化误差带来的量化损失。使用量化感知训练得到的量化模型通常比后训练量化得到的模型的预测准确度更高，但需要消耗大量的计算资源，并且超参数的设定也会对量化模型的收敛产生影响。

从全局损失到局部损失#

AdaRound 将量化误差对全局损失的影响的期望作为优化目标函数：

该目标函数可以转化为包含 Hessian 矩阵的二次型形式：

对于常见粒度的参数量化而言，其 Hessian 矩阵的规模很大，很难在有限时间内进行计算和求解。AdaRound 对该问题进行了简化。首先，AdaRound 将参数粒度限制在了 Layer-wise 层级，即每次优化只考虑一个参数层的所有参数。对于模型的每一层 $\ell$ 中的权重参数 $\mathbf{W}^{(\ell)}$，全局损失 $\mathcal{L}$ 对其的二阶偏导数可以表示为：

那么，损失函数对该层参数的 Hessian 矩阵可以表示为：

其中 $\mathbf{x}^{(\ell-1)}$ 为上一层的输出激活值，$\mathbf{z}^{(\ell)}$ 为该层的预激活值，$\otimes$ 表示 Kronecker 积。AdaRound 分别基于两个不同的假设对该 Hessian 矩阵进行了简化。

假设一：Hessian 矩阵 $\mathbf{H} ^{(\mathbf{W} ^{(\ell)})}$ 为对角矩阵，即本层网络的神经元输出相互独立。在此假设下，Hessian 矩阵可以简化为：

假设二：损失函数 $\mathcal{L}$ 对 $\mathbf{z} ^{(\ell)}$ 的二阶偏导数是常数，即与输入激活值 $\mathbf{x} ^{(\ell - 1)}$ 无关。因此 $\nabla _{\mathbf{z} ^{(\ell)}} ^{2} \mathcal{L}$ 是一个常数矩阵。这样目标函数就省略了加权项，最终简化为对当前层预激活输出的均方误差（Mean Squared Error, MSE）的形式：

通过以上对问题的简化，原始的全局损失转化为了每一层预激活输出 MSE 的局部损失。这样只需逐层优化局部损失，即可完成对量化误差的优化。

AdaRound 算法#

为了对舍入方向进行优化，AdaRound 设计了一种对上述局部损失的优化方法。AdaRound 的目标函数为当前层预激活 MSE 加入了一个正则化项。正则化项的参数 $\mathbf{V}$ 是与参数 $\mathbf{W}$ 同维度的可学习参数，用来控制量化误差的舍入方向。AdaRound 的目标函数可以表示为：

其中 $\widetilde{\mathbf{W}}$ 是经过量化的权重参数：

与常规的对称线性量化函数不同，AdaRound 的量化函数将就近舍入改为向下取整后加上一个整流函数 $h$：

整流函数 $h$ 的输入为 $\mathbf{V}$，输出为普通 Sigmoid 函数 $\sigma$ 经过范围缩放后再进行截断至范围 $[0,1]$ 之间的结果，表示当前参数的自适应舍入方向。这样设计的目的是为了避免 Sigmoid 函数在趋近 $0$ 或 $1$ 时的梯度消失问题。其中，缩放系数 $\zeta$ 和 $\gamma$ 分别设定为 $\zeta=1.1$ 和 $\gamma=-0.1$。

AdaRound 目标函数的正则项 $f _{reg}$ 使用退火温度参数 $\beta$ 来指导可学习参数 $\mathbf{V}$ 的收敛。温度参数 $\beta$ 的值初始化为较大的数值，在初始阶段加大惩罚力度帮助 $\mathbf{V}$ 收敛。之后在优化过程中逐渐减小，进一步优化预激活 MSE。 考虑到神经网络中量化误差会逐层累加，上述优化过程也是逐层进行。为了避免累加的量化误差对最终模型精度的影响，在逐层优化的过程中，当前被量化层的输入是之前所有层经过量化后得到的输出。除此之外，激活函数对量化的影响也需要被考虑到优化范围内。这样就得到了 AdaRound 最终的优化目标函数。

消融实验#

本文从以下五个方面展开了消融实验，验证本文所提出方法的有效性。 从全局损失到局部损失目标函数的选择。本文对比了原始的就近舍入量化、Hessian 矩阵二次型、预激活 MSE 以及 AdaRound 目标函数的模型参数重建量化效果，结果表明，使用 AdaRound 的目标函数进行优化的量化效果最优。

AdaRound 整流函数 $h$ 的选择。本文对比了使用退火参数的 Sigmoid 函数、普通 Sigmoid 函数加正则项函数以及整流函数 $h$ 加正则化项三种情况，结果表明，使用整流函数 $h$ 加正则化项能够在网络整体的量化上达到更好的效果。

使用 STE 进行优化。本文对比了使用辅助变量进行优化重建的方法以及使用直通估计器（Straight Through Estimator，STE）进行量化感知训练的方法。结果表明，使用重建的方法要比使用 STE 的 QAT 方法效果要更好一些，原因是 STE 可能会导致量化前后的参数反向传播时梯度不匹配（Gradient Mismatch）问题。

优化参数缩放系数的指标。AdaRound 仍然沿用原始的对称线性量化函数，因此在进行重建前需要提前优化确定参数的缩放系数 $s$，一般采用网格搜索的方法来穷举某一目标函数的值，取某种指标的最优值点来确定缩放系数。本文对比了最大最小值差、权重参数 MSE 和激活 MSE 三种指标函数，结果表明，使用权重 MSE 或激活 MSE 对 AdaRound 初始化都能获得较优的量化效果。

校准集样本量大小。本文对校准集的大小对量化的影响进行了探究。结果表明，校准集样本数量越大，量化导致的模型预测损失越低。另外，AdaRound 对校准集的采样来源具有较高的鲁棒性，使用不同任务的数据集作为校准集只会有很微小的精度下降。

对比实验#

AdaRound 主要对比了 2020 年以前在 ImageNet 图像分类任务上对经典卷积神经网络模型的各种量化方法。结果如下：

不同层间参数的相关性#

神经网络的后训练量化一般选择层级的量化粒度，即网络中的每一个参数化层分别对应一个量化映射，这直观上与深度神经网络层级堆叠的设计结构相吻合，但是却忽略了层级之间的参数的相关性。层级量化本质上是对量化这一全局优化问题的简化，显然，神经网络作为一个优化的整体，层级之间参数的相关性必然会对量化效果产生影响。此时仍可以借助 Hessian 矩阵来探究层级之间参数的相关性。 记神经网络的预激活 $\mathbf{z} ^{(n)} = f(\theta)$，任务损失函数为 $L(f(\theta))$，其中 $\theta$ 为网络的参数。则损失函数对网络中任意参数的二阶偏导数可以表示为：

由于预训练模型的参数可以看作已经收敛，因此可以假设原任务损失 $L$ 对 $\mathbf{z}$ 的一阶偏导数近似为 $0$，那么，损失函数对任意一组参数的 Hessian 矩阵可以进一步简化为以下的 Gauss-Newton 矩阵形式：

其中 $\mathbf{J} _{\mathbf{z} ^{(n)}} (\theta)$ 是预激活 $\mathbf{z}$ 对网络参数 $\theta$ 的 Jacobi 矩阵，$\mathbf{H} ^{\mathbf{z} ^ {(n)}}$ 是预激活 $\mathbf{z}$ 对任务损失 $L$ 的 Hessian 矩阵。这两个矩阵的规模都很大，因此需要对其进行简化。

简化 Jacobi 矩阵 $\mathbf{J}$。考虑量化对网络层输出的扰动 $\Delta \mathbf{z} ^{(n)}$，Jacobi 矩阵 $\mathbf{J}$ 可以看作对 $\Delta \mathbf{z} ^{(n)}$ 进行一阶泰勒展开后的一阶偏导项：

考虑原量化问题的目标函数，即：

将 Jacobi 矩阵 $\mathbf{J}$ 用泰勒展开的近似式代入，可得简化的量化目标函数：

简化 Hessian 矩阵 $\mathbf{H}$。本文提出使用 Fisher 信息矩阵（Fisher Information Matrix，FIM）来近似预激活 $\mathbf{z}$ 对网络参数 $\theta$ 的 Hessian 矩阵。
给定一个概率模型 $p(x|\theta)$，使用已知的观测样本通过极大似然估计（Maximum Likelihood Estimate）对参数 $θ$ 进行优化，使得观测样本出现概率取极大值。相当于使评分函数 $s(θ)$，即对数似然函数对参数 $θ$ 的一阶偏导数趋近 $0$。Fisher 信息定义为该一阶偏导数的二阶矩，在一般情况下，对数似然函数对参数 $θ$ 的一阶偏导数的期望为 $0$，因此 Fisher 信息也可以表示为概率模型对参数极大似然估计的评分函数 $s$ 的方差。对于所有参数 $θ$，FIM 表示如下：

可以看出，FIM 也可以等价于概率模型的对数似然函数的 Hessian 矩阵的期望的负值。因此，在二阶优化方法中，FIM 一般可以作为 Hessian 矩阵的近似替代。深度神经网络模型的优化方法与概率模型的极大似然估计方法类似，如果能够尽量保证训练样本的分布尽量接近真实数据分布，并且预训练模型参数已经在训练集上收敛，那么就可以使用 FIM 来近似 Hessian 矩阵 $\mathbf{H}$。 Adam 优化器使用了参数梯度的二阶矩估计来为不同的参数设计独立的自适应学习率，在计算中使用梯度的平方，即 FIM 的对角元素。本文采用类似的思想，使用了 FIM 的对角元素组成的对角矩阵来替换 Hessian 矩阵。一个直观的解释是，梯度平方的值越大，该参数参与量化重建的重要性越高。替换后的优化目标函数变为：

块级重建#

前面提到，基于层级的量化重建会损失不同层参数之间的相关性信息，因此需要探究合适的量化粒度来权衡量化优化问题的规模与层级间相关性损失。本文分析了四种不同的量化重建粒度，从大到小依次为整网（Network-wise）重建、阶段（Stage-wise）重建、块级（Block-wise）重建和层级（Layer-wise）重建，不同粒度的规模如图 7 所示。

不同的重建粒度，其 Hessian 矩阵的规模也不同。如图 8 所示，块级或层级的 Hessian 矩阵相当于整网参数的 Hessian 矩阵的分块对角矩阵。

本文对上述四种不同量化粒度的参数重建进行了实验，发现使用块级重建粒度的量化效果最优。使用块级重建的优越性可以从两方面解释。第一，ResNet 等网络采用的残差连接（Residual Connection）可能会加强块级参数的相关性；第二，校准集一般规模较小，比起粒度更大的阶段或整网重建，块级粒度的参数重建更不容易发生过拟合现象。本文将这种基于块级重建的量化方法称为 BRECQ。

消融实验#

本文对上面提到的四种不同的重建粒度进行了消融实验。在 ImageNet 图像分类任务上对 ResNet-18 和 MobileNet-V2 模型进行 2-bit 量化，结果见表 6。结果表明，块级重建的量化效果要比其它粒度的效果要好。

对比实验#

本文在 ImageNet 图像分类任务和 MS COCO 目标检测任务上展开工作。 在 ImageNet 图像分类任务上的对比结果如下：

在 MS COCO 目标检测任务上的对比结果如下：

激活量化如何影响权重量化#

为了验证激活量化对权重参数重建的影响，本文首先基于 BRECQ 方法针对三种不同的激活量化策略开展了对比实验进行观察，三种激活量化策略如下，示意图和结果如图 9 所示。

• Case 1：原始的 BRECQ 方法。重建时不对激活进行量化；
• Case 2：对当前重建的块以及之前的所有重建完毕的块的激活进行量化。
• Case 3：对当前重建的块之前的所有重建完毕的块的激活进行量化，不对当前块的激活进行量化。

实验表明，Case 3 的量化效果最好。也就是说，如果在参数重建的过程中对部分块进行激活量化，有可能提高量化效果。
类似于之前对权重量化的数学定义，对激活的量化也可以定义为对其的扰动，记为 $e=(\hat{a} - a)$。本文将该扰动由减法形式转化为乘法形式，即 $\hat{a} = a \cdot (1+u)$。定义同时对权重和激活的量化扰动的全局损失为 $L(\boldsymbol{w} + \Delta \boldsymbol{w}, \boldsymbol{x}, \mathbf{1} + \boldsymbol{u}(\boldsymbol{x}))$，那么量化要优化的目标函数为：

卷积、全连接等线性变换层的运算均可以用矩阵乘法 $\boldsymbol{y}=\boldsymbol{W}\boldsymbol{a}$ 来表示。对激活 $\boldsymbol{a}$ 加入的扰动 $\boldsymbol{u}(\boldsymbol{x})$ ，可以传递到对权重 $\boldsymbol{W}$ 上：

目标函数可以进一步转化为：

上式的第一项为权重参数重建的损失，第二项为参数重建后的网络再加入激活量化之后的损失。也就是说，通过乘法项引入的对激活的量化扰动，对整体的量化损失是有影响的。
可以从量化扰动鲁棒性的角度来理解由激活引入的第二项损失。对激活的量化可以看作对参数重建后的量化网络加入的噪声。如果在输入加入了噪声的情况下进行优化，网络参数优化时的损失平面理论上会更加平坦，即鲁棒性更强。这也解释了前面对比实验中 Case 2 和 Case 3 比第一种情况的效果更好的原因。

QDrop#

本文提出了一种权重和激活量化相结合的参数重建优化方案，命名为 QDrop。QDrop 是从前文所述的对比实验的第三种情况加以改进得到的。与原先不同的是，QDrop 对当前重建的层也加入了对输入激活的量化，但是只会以一定的概率 $p$ 来决定输入的每一个元素是否不进行量化，类似于深度学习中的 Dropout，即：

使用 QDrop 得到的参数优化损失平面与其它情况的对比如图 10 所示。可以看到，使用 QDrop 方法的损失平面要比之前更加平坦。

消融实验#

QDrop 与 No Drop。本文对比了使用 QDrop 方法进行随机地激活量化和完全进行激活量化的效果。结果如表 9 所示。结果表明使用 QDrop 后预测精度有所提升。

QDrop 概率 $p$ 的选择。本文对 QDrop 概率 $p$ 的选择进行了消融实验，结果如图 11 所示。结果表明，QDrop 概率 $p$ 的值对量化效果有较大影响，过小或过大的概率都会导致量化效果下降。 可以看出，当 $p=0.5$ 时量化模型的预测精度最高。但对于更细粒度的搜索空间本文未作过多讨论。

对比实验#

QDrop 在 ImageNet 图像分类任务、MS COCO 目标检测任务和各个自然语言处理任务上展开工作。 在 ImageNet 图像分类任务上的对比结果如下：

在 MS COCO 目标检测任务上的对比结果如下：

在各个自然语言处理任务上的对比结果如下：