Outlier Suppression+: 大型语言模型的等效最佳移位和缩放准确量化（英文版）

英文标题：Outlier Suppression+: Accurate quantization of large language models by equivalent and optimal shifting and scaling中文摘要：提出一种 Outlier Suppression + 的框架，其中采用了 channel-wise shifting 技术和 scaling 操作用于消除 transformer 语言模型中的异常值，并通过实验表明该框架在 8 比特和 6 比特设置下能够在不降低性能的前提下实现近似浮点性能水平，在 4 比特 BERT 上实现了新的最优性能。英文摘要：Quantization of transformer language models faces significant challenges dueto the existence of detrimental outliers in activations. We observe that theseoutliers are asymmetric and concentrated in