[Arxiv 2024] PrefixQuant: Static Quantization Beats Dynamic through Prefixed Outliers in LLMs
ContentsIntroductionMethodExperimentsReferencesIntroduction 作者提出 PrefixQuant,基于 QuaRot,通过在 WA 量化时
7月前480
ContentsIntroductionMethodExperimentsReferencesIntroduction 作者提出 PrefixQuant,基于 QuaRot,通过在 WA 量化时
一句话总结:static修饰的变量和函数是有可见范围的,一般情况下不要越限处理。 利用可在本文件调用的属性,另加一个函数fun,fun调用该static
