量化

[jxlovemj]

想请教下，有instruct模型的量化方式吗。假设我用instruct模型sft了一个版本，该怎么量化呢

[SSSSuperC]

有的，我们刚发布了量化教程：https://github.com/OpenMOSS/MOSS-VL/tree/main/quant

提供的 FP8 / NF4 两套量化都是训练后量化，不需要校准数据，脚本会从你 checkpoint 的 config.json 自动读取层
数和 cross-attention 层位置来决定量化范围，所以你自己 SFT 后的版本可以直接用