010-61503882

请问有什么方法可减少量化损失，保证量化后定点模型的业务精度？

经了解有以下几种，欢迎各位大佬补充~

1. 在执行量化命令Knight quant onnx 时，可选择使用--bit-width 16bit，若需要平衡模型精度和性能可考虑使用8/16bit 混合量化；

2. 在执行量化命令Knight quant onnx 时，选择使用不同的quant-mode, 针对不同的校准数据，对模型精度会有影响；

3. 增加量化数据，一般选取一两百条数据, 根据不同业务模型不同；

4. 使用华体会提供的QAT 工具包也就是Finetune-Lib，进行量化感知训练，可针对性的提升量化精度；