模型量化是生成量化校准参数,模型转换是做算子融合并生成机器指令
好的,明白,感谢感谢。
所以能不能理解为,模型的量化和转换只是生成了一个INT8计算器和一些算子的融合?
正常的,因为量化并转换成.cambricon文件的模型,内部的数据类型还是FP32/FP16的,只是增加了量化参数而已,并不是说量化的模型就是用INT8的数据类型保存的。量化模型只是计算的时候是用INT8计算器计算的。
请登录后评论