模型MLU量化推理的结果和CPU、MLU均不一致,和MLU逐层输出的误差较小,这种情况能说明误差是由量化引起的吗?
您好,不需要加上述语句了。具体按照https://www.cambricon.com/docs/pytorch/index.html 手册中的模拟示例操作就可以了
请登录后评论