×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

MLU220 int16 量化精度问题 已完结 cambridge2023-02-01 15:24:57 回复 7 查看 技术答疑 使用求助 经验交流
MLU220 int16 量化精度问题
分享到:

你好,我们正在移植一个点云目标检测模型(其中包括一个自定义算子),int16量化后转离线模型,如下是mlu220和gpu模型输出结果的比较:

Snipaste_2023-01-10_11-28-42.png

然后经过cpu后处理后,结果偏差较大,如下,每一列分别是class、xyzwlh、dir、score(可以明显看到mlu上丢失了高score目标):

mlu220:

image.png

gpu:

image.png

量化代码如下:

image.png


尝试的方法:

  1. 更换量化方法,使用eqnm量化,结果精度差不多

  2. 使用分通道量化,量化过程耗时几十分钟最后放弃了,可能因为模型通道数太多?有几千通道

  3. 使用模拟量化工具,报错:RuntimeError: "sum_cpu" not implemented for 'Half'

  4. 没有MLU270,无法逐层


问题:

  1. 这个int16量化的mse和cosine_similarity误差算正常吗?

  2. 是否可以初步判定是算子的问题?

  3. 如果是算子问题,没有MLU270无法定位具体算子,可以提供其他帮助和建议吗?

版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭