×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

【计算偏好模式】调优指南中生成magicmind模型时的设置计算偏好fast模式的问题 已解决 logic2343242023-04-21 14:18:48 回复 1 查看 技术答疑 使用求助
【计算偏好模式】调优指南中生成magicmind模型时的设置计算偏好fast模式的问题
分享到:

【寒武纪硬件产品型号】MLU370-S4

【使用驱动版本】v4.20.18

【使用dockers环境】magicmind1.1.0_ubuntu18.04_py3.7

【使用AI框架】pytorch


根据magicmind调优指南在生成magicmind_cloud中的yolov5s的模型时添加如下更改计算偏好模式为fast的代码:

def generate_model_config(args):
    config = mm.BuilderConfig()

# 指定计算偏好模式 
    assert config.parse_from_string('{"computation_preference": "fast"}').ok()

用mm_run工具对输入640*640、精度qint8_mixed_float16、batchsize为1的模型进行测试后,qps为772.12,而不添加fast模式的模型qps为393.95,对这两个模型计算mAP分别为0.386和0.384。

请问上述的测试数据是否准确?生成magicmind模型时的fast模式会对模型做什么样的操作使得推理速度更快同时精度也没有减少呢?


版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭