×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

怎么在370上做模型量化 解决中 cam2025-03-13 16:08:10 回复 3 查看 技术答疑 使用求助 经验交流
怎么在370上做模型量化
分享到:

【寒武纪硬件产品型号】必填*:MLU370

【使用操作系统】必填*:Kylin Linux Advanced Server V10 (Tercel)

【使用驱动版本】必填*:
例如:v4.20.6

【出错信息】必填*:

因为370FLOAT32的算力小 INT8算力大

我想优化推理时间 所以想把模型精度改为INT8

在pt转mm的时候 配置

build_config = {

    "archs": ["mtp_372"],  # 指定硬件架构

    "graph_shape_mutable": True,  # 允许输入形状可变

    "precision_config": {"precision_mode": "force_float32"},  # 强制使用 FLOAT32 精度

    "opt_config": {"type64to32_conversion": True, "conv_scale_fold": True}  # 优化配置

}

官网还显示

image.png
除了把 "precision_config": {"precision_mode""force_float32"},这里的force_float32改为qint8_mixed_float32 还需要校准数据吗? 有没有例子

版权所有 © 2026 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭