打开微信,使用扫一扫进入页面后,点击右上角菜单,
点击“发送给朋友”或“分享到朋友圈”完成分享
【寒武纪硬件产品型号】必填*:MLU370
【使用操作系统】必填*:Kylin Linux Advanced Server V10 (Tercel)
【使用驱动版本】必填*:
例如:v4.20.6
【出错信息】必填*:
因为370FLOAT32的算力小 INT8算力大
我想优化推理时间 所以想把模型精度改为INT8
在pt转mm的时候 配置
build_config = {
"archs": ["mtp_372"], # 指定硬件架构
"graph_shape_mutable": True, # 允许输入形状可变
"precision_config": {"precision_mode": "force_float32"}, # 强制使用 FLOAT32 精度
"opt_config": {"type64to32_conversion": True, "conv_scale_fold": True} # 优化配置
}
官网还显示

除了把 "precision_config": {"precision_mode": "force_float32"},这里的force_float32改为qint8_mixed_float32 还需要校准数据吗? 有没有例子
热门帖子
精华帖子