×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

离线模型 batch_size 和 core 数量问题 已解决 cxgk2022-06-07 16:16:30 回复 3 查看 技术答疑
离线模型 batch_size 和 core 数量问题
分享到:

您好,请问对于220卡,同一个模型要跑多路数据,对于生成离线模型有些疑问:

  1. 多路数据(比如4路)用的离线模型是1batch_size_4core吗?还是4batchsize_4core?

  2. 多路数据离线模型调用api封装是用cnrt库的原始api做推理封装,还是用pipeline方式封装推理模型api


版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭