×
分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

多线程调用离线模型推理,使用同一个ctx,不同queue,效率是否有影响 已解决 135121813042020-07-19 21:02:54 回复 2 查看 思元270 思元220 视频推理
多线程调用离线模型推理,使用同一个ctx,不同queue,效率是否有影响
分享到:

多线程调用离线模型推理,使用同一个ctx,不同queue,效率是否有影响?目前我测试下来对有的模型没有影响,即多线程一个ctx,和多线程多ctx,推理吞吐一样。但有的模型多线程一个ctx,明显慢很多。

版权所有 © 2022 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭