×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

单 batch 和 多batch 模型速度差 4~5倍(MLU核心使用率均接近100%)? 已解决 三叶虫2020-05-22 17:15:28 回复 2 查看 思元220
单 batch 和 多batch 模型速度差 4~5倍(MLU核心使用率均接近100%)?
分享到:

由于底层架构的原因,会将一个网络模型拆分至不同核心上,所以会造成核与核之间IO的消耗,所以单线程N核情况下并没有达到单核的N倍性能。又由于某些网络的模型不大,单batch拆分至多核的时候占用计算单元不多,多batch可以占用更多的计算单元从而增加性能。


版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭