×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

离线模型的推理时间与什么有关 fff2020-07-02 10:34:46 回复 4 查看 云平台 实验支持
离线模型的推理时间与什么有关
分享到:

inference 离线模型的推理时间 是会受到  在线推理生成的模型  的影响吗? 或者与云平台的拥挤程度有关系吗?

在执行离线推理时   最开始的推理时间 只有70 ms ,但是没有修改过代码的情况下  再次运行  竟然变成了1000ms

第一张是当时正确的图片

z.png

随后就出现了1000ms的情况   并且 51504  这个输出不知道是什么……


我尝试过重新跑一遍cpu和mlu在线推理的模型,发现离线推理的时间变成了200多ms

但是多运行几次在线推理的模型后    离线推理的时间竟然又增加变成600ms 甚至1200ms


请问究竟是什么原因导致这样的结果呢?代码部分应该是没有修改过的  按理说离线模型的时间不应该出现这么大的波动……?

版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭