×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

cnrtTransOrderAndCast函数耗时过长 待解决 cambridge2023-02-14 13:17:43 回复 2 查看 技术答疑 使用求助 经验交流
cnrtTransOrderAndCast函数耗时过长
分享到:

 1. MLU220,模型有两个输出,维度分别是248*216*18=964224 ,248*216*42=2249856,模型推理部分耗时100ms左右,cnrtTransOrderAndCast函数将NHWC->NCHW half->float32,该函数耗时达到300ms左右,这个数据量这么耗时吗,是模型推理的3倍。有没有可能优化呢?

2. 后面还要接CPU后处理,有没有可能跳过cnrtTransOrderAndCast函数,直接在后处理函数中取模型输出的NHWC FLOAT16数据(当然这样读取数据比转换成NCHW更复杂),这样应该会有性能提升?


f767067c5df3ce152cbaa32cd91861a.png


版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭