×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

怎么利用cnrt 接口支持batch 推理 已解决 thinger2022-01-18 16:12:24 回复 7 查看 技术答疑 使用求助 社区交流
怎么利用cnrt 接口支持batch 推理
分享到:

我利用cnrt接口实现了离线模型的推理,现在想支持batch功能,请问是使用 cnrtInvokeRuntimeContext_V3 接口吗? 其中batch_size 

// Run batch : 1, 3, 4, 5
// Cache model: 1, 3, 4 should be success, others should be failed.
// Non-cache model: 4, null should be success, others should be failed.
int batch_sizes[4][1] = {{1}, {3}, {4}, {5}};

按照模型是否为Cache mode 有两种不同的输入格式,这个是模型的Cache model吗? 在生成离线模型时怎么指定是不是Cache mode

微信图片_20220118161110.png

版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭