×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

求助:利用CNRT接口使用YOLOv3离线模型进行Dynamic Batch 推理 已解决 thinger2022-01-27 11:02:39 回复 2 查看 技术答疑 使用求助 社区交流
求助:利用CNRT接口使用YOLOv3离线模型进行Dynamic Batch 推理
分享到:

目标:利用CNRT接口使用离线模型进行Dynamic Batch 推理 

背景:我使用caffe框架生成了yolov3的离线模型,Batch Size为1时能够正常推理,现在我利用如下命令生成cache mode 为1,Batch Size为4的离线模型

/caffe/build/tools/caffe genoff -model yolov3_int8.prototxt -weights yolov3.caffemodel -mname yolov3_4b4c_simple
 -mcore MLU270 -cache 1 -simple_compile 1 -core_number 4 -batchsize 4 -batch_list "1,2,3,4"

问题:利用上面生成的YOLOv3离线模型,采用cnrtInvokeRuntimeContext_V3接口执行一张图片的推理时,在调用cnrtSyncQueue(queue)时报错:

报错信息如下:

2022-01-19 17:30:58.962078: [cnrtWarning] [11077] [Card : 0] bang printf: core dump print
2022-01-19 17:30:58.962443: [cnrtError] [11077] [Card : 0] Error occurred in cnrtSyncQueue during calling driver interface.
2022-01-19 17:30:58.962452: [cnrtError] [11077] [Card : 0] Return value is 463, MLU_ERROR_WRITE_DRAM_RESP, means that "respond error writing dram"
2022-01-19 17:30:58.962454: [cnrtError] [11077] [Card : 0] mlu unfinished!
for more information, please use core dump analysis tools
call cnrtSyncQueue error, the return code is:632046

代码和模型描述文件在附件中。请问Dynamic Batch 功能使用cnrt怎么实现, cnrtInvokeRuntimeContext_V3接口怎么正确使用?

model_twins.txt

code.txt


版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭