打开微信,使用扫一扫进入页面后,点击右上角菜单,
点击“发送给朋友”或“分享到朋友圈”完成分享
目标:利用CNRT接口使用离线模型进行Dynamic Batch 推理
背景:我使用caffe框架生成了yolov3的离线模型,Batch Size为1时能够正常推理,现在我利用如下命令生成cache mode 为1,Batch Size为4的离线模型
/caffe/build/tools/caffe genoff -model yolov3_int8.prototxt -weights yolov3.caffemodel -mname yolov3_4b4c_simple -mcore MLU270 -cache 1 -simple_compile 1 -core_number 4 -batchsize 4 -batch_list "1,2,3,4"
问题:利用上面生成的YOLOv3离线模型,采用cnrtInvokeRuntimeContext_V3接口执行一张图片的推理时,在调用cnrtSyncQueue(queue)时报错:
报错信息如下:
2022-01-19 17:30:58.962078: [cnrtWarning] [11077] [Card : 0] bang printf: core dump print 2022-01-19 17:30:58.962443: [cnrtError] [11077] [Card : 0] Error occurred in cnrtSyncQueue during calling driver interface. 2022-01-19 17:30:58.962452: [cnrtError] [11077] [Card : 0] Return value is 463, MLU_ERROR_WRITE_DRAM_RESP, means that "respond error writing dram" 2022-01-19 17:30:58.962454: [cnrtError] [11077] [Card : 0] mlu unfinished! for more information, please use core dump analysis tools call cnrtSyncQueue error, the return code is:632046
代码和模型描述文件在附件中。请问Dynamic Batch 功能使用cnrt怎么实现, cnrtInvokeRuntimeContext_V3接口怎么正确使用?
热门帖子
精华帖子