利用caffe镜像从DarkNet原始yolov3生成离线模型可以参考这个教程:https://gitee.com/cambriconknight/dev-env-ubuntu/tree/master/caffe/yolov3-416展开
利用caffe镜像从DarkNet原始yolov3生成离线模型可以参考这个教程:https://gitee.com/cambriconknight/dev-env-ubuntu/tree/master/caffe/yolov3-416展开
你好,我使用caffe框架生成了yolov3的离线模型(input_num,output_num均为1),在batch size为1时能够正常推理,现在我利用如下命令
/caffe/build/tools/caffe genoff -model yolov3_int8.prototxt -weights yolov3.caffemodel -mname yolov3_4b4c_simple -mcore MLU270 -cache 1 -simple_compile 1 -core_number 4 -batchsize 4 -batch_list "1,2,3,4"
生成cache mode 为1的离线模型,采用cnrtInvokeRuntimeContext_V3接口执行一张图片的推理时在调用cnrtSyncQueue(queue)时报错:
2022-01-19 17:30:58.962078: [cnrtWarning] [11077] [Card : 0] bang printf: core dump print 2022-01-19 17:30:58.962443: [cnrtError] [11077] [Card : 0] Error occurred in cnrtSyncQueue during calling driver interface. 2022-01-19 17:30:58.962452: [cnrtError] [11077] [Card : 0] Return value is 463, MLU_ERROR_WRITE_DRAM_RESP, means that "respond error writing dram" 2022-01-19 17:30:58.962454: [cnrtError] [11077] [Card : 0] mlu unfinished! for more information, please use core dump analysis tools call cnrtSyncQueue error, the return code is:632046
代码和模型描述文件在附件中。请问
cnrtInvokeRuntimeContext_V3接口怎么正确使用?我再详细描述一下这个问题:目标:基于cnrt接口开发的平台支持 dynamic batch存在的问题1:生成离线模型时怎么指定Cache mode,Cache mode具体的含义是什么存在的问题2:采用Batch 推理时是否使用cnrtInvokeRuntimeContext_V3接口?cnrtInvokeRuntimeContext_V3 这个接口的输入参数batch_sizes 在Cache mode和 Non-cache mode 模式下怎么设置,Non-cache mode 模式下是否为一个数组展开
请登录后评论