切换版块
×
基础软件平台
PyTorch开发
TensorFlow开发
编解码及SDK开发
BANG语言与计算库
开发工具链
MagicMind开发
软件栈百科
云平台集成
硬件产品专区
MLU370系列AI加速卡
MLU270系列AI加速卡
MLU220系列AI加速产品
经验方案交流区
经验案例与实践分享
开发者服务
开发者活动
公告与版务
高校支持
《智能计算系统》
签到
版块
社区
文档
SDK下载
370系列
200系列
开发平台
官网首页
注册
登录
全部版块
基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
发布新帖
登录/注册
LV.1
thinger
44
积分
3
赞
4
帖子
18
回复
1
收藏
TA的动态
TA的帖子
TA的回复
求助:利用CNRT接口使用YOLOv3离线模型进行Dynamic Batch 推理
我的回复:#1lanhao回复麻烦给个邮箱,我发您一份demo,您看一下邮箱:tianyi.zhao@transwarp.io
0
怎么利用cnrt 接口支持batch 推理
我的回复:#6opabinia回复利用caffe镜像从DarkNet原始yolov3生成离线模型可以参考这个教程:https://gitee.com/cambriconknight/dev-env-ubuntu/tree/master/caffe/yolov3-416展开你好,我使用caffe框架生成了yolov3的离线模型(input_num,output_num均为1),在batch size为1时能够正常推理,现在我利用如下命令/caffe/build/tools/caffe genoff -model yolov3_int8.prototxt -weights yolov3.caffemodel -mname yolov3_4b4c_simple -mcore MLU270 -cache 1 -simple_compile 1 -core_number 4 -batchsize 4 -batch_list "1,2,3,4"生成cache mode 为1的离线模型,采用cnrtInvokeRuntimeContext_V3接口执行一张图片的推理时在调用cnrtSyncQueue(queue)时报错:2022-01-19 17:30:58.962078: [cnrtWarning] [11077] [Card : 0] bang printf: core dump print 2022-01-19 17:30:58.962443: [cnrtError] [11077] [Card : 0] Error occurred in cnrtSyncQueue during calling driver interface. 2022-01-19 17:30:58.962452: [cnrtError] [11077] [Card : 0] Return value is 463, MLU_ERROR_WRITE_DRAM_RESP, means that "respond error writing dram" 2022-01-19 17:30:58.962454: [cnrtError] [11077] [Card : 0] mlu unfinished! for more information, please use core dump analysis tools call cnrtSyncQueue error, the return code is:632046代码和模型描述文件在附件中。请问cnrtInvokeRuntimeContext_V3接口怎么正确使用?model_twins.txtcode.txt
2
怎么利用cnrt 接口支持batch 推理
我的回复:#2lanhao回复需要将cache设置为1, -simple_compile设置为1, batch list内设置要设置的各个batch size, 各batch都会存在一个模型里,调用的时候需要指明用哪个batch的指令信息,使用cnrtInvokeRuntimeContext_V3接口展开我是利用pytorch中的genoff.py 生成的离线模型,没有cache和simple_compile这个选项,怎么利用caffe镜像从原始yolov3生成离线模型能微信沟通吗?
2
怎么利用cnrt 接口支持batch 推理
我的回复:我再详细描述一下这个问题:目标:基于cnrt接口开发的平台支持 dynamic batch存在的问题1:生成离线模型时怎么指定Cache mode,Cache mode具体的含义是什么存在的问题2:采用Batch 推理时是否使用cnrtInvokeRuntimeContext_V3接口?cnrtInvokeRuntimeContext_V3 这个接口的输入参数batch_sizes 在Cache mode和 Non-cache mode 模式下怎么设置,Non-cache mode 模式下是否为一个数组
2
分类网络在线示例 resnet50
我的回复:#6gaoxuan回复imagenet里放置 0.jpg 1.jpg 。。。。。 这种命名就可以的(其实是什么无所谓 要跟他read到的filename.txt 对应上就可以,或者你如果不看性能可以把这里直接改成随机数),或者您留个邮箱 我把数据集和更简单的脚本发你展开邮箱是:tianyi.zhao@transwarp.io coco数据麻烦也发一下
0
分类网络在线示例 resnet50
我的回复:#3gaoxuan回复python $CATCH_HOME/examples/online/test_clas_online.py -dataset_path $IMAGENET_PATH -quantization True -quantized_mode 1 -image_num 50 -mmode=CPU -quantized_model_path $TORCH_HOME/int8/checkpoints/ -network resnet50 类似这个命令 你可以修改下路径展开示例中的使用的数据集为imagenet,有提供的下载路径吗?没搞懂它里面的结构,还有 export TORCH_HOME = \"YOUR TORCH_HOME PATH\" export VOC_DEVKIT = \"YOUR VOC_DEVKIT PATH\" export COCO_PATH_PYTORCH = \"YOUR COCO PATH\" export FDDB_PATH_PYTORCH = \"YOUR FDDB PATH\" export ICDAR_PATH_PYTORCH = \"YOUR ICDAR PATH\" 下面这几个路径
0
分类网络在线示例 resnet50
我的回复:#3gaoxuan回复python $CATCH_HOME/examples/online/test_clas_online.py -dataset_path $IMAGENET_PATH -quantization True -quantized_mode 1 -image_num 50 -mmode=CPU -quantized_model_path $TORCH_HOME/int8/checkpoints/ -network resnet50 类似这个命令 你可以修改下路径展开(pytorch) root@tick-server:/torch/src/catch/examples/online# python test_clas_online.py -dataset_path $IMAGENET_PATH -quantization True -quantized_mode 1 -image_num 50 -mmode=CPU -quantized_model_path $TORCH_HOME/int8/checkpoints/ -network resnet50 CNML: 7.10.2 ba20487 CNRT: 4.10.1 a884a9a 2021-11-29 11:28:52,326 - test_clas_online.py[line:437] - INFO: Testing CPU Mode.... Downloading: \"https://download.pytorch.org/models/resnet50-19c8e357.pth\" to /tmp/dir/ResNet50/pytorch/origin/checkpoints/resnet50-19c8e357.pth 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 97.8M/97.8M [00:05
0
分类网络在线示例 resnet50
我的回复:#1gaoxuan回复请问这个pth是你已经量化过的吗?需要先--mmode CPU --quan***(执行量化后再使用量化后模型对MLU进行推理展开https://www.cambricon.com/docs/pytorch/pytorch_10_inference/Pytorch_inference.html#id6 你好手册里面没有提到量化的事情,有完整的执行命令吗和执行步骤吗?
0
Github
开发平台
文档中心
新手必读
官方微信
版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:
京ICP备17003415号-1
关闭