注册登录

LV.1

lanhao

182积分3赞

1 帖子 21 回复 0 收藏

TA的动态

TA的帖子

TA的回复

求助：利用CNRT接口使用YOLOv3离线模型进行Dynamic Batch 推理 我的回复：麻烦给个邮箱，我发您一份demo，您看一下 0

MLU270 SDK1.7.0 YOLOv5s模型离线部署 我的回复：首先确认一下anchors num和list写的对不对，然后看下添加detection ouput算子前的推理结果对不对，以此确认是不是后处理算子出的问题。如果确定是后处理算子的问题，建议使用cpu的对应操作进行替代 0

关于离线模型的使用平台问题 我的回复：设置core version为220就能在220上用，设置core version为270就能在270上用，详细设置方法参见cambricon pytorch手册 0

fastreid 关于firstconv std和mean的设置问题 我的回复：如果要在mlu的推理中使用firstconv设置mean std，需要将预处理中的mean std部分注释掉，这样就不会重复做归一化的预处理，只在mlu上firstconv做预处理就行了。如果不想做firstconv，请选择fristconv为false 0

yolov5离线模型在运行的时候代码报错，并且未识别出任何内容。 我的回复：离线模型应该是没有问题的，预计是离线代码有问题，报的段错误可以用gdb进行调试，yolov5离线demo请参考镜像中/torch/examples/offline或源码包中catch下的example/offline中的yolov5代码 0

怎么利用cnrt 接口支持batch 推理 我的回复：#4thinger回复我是利用pytorch中的genoff.py 生成的离线模型，没有cache和simple_compile这个选项，怎么利用caffe镜像从原始yolov3生成离线模型能微信沟通吗？展开没办法，这个功能目前只有caffe支持，建议由caffe生成yolov3离线模型 2

怎么利用cnrt 接口支持batch 推理 我的回复：#1thinger回复我再详细描述一下这个问题：目标:基于cnrt接口开发的平台支持 dynamic batch存在的问题1：生成离线模型时怎么指定Cache mode，Cache mode具体的含义是什么存在的问题2：采用Batch 推理时是否使用cnrtInvokeRuntimeContext_V3接口？cnrtInvokeRuntimeContext_V3 这个接口的输入参数batch_sizes 在Cache mode和 Non-cache mode 模式下怎么设置，Non-cache mode 模式下是否为一个数组展开non-cache mode的使用参见caffe/examples中的样例 2

怎么利用cnrt 接口支持batch 推理 我的回复：需要将cache设置为1, -simple_compile设置为1, batch list内设置要设置的各个batch size, 各batch都会存在一个模型里，调用的时候需要指明用哪个batch的指令信息，使用cnrtInvokeRuntimeContext_V3接口 2

yolov5离线推理时的问题 我的回复：#3zwb回复您好，请问为什么会出现同一张图检测框结果不一样的情况呢，是因为outputdata的值的问题吗1、生成离线模型，batch size是固定的，比如生成batch size=1的离线模型，那么在推理时只能每次推理一张图;生成batch size = 4的离线模型，那么在推理时必须输入四张图片 2、根据您的代码，推理完成后进行后处理的部分，只是在处理batch size=1的推理结果，并不是batch size=4的推理结果 1

yolov5离线推理时的问题 我的回复：batch size=1没有问题说明离线模型生成方式以及前后处理的方法是没有问题的。首先需要检查batch size=4时的cambricon_twins文件里，batchsize的大小。其次检查融合模式batchsize=4时的推理结果对不对。最后如果融合模式batch size=4的推理结果是正确的，检查融合模式的前后处理与离线模型的前后处理的区别，目前看起来可能是模型推理完进行的batch size=4的后处理有问题。 1

上一页 1 2 3 4 5 6 7 8 9 10 下一页