LV.1

qiuming

88积分0赞

12 帖子 39 回复 0 收藏

TA的动态

TA的帖子

TA的回复

pytorch生成的mlu220离线模型过程中会做模型优化吗 我的回复：#3m1chael回复不可见mlu220有点慢有没有方法提速呢 0

pytorch生成的mlu220离线模型过程中会做模型优化吗 我的回复：#1m1chael回复会做一些模型优化能看到优化后的模型结构吗 0

MLU220支持transformer模型推理吗 我的回复：再问下CNRT在推理时会进行bn融合操作吗，我量化时conv和bn没进行融合的 0

MLU220支持transformer模型推理吗 我的回复：#1逍遥_李秋水回复您好，MLU220暂不支持transformer是哪些算子不支持呢，矩阵乘法算子支持吗 0

MLU220 OCR模型量化问题mobilenet v3主干dbnet量化精度损失 我的回复：#4qiuming回复输入是fp32你好，根据你们量化经验如果模型特别小，int16量化损失大吗，他与fp16区别在哪，为啥不直接fp16 0

MLU220 OCR模型量化问题mobilenet v3主干dbnet量化精度损失 我的回复：#3HelloAI回复没有相关的例子。如果设置INT16没有改善的话，那可能问题出在非量化算子的部分。输入是FP16还是FP32呢？展开输入是fp32 0

MLU220 OCR模型量化问题mobilenet v3主干dbnet量化精度损失 我的回复：#1HelloAI回复INT8精度不够的话，可以试试INT16。另外，量化感知训练产生的模型，如果保存成正常格式的模型文件，也是可以的，这种模型的精度量化后应该损失更小。展开你好，我试过INT16的但没啥太大改善，你们有使用量化感知训练模型转正常模型文件部署的例子吗 0

MLU220预处理如何加速，CNCV库可以使用吗，如何下载有链接吗 我的回复：还有没有其他方式把推理耗时降下来的 0

请教一下自定义的yolov3和yolov5算子输出的是什么 我的回复：#5踏雪寻梅回复尊敬的开发者您好，您使用的算子就是magicmind框架中集成的后处理算子的外部调用形式。感谢解答，明白了调用的算子是哪一个。但抱歉还是不太清楚这个输出格式，根据文档，这个magicmind的算子有两种输出格式，第一种为“[batch_size, num_bounding_box, 7] 与 [batch_size]" 两个输出，第二种为”[K, 7]“ 一个输出。而这两种可能的输出格式，均与我使用的此算子的”外部调用形式“的输出格式无法对应，我这里的输出格式为[1, 1, 1, （num_bounding_box*7+64）]。请问是否是这个”外部调用形式“的哪个部分重新包装了输出呢？我该从哪个维度的哪个数据获得输出的bbox总个数呢？感谢耐心解答 0

请教一下自定义的yolov3和yolov5算子输出的是什么 我的回复：#3踏雪寻梅回复开发者您好，请参考magicmind-user-guide重点算子，DetecoutOutput算子介绍，谢谢。展开感谢回复。看了下您说的这个文档，我遇到的问题并未使用Magicmind，算子也不是Magicmind中的IDetectionOutputNode。我是使用torch_mlu 0.15.0.post1在python上定义的模型，输出部分使用的是torch_mlu中你们提供的自定义算子Yolov3_Detection_Output。通过torch.trace导出cambricon后缀的模型文件后，在c++上使用cnrtLoadModel加载的推理引擎。模型的Twins file内容如下This is the Twins File of "Det_quantized.cambricon".Function number: 1---------------kernel graph--------------------Function #0 {Kernel num:1 Cache mode:0 Name: subnet0Input number: 1 Input #0. Mask: 338036233 Shape(dim): 1 608 608 3 Name: Id: 2950 Data type: CNRT_FLOAT32 Dim Order: CNRT_NHWC Quantize position: 841887793 Quantize scale: 4741556669098752933557992161280.000000Output number: 1 Output #0. Mask: 338036233 Shape(dim): 1 1 1 764 Name: Id: 3782 Data type: CNRT_FLOAT16 Dim Order: CNRT_NHWC Quantize position: 1065646817 Quantize scale: 2.000000Kernel header #0: Name: subnet01 Core version: Model Parallelism: 1 Core limit: 1 Inst data split: true} 0

上一页 1 2 下一页