你好!你的回答针对的是总体的精度误差吗?目前我的情况是,在mlu270上离线推理,与在线推理基本没有精度损失,但是部署到220上,最终结果和270的结果会有偏差。这是指令集架构不同造成的吗?有什么办法可以尽可能减小该偏差?展开
你好!你的回答针对的是总体的精度误差吗?目前我的情况是,在mlu270上离线推理,与在线推理基本没有精度损失,但是部署到220上,最终结果和270的结果会有偏差。这是指令集架构不同造成的吗?有什么办法可以尽可能减小该偏差?展开
由于硬件结构和指令集架构不同,220与270算子拆分方式会存在一些区别,可能引起精度误差。
您可以采取以下方法提高精度:1、由于 int16 的计算精度高于 int8,因此设置计算数据类型为 int16,能够有效提高计算精度。2、分通道量化比普通量化的计算精度高。对于支持分通道量化的算子,可使用通道量化方式提升网络精度。然而,分通道量化对性能可能有负面影响。具体可参考cnml用户手册。
您好,maskrcnn、yolact这类分割模型,您可以采取以下方法提高精度:1、由于 int16 的计算精度高于 int8,因此设置计算数据类型为 int16,能够有效提高计算精度。2、分通 道量化比普通量化的计算精度高。对于支持分通道量化的算子,可使用通道量化方式提升网络精度。然而,分通道量化对性能可能有负面影响。具体可参考cnml用户手册。展开
由于细微的精度区别导致最终的结果有偏差,有解决方案吗?误差在YOLO6D模型上无关紧要可以忽略,但是在yolact实力分割模型上的误差就会对最终的结果造成一些误差,我想知道你们在部署maskrcnn、yolact这类实例分割模型的时候有遇到类似的问题吗?是怎么解决的?展开
请登录后评论