请问“推理非80分类输出结果错误”这个问题解决了吗?
1、在线逐层加了后处理算子,batchsize=16,图片大小>768推理x和l模型没出现问题。 2、融合模式batchsize=16,图片大小>768*768推理s、l、m、x均不可行。batchsize=1图片>768*768推理s、l、m、x可行. 3、融合模式batchsize=1、4、8 图片大小=640*640,m、x模型正常,batchsize=12、16报错。batchsize=12错误为:MLU bfc_分配器已用完ipu内存。16错误如下图初始化失败。 所以是内存限制了?离线推理时大batchsize多线程,也出现了类似内存错误。所以生成离线模型时batchsize core_number组合数。应往什么方向去做较优的选择。还有非训练80类的模型从后处理大算子出来结果不对的问题。展开
有几个问题想确认一下,(1)在线逐层有没有加后处理算子?(2)batchsize=1的时候有没有问题?(3)如果加了后处理算子,三个输入的hw乘积之和有没有大于32768?展开
请登录后评论