您好,这是由于您跑的是在线逐层模式,在逐层情况下,每层算子都会单独编译,因此会产生较大的耗时,如果需要最优性能,建议您通过离线模式进行推理。
您好,可是当我在cpu 推理 以及 mlu推理时加入以下记录时间的代码之后,测试一段视频时,mlu的逐层推理时间仍旧与CPU相差很多:[图片][图片]当对一段视频进行处理时,我得到以下输出:[图片][图片]
您好,这是由于记录时间的方式不同,在cpu推理的情况下,记录的时间段为纯推理的时间,而在mlu推理的情况下,记录的时间段还包括了图片传输至设备,图片后处理,推理结果写入txt等操作的时间,因此会产生这样的差异。
您好,可是当我在cpu 推理 以及 mlu推理时加入以下记录时间的代码之后,测试一段视频时,mlu的逐层推理时间仍旧与CPU相差很多:
当对一段视频进行处理时,我得到以下输出:
请登录后评论