切换版块
×
基础软件平台
PyTorch开发
TensorFlow开发
编解码及SDK开发
BANG语言与计算库
开发工具链
MagicMind开发
软件栈百科
云平台集成
硬件产品专区
MLU370系列AI加速卡
MLU270系列AI加速卡
MLU220系列AI加速产品
经验方案交流区
经验案例与实践分享
开发者服务
开发者活动
公告与版务
高校支持
《智能计算系统》
签到
版块
社区
文档
SDK下载
370系列
200系列
开发平台
官网首页
注册
登录
全部版块
基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
发布新帖
登录/注册
LV.1
郑居中
15
积分
0
赞
2
帖子
5
回复
1
收藏
TA的动态
TA的帖子
TA的回复
yolov5模型推理速度慢
我的回复:#3zhangyanting回复您好,这是由于您跑的是在线逐层模式,在逐层情况下,每层算子都会单独编译,因此会产生较大的耗时,如果需要最优性能,建议您通过离线模式进行推理。展开哦哦哦,好的,谢谢您
0
yolov5模型推理速度慢
我的回复:#1zhangyanting回复您好,这是由于记录时间的方式不同,在cpu推理的情况下,记录的时间段为纯推理的时间,而在mlu推理的情况下,记录的时间段还包括了图片传输至设备,图片后处理,推理结果写入txt等操作的时间,因此会产生这样的差异。展开您好,可是当我在cpu 推理 以及 mlu推理时加入以下记录时间的代码之后,测试一段视频时,mlu的逐层推理时间仍旧与CPU相差很多:当对一段视频进行处理时,我得到以下输出:
0
Github
开发平台
文档中心
新手必读
官方微信
版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:
京ICP备17003415号-1
关闭