×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

cpu到mlu,耗时很长 已完结 mrlcv2024-06-05 17:42:18 回复 1 查看 技术答疑 使用求助 经验交流
cpu到mlu,耗时很长
分享到:

image.png

硬件:mlu370 x8

软件:python3.10 torch2.1 torch-mlu1.20.0+torch2.1.0 

模型运行到上述代码时,耗时31s。

该代码是某个head forward里的代码,整个head forward 耗时32s,该部分代码耗时31s。我将代码进行了拆分,分别为:

a = torch.zero([num_vec, num_vec])

a = a.bool()

a = a.to(query.device),query.device为"mlu"

其中a = a.to(query.device)耗时几乎为31s

矩阵维度为24 * 24,很小


该如何解决

版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭