• 

  LV.3 #3 HelloAI回复

  #2liuhangda回复

  感谢回复！现在的情况是需要生成离线模型，进行到了jit.trace这一步。那么在代码中还能to到cpu上吗？是不是理论上所有的操作都应该在MLU上进行？已经量化过了

  展开

  不能，必须全部算子MLU都支持才能生成离线模型。

  2023-07-24 14:37:43 0| 回复
• 

  LV.1 #2 liuhangda回复

  #1qqc回复

  MLU220/270不支持INT64是INT32，也不支持自动转成Float32，需要先在CPU转成Float32才能用MLU计算，而且220和270是需要先量化再计算的，这样直接调用算子也是不行的。

  展开

  感谢回复！现在的情况是

  1. 需要生成离线模型，进行到了jit.trace这一步。那么在代码中还能to到cpu上吗？是不是理论上所有的操作都应该在MLU上进行？

  2. 已经量化过了
     

  2023-07-21 09:26:46 0| 回复
• 

  LV.1 #1 qqc回复

  MLU220/270不支持INT64是INT32，也不支持自动转成Float32，需要先在CPU转成Float32才能用MLU计算，而且220和270是需要先量化再计算的，这样直接调用算子也是不行的。

  2023-07-20 18:14:12 0| 回复

请登录后评论