打开微信,使用扫一扫进入页面后,点击右上角菜单,
点击“发送给朋友”或“分享到朋友圈”完成分享
使用推荐的QWen2.5大模型在vLLM_MLU上推理验证部署,采用镜像版本是cambricon_pytorch_container-v24.10-torch2.4.0-torchmlu1.23.1-ubuntu22.04-py310-qwen2.5.tar。采用的模型是Qwen2.5-32B。设备是370-x8。
在接入dify时候,大模型报错宕机,错误信息是内核不支持MLU300系列。
这个是什么错误?是原始镜像就是错的?
热门帖子
精华帖子