×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

【MLU370-S4 卡】部署Qwen2.5-VL-7B-Instruct 报错求助 已完结 dongzhen2025-08-28 09:54:49 回复 3 查看 技术答疑 使用求助
【MLU370-S4 卡】部署Qwen2.5-VL-7B-Instruct 报错求助
分享到:

问题描述:

     通过docker部署Qwen2.5-VL-7B-Instruct ,报错 ImportError: cannot import name 'Qwen2_5_VLForConditionalGeneration'


环境信息如下

    主机系统:Kylin v10

    docker版本:27.5.1

    卡:MLU370-S4

    驱动版本:  CNMON v5.10.22    Driver v5.10.22

    docker 镜像: yellow.hub.cambricon.com/pytorch/pytorch:v1.17.0-torch1.9-kylinv10-py36

    模型: Qwen2.5-VL-7B-Instruct  


我的解决思路:

   安装了最新的    transformers accelerate, 没解决问题 

pip install git+https://github.com/huggingface/transformers accelerate

求助:

1:问题什么原因,如何解决

2:如何获取到官方最新推理镜像

3:有适配的vllm镜像吗 ,我也尝试用了vllm部署,但提示不支持


版权所有 © 2025 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭