打开微信,使用扫一扫进入页面后,点击右上角菜单,
点击“发送给朋友”或“分享到朋友圈”完成分享
问题描述:
通过docker部署Qwen2.5-VL-7B-Instruct ,报错 ImportError: cannot import name 'Qwen2_5_VLForConditionalGeneration'
环境信息如下:
主机系统:Kylin v10
docker版本:27.5.1
卡:MLU370-S4
驱动版本: CNMON v5.10.22 Driver v5.10.22
docker 镜像: yellow.hub.cambricon.com/pytorch/pytorch:v1.17.0-torch1.9-kylinv10-py36
模型: Qwen2.5-VL-7B-Instruct
我的解决思路:
安装了最新的 transformers accelerate, 没解决问题
pip install git+https://github.com/huggingface/transformers accelerate
求助:
1:问题什么原因,如何解决
2:如何获取到官方最新推理镜像
3:有适配的vllm镜像吗 ,我也尝试用了vllm部署,但提示不支持
热门帖子
精华帖子