LV.1

HelloAI

466积分5赞

5 帖子 26 回复 4 收藏

TA的动态

TA的帖子

TA的回复

vllm部署ernie-4.5 我的回复：抱歉，vllm-mlu当前不支持ernie-4.5，也暂不适配计划。 0

【XXX产品/功能】一句话描述问题（字数限制25字以内） 我的回复：感谢您的反馈，这是一个Bug，该问题已分别在cntoolkit 3.15.10和cntoolkit-4.1.1修复，您可以升级与您当前版本最接近的小版本。 0

UDVM是什么意思 我的回复：请问您在哪个文档里看到提及UDVM的内容？谢谢 0

MLU270离线推理rtsp视频流 我的回复：以上功能均可通过CNStream实现，可参考https://gitee.com/cambricon/CNStream 0

input为(1,1,512,512)运行正常，设置为(1,1,1024,1024)则报错如下 我的回复：从现象上看，是调整输入后导致访存越界了。可以贴一下测试代码和错误发生时内核的dmesg日志吗？ 0

请问mlu370-x8如何部署Qwen2-72B-Instruct-GPTQ-Int4 我的回复：当前MLU370主要通过vLLM支持大模型的部署，但是当前并未支持GTPQ-INT4的量化，详情可咨询销售代表。 0

求助关于寒武纪MLU370-X8显卡驱动兼容问题（Ubuntu 24 + 内核6.11） 我的回复：cambrico-mlu-driver-4.20.11最高只支持到ubuntu22.04的linux-5.15.0内核，不支持6.11的内核，并且当前还没有支持到6.11内核的高版本的驱动安装包。 0

如何获取neuware‑driver 我的回复：#1chensong_2000回复算力卡是mlu100，想跑一下pytorch，之前搭建amd显卡的运行环境时，amd的rocm有一个quickstart，https://rocm.docs.amd.com/projects/install-on-linux/en/latest/install/quick-start.html#rocm-install-quick，不知道cambricon有没有类似的，谢谢。展开抱歉，MLU100没有类似得quickstart。 0

【提问】请问有支持PyTorch v2.0+的计划吗？ 我的回复：MLU370-X8，支持pytorch2.1以后的版本，只是未在社区公开发布，您可联系购买MLU370-X8的销售代表获取。 0

llamafactory推理 我的回复：qwen2.5-7b，内存肯定是够的，启用deepspeed试试。另外，可以贴一下你的命令行吗？ 0

上一页 1 2 3 4 5 6 7 8 9 10 ..27 下一页