LV.1

HelloAI

476积分5赞

5 帖子 26 回复 5 收藏

TA的动态

TA的帖子

TA的回复

【MLU370 S4】使用xinference模型推理速度非常慢，如何提高推理速度 我的回复：Deepseek-r1-qwen-7B的蒸馏版模型，可以通过vLLM加速，请联系销售或客服代表获取最新版本的vLLM安装包。MLU370的vLLM不支持Qwen3，所以只能通过transformers，暂时没有更优的方案。 0

【MagicMind】docker镜像Python是3.7，更新3.8各种报错，哪里下载集成最新python3.8的docker镜像文件呢 我的回复：magicmind没有发布过python3.8的whl包，在v1.9.0以后升级到了python3.10，你可以联系销售或客服代表获取新版本的安装包，或者获取源码包自己编译whl包。 1

请问mlu220是否支持LLM部署和推理，比如DeepSeek，LLaMA，GPT-3等？ 我的回复：不支持 1

【MLU370产品】MLU370的Driver驱动是否可以在ubuntu22.04上安装？ 我的回复：MLU370的Driver，有Ubuntu22.04的安装包，但未在社区发布，仅针对部分商业客户提供，请联系您的销售代表获取 0

寒武纪主机接入k8s集群的流程咨询：cri 是containerd 我的回复：寒武纪接入k8s需要使用寒武纪的device-plugin和exporter插件，具体地址如下：https://gitee.com/cambricon/cambricon-k8s-device-pluginhttps://gitee.com/cambricon/mlu-exporter可以自行build image（依赖cntoolkit）或者练习对应客服代表获取build好的image。 0

vllm部署ernie-4.5 我的回复：抱歉，vllm-mlu当前不支持ernie-4.5，也暂不适配计划。 0

【XXX产品/功能】一句话描述问题（字数限制25字以内） 我的回复：感谢您的反馈，这是一个Bug，该问题已分别在cntoolkit 3.15.10和cntoolkit-4.1.1修复，您可以升级与您当前版本最接近的小版本。 0

UDVM是什么意思 我的回复：请问您在哪个文档里看到提及UDVM的内容？谢谢 0

MLU270离线推理rtsp视频流 我的回复：以上功能均可通过CNStream实现，可参考https://gitee.com/cambricon/CNStream 0

input为(1,1,512,512)运行正常，设置为(1,1,1024,1024)则报错如下 我的回复：从现象上看，是调整输入后导致访存越界了。可以贴一下测试代码和错误发生时内核的dmesg日志吗？ 0

上一页 1 2 3 4 5 6 7 8 9 10 ..27 下一页