切换版块
×
基础软件平台
PyTorch开发
TensorFlow开发
编解码及SDK开发
BANG语言与计算库
开发工具链
MagicMind开发
软件栈百科
云平台集成
硬件产品专区
大模型专区
寒武纪® AIDC® MLU370®系列加速卡
MLU200系列AI加速产品
经验方案交流区
经验案例与实践分享
开发者服务
开发者活动
公告与版务
高校支持
《智能计算系统》
签到
版块
社区
文档
SDK下载
370系列
200系列
开发平台
官网首页
注册
登录
全部版块
基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
发布新帖
登录/注册
LV.1
幺白幺木
122
积分
0
赞
14
帖子
60
回复
0
收藏
TA的动态
TA的帖子
TA的回复
cnvs在进行算力测试时怎么更改执行次数
我的回复:#1m1chael回复https://www.cambricon.com/docs/sdk_1.15.0/cntoolkit_3.7.2/cnvs_0.13.1/chapter_plugins/peak_performance.html#id4 请参考文档说明展开文档里没有并说明怎么修改执行次数
0
有没有1.0版本的magicmind docker
我的回复:#1老黄牛回复可以联系一下对应的销服同事好的,还有一个问题就是arm的pip镜像源能发一下吗,这个初始源用不了
0
magicmind的全连接算子是哪个
我的回复:没有回复吗
0
magicmind的全连接算子是哪个
我的回复:是因为magicmind不支持全连接算子吗,我用parser对linear层进行转换时报错没有linear算子
0
如何在多张220上进行模型并行推理
我的回复:#5MyAI回复220 主要是离线部署为主,如果板子是220多卡的,可以在业务层做一些任务调度,常见的使用方法:以2卡举例:可以将A任务放到卡0上,B任务放到卡1上运行。这种方式可以提升整卡的吞吐率。MLU侧接口依旧是保持原有cnrt的使用方法,任务分配时做好对应的数据的拆分然后分配到对应的device。展开在搭建离线模型并将其拆分为任务A、B之后,任务A、B之间需要频繁进行数据交互,即如何实现模型中的算子将计算输出发送至指定220设备,或接收来自其他220设备所部署离线模型中间层算子计算输出的数据,从而实现多块220进行模型并行推理时离线模型间的数据交互?是否有多卡模型并行或者流水线并行的实例代码。
0
如何在多张220上进行模型并行推理
我的回复:#3粉条炖猪肉回复您好,具体的分布式实现主要取决于使用的框架哈,可参考框架相关的分布式实现。如果对推理性能要求较高,建议可先评估下数据并行是否可满足要求,再决定是否采用模型并行,以及多线程、多进程等。展开那请问 pytorch 的 分布式 离线推理 能给个参考资料的链接吗?(模型并行)
0
如何在多张220上进行模型并行推理
我的回复:#1粉条炖猪肉回复亲爱的开发者,您好!相关资料可参考 https://developer.cambricon.com/index/document/down.html?ddd=9展开请问能回复些有用的消息吗?
0
离线模型推理模式
我的回复:#4wuwangdong回复离线模型只能整体载入一张芯片进行推理,无法再进行算子调度。你有多张芯片可以每张芯片都载入同一个离线模型,然后多路并行推理数据,提高吞吐。展开如果我模型太大导致一张芯片放不下,我也不能将离线模型拆分,并放到多张芯片上进行推理?
0
离线模型推理模式
我的回复:#4wuwangdong回复离线模型只能整体载入一张芯片进行推理,无法再进行算子调度。你有多张芯片可以每张芯片都载入同一个离线模型,然后多路并行推理数据,提高吞吐。展开
0
离线模型推理模式
我的回复:#2wuwangdong回复离线模型无法再进行算子逐层调试。请问你那边是遇到了什么问题吗?是发现逐层正常,然后融合离线精度不对,所以想这样调试吗?展开比如说我有几块220芯片,我想根据需要并行推理,或者是想提高模型的推理速度,需要离线地对模型进行算子调度。
0
上一页
1
2
3
下一页
Github
开发平台
文档中心
新手必读
官方微信
版权所有 © 2025 寒武纪 Cambricon.com 备案/许可证号:
京ICP备17003415号-1
关闭