LV.1

幺白幺木

122积分0赞

14 帖子 60 回复 0 收藏

TA的动态

TA的帖子

TA的回复

cnvs在进行算力测试时怎么更改执行次数 我的回复：#1m1chael回复https://www.cambricon.com/docs/sdk_1.15.0/cntoolkit_3.7.2/cnvs_0.13.1/chapter_plugins/peak_performance.html#id4 请参考文档说明展开文档里没有并说明怎么修改执行次数 0

有没有1.0版本的magicmind docker 我的回复：#1老黄牛回复可以联系一下对应的销服同事好的，还有一个问题就是arm的pip镜像源能发一下吗，这个初始源用不了 0

magicmind的全连接算子是哪个 我的回复：没有回复吗 0

magicmind的全连接算子是哪个 我的回复：是因为magicmind不支持全连接算子吗，我用parser对linear层进行转换时报错没有linear算子 0

如何在多张220上进行模型并行推理 我的回复：#5MyAI回复220 主要是离线部署为主，如果板子是220多卡的，可以在业务层做一些任务调度，常见的使用方法：以2卡举例：可以将A任务放到卡0上，B任务放到卡1上运行。这种方式可以提升整卡的吞吐率。MLU侧接口依旧是保持原有cnrt的使用方法，任务分配时做好对应的数据的拆分然后分配到对应的device。展开在搭建离线模型并将其拆分为任务A、B之后，任务A、B之间需要频繁进行数据交互，即如何实现模型中的算子将计算输出发送至指定220设备，或接收来自其他220设备所部署离线模型中间层算子计算输出的数据，从而实现多块220进行模型并行推理时离线模型间的数据交互？是否有多卡模型并行或者流水线并行的实例代码。 0

如何在多张220上进行模型并行推理 我的回复：#3粉条炖猪肉回复您好，具体的分布式实现主要取决于使用的框架哈，可参考框架相关的分布式实现。如果对推理性能要求较高，建议可先评估下数据并行是否可满足要求，再决定是否采用模型并行，以及多线程、多进程等。展开那请问 pytorch 的分布式离线推理能给个参考资料的链接吗？（模型并行） 0

如何在多张220上进行模型并行推理 我的回复：#1粉条炖猪肉回复亲爱的开发者，您好!相关资料可参考 https://developer.cambricon.com/index/document/down.html?ddd=9展开请问能回复些有用的消息吗？ 0

离线模型推理模式 我的回复：#4wuwangdong回复离线模型只能整体载入一张芯片进行推理，无法再进行算子调度。你有多张芯片可以每张芯片都载入同一个离线模型，然后多路并行推理数据，提高吞吐。展开如果我模型太大导致一张芯片放不下，我也不能将离线模型拆分，并放到多张芯片上进行推理？ 0

离线模型推理模式 我的回复：#4wuwangdong回复离线模型只能整体载入一张芯片进行推理，无法再进行算子调度。你有多张芯片可以每张芯片都载入同一个离线模型，然后多路并行推理数据，提高吞吐。展开 0

离线模型推理模式 我的回复：#2wuwangdong回复离线模型无法再进行算子逐层调试。请问你那边是遇到了什么问题吗？是发现逐层正常，然后融合离线精度不对，所以想这样调试吗？展开比如说我有几块220芯片，我想根据需要并行推理，或者是想提高模型的推理速度，需要离线地对模型进行算子调度。 0

上一页 1 2 3 下一页