在搭建离线模型并将其拆分为任务A、B之后,任务A、B之间需要频繁进行数据交互,即如何实现模型中的算子将计算输出发送至指定220设备,或接收来自其他220设备所部署离线模型中间层算子计算输出的数据,从而实现多块220进行模型并行推理时离线模型间的数据交互?是否有多卡模型并行或者流水线并行的实例代码。展开
220 主要是离线部署为主,如果板子是220多卡的,可以在业务层做一些任务调度,常见的使用方法:以2卡举例:可以将A任务放到卡0上,B任务放到卡1上运行。这种方式可以提升整卡的吞吐率。MLU侧接口依旧是保持原有cnrt的使用方法,任务分配时做好对应的数据的拆分然后分配到对应的device。展开
请登录后评论