“节点设备分配的时候,使用贪心算法感觉计算图是将节点分给不同的设备”能提供一下,这个内容是在哪里讲到的么?
在多设备分配的时候可以将整个模型放在一个GPU上运行,也可以将模型拆分成多个部分放在不同的GPU上运行。我认为这里可以理解成并行计算的不同任务分配粒度。
请登录后评论