只能自动生成subnet吗?请问能否在pytorch中手动控制生成subnet?[图片]
说明手册上写可以通过subnet0,subnet1,subnet2...来使用子网络,请问如何通过pytorch代码来实现?展开
在使用pytorch生成离线模型时如果遇到不支持的算子,会自动分段生成离线模型,其中分段的模型就是subnet;通常会融合成一个离线模型,但是如果生成离线模型后就脱离了框架,pytorch就无法再调用了。
另外,如果有多个subnet,在实现推理的过程中,需要自己手动实现不支持的算子来串通整个推理流程,是技术上可实现的路线,但难度比较高,推理效率不搞,不推荐这种做法,可以选择替换绕过或者实现该算子生成完整的离线模型做推理。
请登录后评论