全部回复
LV.1
#2
goodchong
回复
您好,MLU220本身可以支持多线程,多模型推理。底层的CNRT,驱动和硬件会自动完成任务调度。只要在不同的线程中向queue下发任务即可。具体情况要根据您模型和业务的特点来优化。
2022-03-04 16:47:44
0
|
回复
LV.1
#1
yinyin123456
回复
同问
2022-03-01 09:58:49
0
|
回复
请
登录
后评论