基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
签到
注册 登录
打开微信，使用扫一扫进入页面后，点击右上角菜单，
点击“发送给朋友”或“分享到朋友圈”完成分享
多线程调用离线模型推理，使用同一个ctx，不同queue，效率是否有影响？目前我测试下来对有的模型没有影响，即多线程一个ctx，和多线程多ctx，推理吞吐一样。但有的模型多线程一个ctx，明显慢很多。
热门帖子
精华帖子
Ashelly
13 回复
fengyunkai
1 回复
三叶虫
3 回复
goodchong
jyjyjyjyjy
Github
开发平台
文档中心
新手必读