打开微信,使用扫一扫进入页面后,点击右上角菜单,
点击“发送给朋友”或“分享到朋友圈”完成分享
Cambricon PyTorch 系列课程涵盖基础理论、训练、推理入门,推理入门课后练习答案如下:
《Cambricon PyTorch 的推理入门》
问题1:简单描述 Cambricon PyTorch Eager/JIT 推理模式的后端设计和运行流程。
通过torch api或者pt模型,进行load model ,pytorch会通过 parser 解析加载的模型,然后通过pytorch 分发和 catch分发,得到了前向cnnl算子,通过cnnlsetqueue创建cnnl队列,在forward的时候进行cnrtsyncqueue对驱动进行计算任务下发,最后返回结果;
通过torch api或者pt模型,进行load model,pytorch会通过 parser 解析加载的模型,得到torch 计算图表示,然后通过jittrace进入图优化和图融合,其中resblock中的conv bn relu 层会融合成cbr组合层,我们将该融合图称为 magicmind sub graph,接着该subgraph会经过MagicMind parser、MagicMind builder得到序列化的magicmind model,最后绑定magicmind engine和context,启动magicmind sync 将该model对驱动进行计算任务下发,返回计算结果
问题2:复现课程中运用的两个推理示例,并通过实践去分析两种推理模式的差异。
热门帖子
精华帖子