×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

【开发者学院】PyTorch 推理入门课程上新~(本文附课后小练习答案) 三叶虫2022-09-08 16:28:02 回复 查看 社区交流
【开发者学院】PyTorch 推理入门课程上新~(本文附课后小练习答案)
分享到:

image.png


Cambricon PyTorch 系列课程涵盖基础理论、训练、推理入门,推理入门课后练习答案如下:


《Cambricon PyTorch 的推理入门》

问题1:简单描述 Cambricon      PyTorch Eager/JIT 推理模式的后端设计和运行流程。 

  • 通过torch api或者pt模型,进行load model ,pytorch会通过 parser 解析加载的模型,然后通过pytorch 分发和 catch分发,得到了前向cnnl算子,通过cnnlsetqueue创建cnnl队列,在forward的时候进行cnrtsyncqueue对驱动进行计算任务下发,最后返回结果;

  • 通过torch api或者pt模型,进行load model,pytorch会通过 parser 解析加载的模型,得到torch 计算图表示,然后通过jittrace进入图优化和图融合,其中resblock中的conv bn relu 层会融合成cbr组合层,我们将该融合图称为 magicmind sub graph,接着该subgraph会经过MagicMind parser、MagicMind builder得到序列化的magicmind model,最后绑定magicmind engine和context,启动magicmind sync 将该model对驱动进行计算任务下发,返回计算结果


问题2:复现课程中运用的两个推理示例,并通过实践去分析两种推理模式的差异。

Eager 推理实践代码(答案).docx

Jit 推理实践代码(答案).docx


版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭