Cambricon TensorFlow 中级课程已更新，以下为简介及课后练习答案：

一、《基于 Cambricon TensorFlow2 的horovod分布式训练》

简介：理解分布式训练基本理论与 Horovod 框架的工作机理，掌握使用 Cambricon TensorFlow2 对常见网络进行分布式训练的能力

链接：TensorFlow 系列 – 寒武纪开发者社区 (cambricon.com)

课后习题

Q1、CambriconTensorFlow2 使用什么通信库进行梯度 Allreduce？

Q2、为了让 CambriconTensorFlow2 可使用 Horovod进行分布式训练，CambriconHorovod
对原生 Horovod做了哪些修改？

Q3、使用 CambriconTensorFlow2 进行分布式训练时，相比于单机单卡训练，需要做哪些流程修改？

答案

A1、CNCL

A2、适配了Cambricon TensorFlow2和CNCL。具体是：

(1)向Cambricon TensorFlow注册了HorovodAllreduceOp；

(2)新增了TFReadyEvent类与TFOpContext类

(3)新增了MLUAllreduce类和CNCLAllreduce类

(4)新增了MLUContext类，MLUOpContext类，CNCLContext类，CNCLOpContext类

A3、horovod初始化，绑定计算设备到rank，封装梯度Tape，同步各节点初始参数

二、《基于 Cambricon TensorFlow2 的混合精度训练》

简介：帮助开发者们理解 Cambricon TensorFlow2 的混合精度训练机制，掌握使用 Cambricon TensorFlow2 对常见网络进行混合精度训练的能力

链接：TensorFlow 系列 – 寒武纪开发者社区 (cambricon.com)

课后习题

Q1、使用 CambriconTensorFlow2 进行混合精度训练时，相比于使用 FP32 精度训练，需要做哪些修改？

Q2、CambriconTensorFlow2 支持哪些算子的 FP16 精度计算？试举例说明3个。

Q3、从使用层面看，CambriconTensorFlow2 与 TensorFlow2 在进行混合精度训练时，是否有不同之处，如果有，请指出具体差异。

答案

A1、需要使用LossScale优化器封装原始优化器。

A2、MatMul, Conv2D, Add。

A3、无差异。