×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

【经验分享】使用神经网络进行图像识别的超参数调整 PeterAlbus2022-06-30 13:32:30 回复 5 查看 经验交流
【经验分享】使用神经网络进行图像识别的超参数调整
分享到:

使用神经网络进行图形识别是本系列课程的第一个实验。教程给了模型搭建的详细原理和过程,并要求我们通过DLP平台重新进行实验,并和CPU上进行运行的程序进行效率上的对比。

根据寒武纪提供的实验文档,模型输入维度为784,第一层全连接层输出为32,第二层全连接层输出为16,最后通过softmax层输出10种分类结果。该模型能够拥有约96%的分辨率,但在评分系统中无法满足所有评分条件,只能获得一部分分数。

要提高评测成绩,最简单的方法是对超参数进行调整。32-16的模型保留的数据量实在太少,也不足以榨干dlp甚至cpu的性能,运算速度仍然相当快。我在将模型修改为256-64后(同时适当增加了epoch),逐层减少细节,获得了0.9826准确率的同时运算速度也相当快,即使使用CPU也仅需0.27秒。

QQ图片20220630131221.png

但这样的成绩仍然不足以获得评测系统的认可。在仔细阅读了评分标准后,我发现尽管我的准确率很高,但是DLP推断相较于CPU推断的效率提升却不够明显,因此无法获得满分的成绩。在进行了一定的思考后,我认为DLP由于底层支持张量运算,在运算效率上高于CPU,为了体现出DLP的优势,我决定将给与运算更大的压力,将超参数再次进行了修改,这一次第一层全连接层输出改为了700,第二次改为了100,使得第一层全连接层几乎失去了作用,最后也保留了大量数据给softmax层进行运算。

image.png

最终,我的修改获得了成效,成功满足了评测系统的要求。

image.png

版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭