做人工智能必看的45篇论文 | 附下载地址

而AI领域的发展会是IT中最快的。我们所看到的那些黑客技，其后面无不堆积了大量的论文。而且都是最新、最前沿的论文。从某种调度来讲，他们所用的技术跟书籍里的内容确实不是一个时代。要想与时俱进，就必须改变思路——从论文入手。今天给大家介绍45篇让你跟上AI时代的论文。接下来就来介绍一下这些论文及地址。

一    神经网络基础部分

No1  wide_deep模型论文：

关于神经元、全连接网络之类的基础结构，想必每个AI学者都有了解。那么你是否真的了解全连接网络中深层与浅层的关系呢？来看看wide_deep模型吧。这篇论文会使你对全连接有个更深刻的理解。

关于该模型的更多介绍可以参考论文：

https://arxiv.org/pdf/1606.07792.pdf

在wide_deep模型中，wide模型和deep模型具有各自不同的分工。

—wide模型：一种浅层模型。它通过大量的单层网络节点，实现对训练样本的高度拟合性。它的缺点是泛化能力很差。

—deep模型：一种深层模型。它通过多层的非线性变化，使模型具有很好的泛化性。它的缺点是拟合度欠缺。

将二者结合起来——用联合训练方法共享反向传播的损失值来进行训练—可以使两个模型综合优点，得到最好的结果。

No2  wide_deep模型论文：

为什么Adam被广泛使用？光会用可不行，还得把原理看懂。这样出去喷一喷，才会显得更有面子。

Adam的细节请参阅论文《Adam: A Method for Stochastic Optimization》，该论文的链接网址是：

https://arxiv.org/pdf/1412.6980v8.pdf

No3  Targeted Dropout模型论文：

你还再用普通的Dropout吗？我已经开始用Targeted Dropout了。比你的又快，又好。你不知道吧，赶紧学习一下。

Targeted Dropout不再像原有的Dropout那样按照设定的比例随机丢弃部分节点，而是对现有的神经元进行排序，按照神经元的权重重要性来丢弃节点。这种方式比随机丢弃的方式更智能，效果更好。更多理论见以下论文：

https://openreview.net/pdf?id=HkghWScuoQ

二    图像分类部分

No4  Xception模型论文：

在那个图像分类的时代，谷歌的Xception系列，像x战警一样，一个一个的打破记录。其中的技术也逐渐成为AI发展的知识体系。有必要看一下。或许会对自己的工作有所启发。

详细情况请查看原论文《Xception: Deep Learning with Depthwise Separable Convolutions》，该论文网址是：

https://arxiv.org/abs/1610.02357

No5  残差结构论文：

运气好到没朋友，现有模型，后完善理论指的就是残差结构这哥们。他的传奇导致即使到今天的AI技术，也无法将它割舍，就来常微分方程都得拿它比肩。快来学学吧。用处大着呢。好多模型都拿他当先锋。

利用残差结构，可以使得网络达到上百层的深度。详情请参阅原始论文《Deep ResidualLearning for Image Recognition》，该论文网址是：

https://arxiv.org/abs/1512.03385

No6  空洞卷积论文：

NasNet的招牌动作，虽然不是出于NASNet，但是却被人家用得如火纯青。有时不得不惊叹，机器设计出来的模型还真实跟人设计的不一样！

想知道空洞卷积的感受野为什么与层数呈指数级关系吗？

细节请查看原论文《Multi-scale context aggregation by dilated convolutions》，该论文网址是：

https://arxiv.org/abs/1511.07122v3 

No7  DenseNet论文：

这个模型使我想到了“一根筋”，再次证明了只有轴的人才能成大事！令类的模型，神奇的效果，快来体验一下吧。这可是比华佗还牛的神医哦！

有关DenseNet模型的细节，请参考原始论文《Densely Connected Convolutional Networks》，该论文的连接是：

https://arxiv.org/abs/1608.06993

No8  EfficientNet模型论文：

知道目前位置图像分类界谁是老大吗？ 来，看看这个！

EfficientNet模型的论文地址如下：

https://arxiv.org/pdf/1905.11946.pdf

No9  Grad-CAM模型论文：

如果你能把神经元搞得透彻，你也会想到这个点子。不想聊太多！一个字“绝”！这TMD才叫卷积网络的可视化！

详细情况请参阅论文《Grad-CAM:Visual Explanations from Deep Networks via Gradient- d Localization》，该论文的链接网址是：

https://arxiv.org/pdf/1610.02391.pdf

No10  分类模型泛化能力论文：

知道为啥都喜欢使用ResNet模型当先锋吗？运气好就是运气好！好到大家都喜欢用它，还说不出为啥它那么好！反正就是好，不信的话看看这篇论文的实验结果。

论文中，在选取模型的建议中，多次提到了ResNet模型。原因是，ResNet模型在Imgnet数据集上输出的特征向量所表现的泛化能力是最强的。具体可以参考以下论文：

https://arxiv.org/pdf/1805.08974.pdf

三    批量正则化部分

No11  批量正则化论文：

 这个没的说，必修课，不懂的化，会被鄙视成渣渣！

论文《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，该论文网址是：

https://arxiv.org/abs/1502.03167

No12  实例归一化论文：

时代不同了，批量归一化也升级了，赶紧学学新的归一化吧。

在对抗神经网络模型、风格转换这类生成式任务中，常用实例归一化取代批量归一化。因为，生成式任务的本质是——将生成样本的特征分布与目标样本的特征分布进行匹配。生成式任务中的每个样本都有独立的风格，不应该与批次中其他的样本产生太多联系。所以，实例归一化适用于解决这种基于个体的样本分布问题。详细说明见以下链接：

https://arxiv.org/abs/1607.08022

No13  ReNorm算法论文：

ReNorm算法与BatchNorm算法一样，注重对全局数据的归一化，即对输入数据的形状中的N维度、H维度、W维度做归一化处理。不同的是，ReNorm算法在BatchNorm算法上做了一些改进，使得模型在小批次场景中也有良好的效果。具体论文见以下链接：

https://arxiv.org/pdf/1702.03275.pdf

No14  GroupNorm算法论文：

GroupNorm算法是介于 Norm算法和InstanceNorm算法之间的算法。它首先将通道分为许多组（group），再对每一组做归一化处理。

GroupNorm算法与ReNorm算法的作用类似，都是为了解决BatchNorm算法对批次大小的依赖。具体论文见下方链接：

https://arxiv.org/abs/1803.08494

No15  SwitchableNorm算法论文：

我们国人做产品都喜欢这么干！all in  one  ,好吧。既然那么多批量归一化的方法。来，来，来，我们来个all in one吧。不服来辩，我这啥都有！

SwitchableNorm算法是将BN算法、LN算法、IN算法结合起来使用，并为每个算法都赋予权重，让网络自己去学习归一化层应该使用什么方法。具体论文见下方链接：

https://arxiv.org/abs/1806.10779

四    注意力部分

No16  大道至简的注意力论文：

把AI搞成玄学也就算了！居然还扯到道家了！谷歌的工程师真实中外通吃啊！搞出来了一个只用注意力就能做事的模型，连卷积都不要了！你所好玩不好玩！至简不至简！刺激不刺激！

大名鼎鼎的Attention is All You Need 注意力机制论文

注意力机制因2017年谷歌的一篇论文Attention is All You Need而名声大噪。下面就来介绍该技术的具体内容。如果想了解更多，还可以参考原论文，具体地址如下：

https://arxiv.org/abs/1706.03762

 <span style="max-width: 100%; clear: both; min-height: 1em; color: rgb(51, 51, 51); font-family: -apple-system-font,  MacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; font-size: 15px; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: bold; lette