2019目前为止深度学习的最佳研究，有论文有代码！

我们即将完成2019年第一季度的工作，而深度学习技术的研究正以非常快的速度向前推进。我经常会查看一下人工智能研究人员的工作，以便了解这项技术的发展方向。这样使我能够更好地优化我的时间，以确保我知道我所不知道的。

在本文中，我将帮助你节省一些时间，方法是将2019年迄今为止发表的研究成果整理成以下可管理的短列表。我做了一些过滤，这样就只包括具有相关GitHub repo的论文了。

Fast Graph Representation Learning with PyTorch Geometric

论文：https://arxiv.org/abs/1903.02428v2

代码：https://github.com/rusty1s/pytorch_geometry

本研究介绍了PyTorch Geometric，这是一个基于PyTorch的用于对不规则结构的输入数据(如图、点云和流形)进行深度学习的库。除了一般的图形数据结构和处理方法外，它还包含了关系学习和三维数据处理领域中最近发表的各种方法。PyTorch几何通过使用稀疏的GPU加速、提供专用的CUDA内核以及为不同大小的输入示例引入高效的小型批处理来实现高数据吞吐量。

Mask Scoring R-CNN

论文：https://arxiv.org/abs/1903.00241v1

代码：https://github.com/zjhuang22/maskscoring_rcnn

在实例分割任务中，大多数实例分割框架都使用实例分类的置信度作为掩码分数。本文研究了这一问题，提出了包含网络块的Mask score R-CNN来学习预测实例掩码的分数。掩码评分策略校准了掩码质量和掩码评分之间的不匹配，并通过在COCO AP评估期间优先考虑更准确的掩码预测来提高实例分割性能。

High-Fidelity Image Generation with Fewer Labels

论文：https://arxiv.org/abs/1903.02271v1

代码：https://github.com/google/compare_gan

深度生成模型正在成为现代机器学习的基石。最近关于条件生成对抗网络(GANs)的研究表明，在自然图像上学习复杂的高维分布是可以实现的。虽然最新的模型能够在高分辨率下生成高保真度、多样化的自然图像，但它们依赖于大量的标记数据。这篇论文展示了一个人如何从最近的研究中受益于自我和半监督学习，从而在无监督的图像集合成和条件设置方面都优于业界最优(SOTA)。

GCNv2: Efficient Correspondence Prediction for Real-Time SLAM

论文：https://arxiv.org/abs/1902.11046v1

代码：https://github.com/jiexiong2016/GCNv2_SLAM

这篇文章提出了一种基于深度学习的关键字和描述符的生成网络GCNv2。GCNv2是在之前的方法GCN的基础上建立起来的，GCN是一个为三维投影几何而训练的网络。GCNv2设计了一个二进制描述符向量作为ORB特征，以便在诸如ORB- slam之类的系统中轻松替换ORB。

ALiPy: Active Learning in Python

论文：https://arxiv.org/abs/1901.03802v1

代码：https://github.com/NUAA-AL/ALiPy

有监督的机器学习方法通常需要大量带标签的例子来进行模型训练。然而，在许多实际应用中，有大量的未标注数据，但标注数据有限，而且获取标注的成本很高。主动学习 (AL)通过迭代地选择最有价值的数据来从标注器中查询它们的标签，从而降低了标注成本。本文介绍了一个用于主动学习的Python toobox ALiPy。

DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images

论文：https://arxiv.org/abs/1901.07973v1

代码：https://github.com/switchablenorms/DeepFashion2

通过带有丰富标注的基准测试如DeepFashion，其标签包括服装类别、特征点和消费-商业图像对，可以提高对时尚图像的理解。然而，DeepFashion有一些不可忽视的问题，比如每张图片只有一件衣服，稀疏的特征点（只有4~8个），没有每个像素的掩模，这与现实场景有很大的差距。本文通过提出DeepFashion2来解决这些问题，从而填补了这一空白。它是一个通用的基准测试，包括四个任务，包括服装检测，姿态估计，分割和检索。

The StarCraft Multi-Agent Challenge

论文：https://arxiv.org/abs/1902.04043v2

代码：https://github.com/oxwhirl/smac

近年来，深度多智能体强化学习(RL)已成为一个非常活跃的研究领域。在这一领域，一个特别具有挑战性的问题类别是部分可观察到的、合作的、多智能体学习，在这种学习中，智能体团队必须学会协调他们的行为，同时只以他们的私人观察为条件。这是一个有吸引力的研究领域，因为这类问题涉及大量的实际系统，而且比一般问题更易于评估。ALE和MuJoCo等标准化环境允许单代理RL超越网格世界等玩具领域。然而，对于协作多代理RL，没有可比的基准。因此，这一领域的大多数论文都使用一次性的玩具问题，很难衡量真正的进展。本文将星际争霸多智能体挑战(SMAC)作为一个基准问题来填补这一空白。

Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

论文：https://arxiv.org/abs/1808.03578v2

代码：https://github.com/noahfl/sdr-densenet-pytorch

多层神经网络在文本、语音和图像处理等多种基准测试任务中取得了显著的成功。在分层模型中，非线性参数估计容易出现过拟合和误差。一种解决这些估计和相关问题(局部极小值、共线性、特征发现等)的方法称为Dropout。Dropout算法根据每次更新前概率为p的伯努利随机变量，删除隐藏的单元，从而对网络产生随机“冲击”，并在每次更新时对其进行平均。这篇论文表明，Dropout是一个更普遍的模型的特例，该模型最初发表于1990年，被称为“Stochastic Delta Rule”，或SDR。

Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling

论文：https://arxiv.org/abs/1902.08295v1

代码：https://github.com/tensorflow/lingvo

Lingvo是一个Tensorflow框架，为协作深度学习研究提供了一个完整的解决方案，特别关注于序列到序列模型。Lingvo模型由灵活且易于扩展的模块化构建块组成，实验配置是集中式的，可高度定制。该框架直接支持分布式训练和量化推理，它包含大量实用程序、辅助函数和最新研究思想的现有实现。在过去的两年里，Lingvo已经被数十名研究人员在20多篇论文中合作使用。本文概述了Lingvo的底层设计，并作为对框架各个部分的介绍，同时还提供了展示框架功能的高级特性的示例。

Adaptive Gradient Methods with Dynamic Bound of Learning Rate

论文：https://openreview.net/forumid=Bkg3g2R9FX

代码：https://github.com/Luolc/AdaBound

自适应优化方法，如AdaGrad， RMSProp和Adam已被提出，对每一个学习率使用单独的缩放来实现一个快速的训练过程。虽然这些方法很流行，但与SGD相比，它们的泛化能力较差，甚至由于不稳定和极端的学习速度而无法收敛。本文论证了极端的学习率会导致较差的表现。Adam和AMSGrad的新变种分别被称为AdaBound和AMSBound，它们利用学习率的动态边界实现了从自适应方法到SGD的渐进平稳过渡，并给出了收敛性的理论证明。对各种流行的任务和模型进行了进一步的实验。实验结果表明，新的变种能够消除自适应方法与SGD之间的泛化差距，同时在训练初期保持较高的学习速度。

作者：ODSC编译：ronghuaiyang

英文原文：https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38