作者：Christopher Dossman

编译：ronghuaiyang

简单和复杂的技巧，帮助你提升深度学习的模型准确率

我从新入行和有经验的机器学习工程师中那里得到的最多的问题就是”我如何得到更高的准确率？“

既然机器学习在商业领域最有价值的地方就是在于它的预测能力，那么从现有的系统中压榨更高的准确率是一个简单的获取更多价值的方法。

这个指南会分4个不同的部分，每个部分介绍一些不同的策略。

数据优化
算法调试
超参数优化
集成，集成，集成

不是所有的这些都能提高性能，你会发现，当你对同样的问题使用更多的这些方法的时候，会有一个性能的极限。尝试了这些之后仍然没什么进展？那么你需要重新思考一下你的具体的使用场景的核心解决方案。这篇文章只是一个速查表，我会给你每个部分的具体的信息的链接。

数据优化

均衡你的数据集

如果你的问题是分类的话，一个最简单的方法来提升模型的能力就是将你的数据集变的均衡。通常情况下，现实世界中的数据集是不均衡的，如果你需要你的深度学习系统学到的是如何基于特征来分辨不同的类别，而不是基于分布来分辨不同的类别的话，你需要将你的数据集变的均衡。

常用的方法包括：

将采用多数的类：你可以通过对多数类进行降采样来平衡数据集的分布。
过采样少数的类：重复采样可以用来增加你的少数类的比例。

关于这个问题，这里有个很好的文章：http://amsantac.co/blog/en/2016/09/20/balanced-image-classification-r.html

更多数据

我们应该很熟悉这个图。这个图显示了数据量和深度学习以及传统机器学习在能力上的关系。如果你想你的模型具有更好的能力，你需要更多的数据。这取决于你的预算，你可以构造更多的具有标签的数据，或者收集更多的没有标注的数据，然后训练你的特征提取子模型。

开源的标注软件

图像：https://github.com/Labelbox/Labelbox
音频：http://www.fon.hum.uva.nl/praat/
视频：http://www.anvil-software.org/

生成更多的数据

一个往往被忽视的提高准确率的方法是从你已有的数据中生成新的数据。以照片为例，工程师们常常会对照片进行旋转，平移等操作。这些操作同样也减少了过拟合的风险。

关于造更多的数据的问题：https://medium.com/nanonets/how-to-use-deep-learning-when-you-have-limited-data-part-2-data-augmentation-c26971dc8ced

算法调试

使用论文的原始的代码

你正在做的工作是不是有许多人正在研究呢？你很走运，因为上百个工程师可能已经考虑过如何来得到这个问题的最佳准确率了。读一读相关主题的论文，注意一下他们所使用的不同的方法和得到的结果。他们甚至有github的代码给你总到嘴边。

Google Scholar是一个很好的搜索引擎，他们有很多的工具来帮助你找到相关的研究。

算法抽查

不要太自以为是，不可能知道哪一个机器学习的算法在你的问题上是最佳的。每次我遇到新的问题，而且没有经过长时间的研究的话，我会看看目前能用的方法，一个一个的试，深度学习和传统机器学习的方法都会试。

做完实验后，对所有的结果排个序，得到最佳的那个算法。

数据驱动的机器学习算法选择：https://machinelearningmastery.com/a-data-driven-approach-to-machine-learning/

超参数的优化

学习率

Adam优化器算法久经考验。在深度学习上常常能得到很好的结果。即使是这样好的性能，也不免让你陷入到局部最下的问题中。那么有一个算法既能有Adam的优点，又能避免陷入局部最小，这个方法是热重启SGD：https://medium.com/38th-street-studios/exploring-stochastic-gradient-descent-with-restarts-sgdr-fa206c38a74e。

关于学习率的文章：https://towardsdatascience.com/estimating-optimal-learning-rate-for-a-deep-neural-network-ce32f2556ce0