随机森林

最近我读到了一本名叫《人工智能的三次浪潮（Three Waves of AI）》的书，作者是 DARPA 信息创新办公室主管 John Launchbury，他从一个更长远和宽广的视角，将人工智能的历史与未来划分为了三个阶段。

哈佛商业评论称数据科学家是21世纪最性感的工作。所以，对于那些ML刚刚开始的人来说，这篇博客机器学习算法工程师需要知道的十大算法是非常有用的。

决策树，随机森林，bagging，boosting的介绍以及背后的原理。

随机森林在过去几年里得到了蓬勃的发展。它是一种非线性的基于树的模型，往往可以得到准确的结果。但是，随机森林的工作过程大都处于黑箱状态，往往难以解读和完全理解。近日，Pivotal Engineering Journal 网站发表了一篇文章，对随机森林的基础进行了深度解读。该文从随机森林的构造模块决策树谈起，通过生动的图表对随机森林的工作过程进行了介绍，能够帮…

从Logistic回归开始，然后尝试Tree Ensembles和/或Neural Networks。奥卡姆的剃刀原理：使用最简单的算法，可以满足您的需求，并且只有在严格需要的情况下才用更复杂的算法。根据我自己的经验，只有神经网络和梯度增强决策树（GBDT）正在工业中广泛使用。 我目睹Logistic回归和随机森林被弃用不止一次（这意味着它们是好的开始）。 …

拥有高方差使得决策树（secision tress）在处理特定训练数据集时其结果显得相对脆弱。bagging（bootstrap aggregating 的缩写）算法从训练数据的样本中建立复合模型，可以有效降低决策树的方差，但树与树之间有高度关联（并不是理想的树的状态）。 随机森林算法（Random forest algorithm）是对 bagging 算…