数据预处理

发现一个很有趣的开源项目，作者用手绘图的方式讲解了机器学习模型构建的全流程，逻辑清晰、生动形象。

要点 在常见的机器学习/深度学习项目里，数据准备占去整个分析管道的60％到80％。市场上有各种用于数据清洗和特征工程的编程语言、框架和工具。它们之间的功能有重叠，也各有权衡。数据整理是数据预处理的重要扩展。它最适合在可视化分析工具中使用，这能够避免分析流程被打断。可视化分析工具与开源数据科学组件之间，如R、Python、KNIME、RapidMiner互为补…

数据挖掘过程以现在的形式存在是因为技术的发展——机器学习算法的普及以及综合其它技术集成这些算法的平台的发展，使得商业用户易于接受。

数据预处理一方面是为了提高数据的质量，另一方面也是为了适应所做数据分析的软件或者方法。一般来说数据预处理步骤有数据清洗、数据集成、数据变换、数据规约，每个大步骤又有一些小的细分点，当然了，这四个大步骤在做数据预处理时未必都要执行。