数据挖掘系列篇：总结职业

今天下半年计划把数据分析、数据挖掘、机器学习这些东西都撸一把，很可能以后就没有时间再来撸了。希望各位也能互相监督，看看今年过年之前能不能把之前的一系列的都整理一遍。还有个消息就是计划11月底会把《数据分析侠A的成长故事》截稿了，出版社已经联系了，而且提了很多宝贵的建议，这些我都接受了，到时候再扩充些内容，也欢迎大家多提提建议，不怕意见多。：D

好了，废话不多说，11月份、12月份重点会把数据挖掘和数据分析搞两个系列，重点介绍他们分别是什么，在职场是什么情况，需要掌握哪些知识点，常见的有哪些坑，以及在各行各业都有哪些案例应用。也有不少人提议，还不如写写《25岁如何做到年薪百万》，哈哈，这个话题以后会写的，不过人生也不只是赚钱，不然会很枯燥。
很多人不明白学习数据挖掘以后干什么，这个问题也经常被问到。记得刚学数据挖掘的时候，有一个老师说学数据挖掘有什么用，你以后咋找工作。当时听了，觉得很诧异，不知道他为何有此一问。数据挖掘在国外是一份很不错的工作。我喜欢数据挖掘，因为它很有趣。很高兴以后就从事这方面的工作啦。写论文之余，也考虑一下数据挖掘工程师的职业规划。以下是从网上找的一些相关资料介绍,和即将走上数据挖掘岗位或是想想这方面发展的朋友共享：
数据挖掘从业人员工作分析

1.数据挖掘从业人员的愿景：

数据挖掘就业的途径从我看来有以下几种，(注意：本文所说的数据挖掘不包括数据仓库或数据库管理员的角色)。

A：做科研(在高校、科研单位以及大型企业，主要研究算法、应用等)

B：算法工程师(在企业做数据挖掘及其相关程序算法的实现等)

C：数据分析师(在存在海量数据的企事业单位做咨询、分析等)

2.数据挖掘从业人员切入点：

根据上面的从业方向来说说需要掌握的技能。

A：做科研：这里的科研相对来说比较概括，属于技术型的相对高级级别，需要对开发、数据分析的必备基础知识。

B：算法工程师：主要是实现数据挖掘现有的算法和研发新的算法以及根据实际需要结合核心算法做一些程序开发实现工作。要想扮演好这个角色，你不但需要熟悉至少一门编程语言如(C,C++,Java,Delphi等)和数据库原理和操作，对数据挖掘基础课程有所了解，读过《数据挖掘概念与技术》(韩家炜著)、《人工智能及其应用》。有一点了解以后，如果对程序比较熟悉的话并且时间允许，可以寻找一些开源的数据挖掘软件研究分析，也可以参考如《数据挖掘：实用机器学习技术及Java实现》等一些教程。

C：数据分析师：需要有深厚的数理统计基础，可以不知道人工智能和计算机编程等相关技术，但是需要熟练使用主流的数据挖掘(或统计分析)工具。从这个方面切入数据挖掘领域的话你需要学习《数理统计》、《概率论》、《统计学习基础：数据挖掘、推理与预测》、《金融数据挖掘》,《业务建模与数据挖掘》、《数据挖掘实践 》等，当然也少不了你使用的工具的对应说明书了，如SPSS、SAS等厂商的《SAS数据挖掘与分析》、《数据挖掘Clementine应用实务》、《EXCEL 2007数据挖掘完全手册》等，如果多看一些如《数据挖掘原理》 等书籍那就更好了。
数据挖掘人员需具备以下基本条件，才可以完成数据挖掘项目中的相关任务。

一、专业技能

本科或硕士以上学历，数据挖掘、统计学、数据库相关专业，熟练掌握关系数据库技术，具有数据库系统开发经验；

熟练掌握常用的数据挖掘算法；

具备数理统计理论基础，并熟悉常用的统计工具软件。

二、行业知识

具有相关的行业知识，或者能够很快熟悉相关的行业知识
三、合作精神

具有良好的团队合作精神，能够主动和项目中其他成员紧密合作

四、客户关系能力

具有良好的客户沟通能力，能够明确阐述数据挖掘项目的重点和难点，善于调整客户对数据挖掘的误解和过高期望；

具有良好的知识转移能力，能够尽快地让模型维护人员了解并掌握数据挖掘方法论及建模实施能力。

进阶能力要求

数据挖掘人员具备如下条件，可以提高数据挖掘项目的实施效率，缩短项目周期。

具有数据仓库项目实施经验，熟悉数据仓库技术及方法论

熟练掌握SQL语言，包括复杂查询、性能调优
熟练掌握ETL开发工具和技术

熟练掌握Microsoft Office软件，包括Excel和PowerPoint中的各种统计图形技术

善于将挖掘结果和客户的业务管理相结合，根据数据挖掘的成果向客户提供有价值的可行性操作方案

五、应用及就业领域
当前数据挖掘应用主要集中在电信(客户分析)，零售(销售预测)，农业(行业数据预测)，网络日志(网页定制)，银行(客户欺诈),电力(客户呼叫)，生物(基因)，天体(星体分类)，化工，医药等方面。当前它能解决的问题典型在于：数据库营销(Database Marketing)、客户群体划分(Customer Segmentation &Classification)、背景分析(Profile Analysis)、交叉销售(Cross-selling)等市场分析行为，以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等，在许多领域得到了成功的应用。如果你访问著名的亚马逊网上书店会发现当你选中一本书后，会出现相关的推荐数目“Customers who bought this book alsobought”，这背后就是数据挖掘技术在发挥作用。

数据挖掘的对象是某一专业领域中积累的数据；挖掘过程是一个人机交互、多次反复的过程;挖掘的结果要应用于该专业。因此数据挖掘的整个过程都离不开应用领域的专业知识。“Business First, techniquesecond”是数据挖掘的特点。因此学习数据挖掘不意味着丢弃原有专业知识和经验。相反，有其它行业背景是从事数据挖掘的一大优势。如有销售，财务，机械，制造，call center等工作经验的,通过学习数据挖掘，可以提升个人职业层次，在不改变原专业的情况下，从原来的事务型角色向分析型角色转变。从80年代末的初露头角到90年代末的广泛应用，以数据挖掘为核心的商业智能(BI)已经成为IT及其它行业中的一个新宠。
重点介绍下对数据挖掘的几个岗位：

数据采集分析专员
职位介绍：数据采集分析专员的主要职责是把公司运营的数据收集起来，再从中挖掘出规律性的信息来指导公司的战略方向。这个职位常被忽略，但相当重要。由于数据库技术最先出现于计算机领域，同时计算机数据库具有海量存储、查找迅速、分析半自动化等特点，数据采集分析专员最先出现于计算机行业，后来随着计算机应用的普及扩展到了各个行业。该职位一般提供给懂数据库应用和具有一定统计分析能力的人。有计算机特长的统计专业人员，或学过数据挖掘的计算机专业人员都可以胜任此工作，不过最好能够对所在行业的市场情况具有一定的了解。

求职建议：由于很多公司追求短期利益而不注重长期战略的现状，目前国内很多企业对此职位的重视程度不够。但大型公司、外企对此职位的重视程度较高，随着时间的推移该职位会有升温的趋势。另外，数据采集分析专员很容易获得行业经验，他们在分析过程中能够很轻易地把握该行业的市场情况、客户习惯、渠道分布等关键情况，因此如果想在某行创业，从数据采集分析专员干起是一个不错的选择。
市场/数据分析师
1. 市场数据分析是现代市场营销科学必不可少的关键环节: Marketing/Data Analyst从业最多的行业: Direct Marketing (直接面向客户的市场营销) 吧，自90年代以来,Direct Marketing越来越成为公司推销其产品的主要手段。根据加拿大市场营销组织(Canadian MarketingAssociation)的统计数据: 仅1999年一年 Direct Marketing就创造了470000 个工作机会。从1999至2000，工作职位又增加了30000个。为什么Direct Marketing需要这么多Analyst呢 举个例子, 随着商业竞争日益加剧，公司希望能最大限度的从广告中得到销售回报, 他们希望能有更多的用户来响应他们的广告。所以他们就必需要在投放广告之前做大量的市场分析工作。例如，根据自己的产品结合目标市场顾客的家庭收入，教育背景和消费趋向分析出哪些地区的住户或居民最有可能响应公司的销售广告，购买自己的产品或成为客户，从而广告只针对这些特定的客户群。这样有的放矢的筛选广告的投放市场既节省开销又提高了销售回报率。但是所有的这些分析都是基于数据库，通过数据处理，挖掘，建模得出的，其间，市场分析师的工作是必不可少的。

2. 行业适应性强: 几乎所有的行业都会应用到数据, 所以作为一名数据/市场分析师不仅仅可以在华人传统的IT行业就业，也可以在政府，银行，零售，医药业，制造业和交通传输等领域服务。
算法工程师

应该来说目前算法工程师基本上都集中在中大型企业中，因为一般小公司很少用到算法来解决问题，如果这公司就是做数据相关产业的。而算法一般的应用场景有推荐、广告、搜索等，所以大家常见的在广告领域、个性化推荐方面是有不少的同仁。常见的要求是懂JAVA/PYTHON/R中其中一种，能够知道常规的回归、随机森林、决策树、GBDT等算法，能够有行业背景最佳等。如果是deep learning方向可能对图论、画像识别等方面要求更高些。

求职建议：background稍微好一些，再把一些基本的算法都弄明白，能说清楚之间的区别和优缺点，包括常见的一些应用场景都有哪些。对于公司来说，特别是BAT这样使用机器学习的公司，算法工程师是很重要的一块资产。
现状与前景

数据挖掘是适应信息社会从海量的数据库中提取信息的需要而产生的新学科。它是统计学、机器学习、数据库、模式识别、人工智能等学科的交叉。在中国各重点院校中都已经开了数据挖掘的课程或研究课题。比较著名的有中科院计算所、复旦大学、清华大学等。另外，政府机构和大型企业也开始重视这个领域。
据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25%的企业的投资回报率超过600%。调查结果还显示，一个企业要想在复杂的环境中获得成功，高层管理者必须能够控制极其复杂的商业结构，若没有详实的事实和数据支持，是很难办到的。因此，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使更多的管理者得到更多的商务智能。

根据IDC(International DataCorporation)预测说2004年估计BI行业市场在140亿美元。现在，随着我国加入WTO，我国在许多领域，如金融、保险等领域将逐步对外开放，这就意味着许多企业将面临来自国际大型跨国公司的巨大竞争压力。国外发达国家各种企业采用商务智能的水平已经远远超过了我国。美国Palo Alto 管理集团公司1999年对欧洲、北美和日本375家大中型企业的商务智能技术的采用情况进行了调查。结果显示，在金融领域，商务智能技术的应用水平已经达到或接近70%，在营销领域也达到50%，并且在未来的3年中，各个应用领域对该技术的采纳水平都将提高约50%。

现在，许多企业都把数据看成宝贵的财富，纷纷利用商务智能发现其中隐藏的信息，借此获得巨额的回报。国内暂时还没有官方关于数据挖掘行业本身的市场统计分析报告，但是国内数据挖掘在各个行业都有一定的研究。据国外专家预测，在今后的5—10年内，随着数据量的日益积累以及计算机的广泛应用，数据挖掘将在中国形成一个产业。
众所周知，IT就业市场竞争已经相当激烈，而数据处理的核心技术—数据挖掘更是得到了前所未有的重视。数据挖掘和商业智能技术位于整个企业IT-业务构架的金字塔塔尖，目前国内数据挖掘专业的人才培养体系尚不健全，人才市场上精通数据挖掘技术、商业智能的供应量极小，而另一方面企业、政府机构和和科研单位对此类人才的潜在需求量极大，供需缺口极大。如果能将数据挖掘技术与个人已有专业知识相结合，您必将开辟职业生涯的新天地!
职业薪酬
就目前来看，和大多IT业的职位一样，数据挖掘方面的人才在国内的需求工作也是低端饱和，高端紧缺。从BAT的招聘情况来看，数据挖掘领域相对来说门槛还是比较高的，但是薪酬福利也相对来说比较好，常见的比如腾讯、阿里都会给到年薪20W+。而厉害的资深算法专家年薪百万也是常有的事情，所以大家在算法方面还是大有可能。另外随着金融越来越互联网化，大量的算法工程师会成为以后互联网金融公司紧缺的人才。
大家共勉！