作者：HCR首席大数据专家 马亮博士
一、如何实施
在内部大数据应用流程闭环的5个主要步骤中，每一步工作都有着不同的重点：
Step1总体体系设计
总体体系设计，决定了企业内部大数据应用未来可以发挥的价值空间，所以需要高度重视。前期要做踏实，不要急于求成。
主要工作包括：
● 对企业现有数据情况深入摸底，确定客户相关数据在各业务系统中的情况（分布/数据属性/关联性/数据质量等）
● 通过在各业务部门调研和访谈方式，以及用户研究的发展趋势，确定企业各部门未来的应用总体需求目标，并抽象为相关对客户属性/标签的需求。
● 在前两步工作的基础上，通过用户研究人员与大数据架构/分析人员的合作，完成相关的总体设计。
输出结果至少包括：
● 新数据体系的设计与重构方案，定义以客户为中心的新数据模型的抽象/关联性/属性来源/生成机制等，包括对现有数据的整合机制，以及对当前（基于标签体系要求）缺失数据属性的采集和融合机制。
● 客户标签应用体系的框架性实现方案，包括对客户标签体系的框架与分类体系、重要标签设计与分析思路，以及未来的应用模式等
Step2数据整合集中
基于新数据体系的设计要求，建立一个统一的内部大数据平台，将相关的数据整合于其中并进行有效管理。
主要的工作包括：
●搭建统一大数据平台的软硬件/网络的基础架构（包括应用与数据库系统）
●对于现有数据，基于新数据体系的设计，设计数据物理模型和对接方案，并通过技术手段（ETL/编程）对接各内部业务系统，将各业务系统的相关数据统一整合到大数据平台
●对于缺失数据和外部来源的大数据，建立一套相应的机制，保证后续持续有效的整合此类数据。
输出结果包括：
●一个统一的大数据平台，能够持续整合和管理来自企业内外部的用户相关的所有数据资源。
●一套技术与业务实施机制，确保数据整合和采集的可持续性和有效性。
在现有数据整合时，企业由于内部业务信息系统众多，且往往对应不同的IT开发商，为保证整合多业务系统数据的准确性和效率，本步骤的实施者，建议优先选择企业内部现有业务信息系统的核心IT开发商，或由企业的信息中心完成，注意：实施过程中需要有大数据架构与数据专家提供咨询和指导。
Step3用户标签化分析
本阶段工作对数据未来价值的影响最大。在实际的实施中不是一蹴而就的，是个长期递进的过程，需要根据业务变化和应用需要，不断优化和扩展用户标签体系。相关工作主要由熟悉行业的用户研究人员和数据挖掘/算法工程师根据企业业务的需要配合完成。
● 用户研究人员：基于全局的客户标签体系，对数据体现的用户行为进行深入研究和分析，并针对业务的需求，定义高应用价值的标签，并发现相关分析规则
● 数据挖掘/算法工程师：综合运用大数据技术（数据挖掘/机器学习等）方法，配合研究员进行挖掘，并完成标签分析的算法编程，使得大量标签的分析处理能以自动化方式来实现。
输出结果包括：
● 所有客户的标签化分析和描述结果。
● 特定客户群体/业务需求相关的深入分析报告。
Step4业务实际应用
由企业各部门人员完成，业务人员对step3中产生的客户标签分析结果，结合实际业务需求提取和分析所需要的内容，并在后续的业务活动（如针对所选择客户的广告宣传、营销..）和决策分析中进行应用。
为了便于实际使用，对Step 3 中的分析结果建立统一的应用分析平台，支持业务人员灵活筛选/分析所有客户的标签化属性，并能够提供更深入的研究报告和最新的可视化分析工具，以支持企业更多更深层次的数据应用。
对于业务人员，如果缺乏使用分析结果的思路和想法，可通过培训和案例拓展其思路。同时在使用之后，需要根据业务情况与数据研究人员交流和不断反馈，协助提升标签分析模型的精度。
Step5应用结果的反馈
在各部门使用数据开展业务后，需尽可能收集所接触客户的反馈结果。反馈结果的采集内容要参照全局数据体系的定义，通过便捷的电子化形式（如二维码问卷）完成和提交。这种反馈的闭环机制，可有效避免长期以来对客户实际感知的断裂，能有效提升用户标签化画像的准确度与后续应用价值。我们的一家外资药品企业客户，已经开始进行相关尝试，收到了良好的效果。
二、要注意的问题和解决方法
企业内部大数据整合挖掘与应用，当前已经受到许多行业内的领头企业的关注，并开始尝试。但由于缺乏体系化的思路和经验，遇到不少困难。企业在进行计划相关实施时，首先要注意如下问题：
1、建设思路与实施者的选择
从前面的阐述可以发现，内部大数据整合与应用挖掘，本质是用户深入研究与相关应用。不仅数据组织和标签体系，甚至IT相关的数据平台整合与建设，也遵循用户研究的思路来完成。用户研究/大数据挖掘技术（如数据挖掘/算法）人员是实施的核心团队。
遗憾的是，在我们接触的一些企业中，建设思路仍有很大偏差。有的仍然遵循IT系统建设的思路，认为应由IT企业来完成此事。实际上，IT企业并不具备实施中最重要的用户研究/数据挖掘等专业能力（其更适合step2/4所需的相关IT平台的开发）。而有的企业则认为这是CRM业务的延伸，适合CRM服务商完成。这也是不对的，CRM数据 /业务只是企业用户大数据/应用中的子集，CRM人员是用户研究结果的应用者而不是建立者。
以上错误认识直接影响了诸多企业内部大数据挖掘与相关应用的有效推进。某主流手机制造厂商，就是重技术平台，不重深入研究，觉得采集整合了大量数据后应用价值就水到渠成了。而某合资车企则是意向将该项目由国际著名IT服务咨询企业来完成（事实上我们并不认为该咨询企业能够深入了解汽车行业的产业规律与用户特点）。某省移动运营商，在针对集团客户进行大数据整合与营销支撑服务时，由某上市IT企业进行实施。虽然该企业的IT研发能力很强，但由于因循传统业务流程管理的思路，一线客户经理无法从系统中获得对所服务集团客户的深入认识，也难以进行针对性的业务推广。
因此，企业内部大数据应用的实施，选择一个能力全面的实施者很重要。该实施者既要熟悉企业业务特性、具有专业的用户研究能力外，也要具有大数据相关的技术（平台架构设计/数据挖掘/大数据算法分析）能力，两者缺一不可。
2、整合数据时会遇到较大困难
企业在实施step2（数据整合集中）时大都遇到相同的问题：进度延误和数据集中未达设计目标，大大影响了后续的数据应用。
其原因主要如下：
● 数据涉及的内部业务系统众多，而且开发商往往不同，加上各系统通常又被不同业务部门管理。 因此，从各部门各业务系统整合数据，要牵扯多方(管理方、开发方)的部门权限、利益和精力。相关的协调/推进通常比较低效。
●实施整合的IT企业，虽然熟悉内部数据细节，但大都是开发能力强，对大数据整合数据的主要工作（对接、同步和数据清洗等）缺乏经验 和最优的方法
以上原因，再加上全局目标不明确，导致整合集中成为企业数据价值应用环节上最大的障碍。以某省运营商为例，其内部用户大数据整合工作，断断续续已经进行了近两年，仍未完成预期目标。
而要想避免此事，需要做到以下两点：
●高层要重视，且要有强有力的内部实施控制。公司层面的重视对打破各业务系统的数据壁垒有很大帮助，而专业的总控团队对进度和效果影响较大。 以某大型企业客户为例，整合数据时涉及6个部门9大系统，难度相当大。公司由副总担任专项组长，信息中心组建专门团队负责实际协调和考核，最终按计划完成了相关工作，走在了同行的前列。
●由大数据处理与整合方面的技术专家，通过咨询/培训等手段，帮助IT实施企业提升在数据整合技术方面的能力。
3、内部业务数据的完善任重而道远
数据属性缺失和数据质量问题，是企业内部业务数据最常见的问题，也很大影响了未来的应用价值。同时，在大数据环境下，客户数据的粒度/深度的不足也逐渐明显。如对某上市药企进行相关数据摸底时，发现客户相关的数据只到渠道级别，没有到达最终用户，导致大量最有价值的内容缺失。造成这些问题的核心原因是之前缺乏全局、体系性的数据框架和实施机制，业务各环节中采集数据的目标、方法和主动性都有不足，而这相关改变非一朝一夕可以完成。
对此，企业要注意：
●客户识别/接触体系不完善的，需尽快建立公司统一的客户体系（如会员系统）。
●要有明确的全局数据体系作为指导，相应建立采集和整合的制度化机制，使得各环节的业务人员对相关工作从自发变为自觉。
●要把外部大数据/应用反馈数据也纳入到数据体系中，统一规划构建相关的收集机制和融合方法。
●在此过程中不要摊子过大，结合情况分步骤实施，优先考虑最重要/最容易采集的数据资源。
三、HCR助力企业内部大数据应用
企业内部大数据研究应用要求实施者在行业/应用研究与大数据应用技术上具有全面而深入的综合能力。当前国内无论是研究行业还是IT行业，符合相关要求的实施企业凤毛麟角。
而HCR作为领先的大小数据结合的数据研究公司，则完全具备相关能力：
● 10多个行业的资深研究人员，长期面向企业研究，具有丰富的行业/用户研究经验。以BDU，QGroup为代表的研究团队，在帮助企业进行内外大数据研究方面经验丰富。
● HCR大数据平台部具有行业最强的大数据技术能力。数据架构组可帮助企业进行业务数据摸底，设计/规划适合企业特点的大数据体系与平台，并具有实际的技术实施能力。而挖掘算法组，在大数据环境下的挖掘算法/机器学习/非结构化文本分析方面实力强大，在配合研究人员进行用户标签化分析方面已经取得了丰富成果。
正是由于研究与技术的综合优势，HCR当前在帮助多个客户企业实现内部业务大数据的价值挖掘，使得客户能够通过大数据应用，为企业经营带来新的提升。
本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流，内容版权归原作者所有，如涉作品、版权和其他问题请给「我们」留言处理。
