环信大数据总监黄智：环信成功社交大数据分析云服务解析

摘要：“互联网+”时代的传统产业与互联网，已从昔日的“+互联网”完成了“互联网+”的转变，而助力“+”地位转换的力量，则来自于大数据，来自于信息化的量变向数据化的质变。

“互联网+”时代的传统产业与互联网，已从昔日的“+互联网”完成了“互联网+”的转变，而助力“+”地位转换的力量，则来自于大数据，来自于信息化的量变向数据化的质变。乘着互联网+国家战略的东风，各种大数据公司近期纷纷获得融资，环信社交大数据分析云服务1.0版也将于近期启动，今天环信大数据总监、首席科学家黄智将给大家来深度解析环信成功社交大数据分析云服务。

环信大数据总监/首席科学家黄智

环信成功社交大数据分析云服务首先是为使用环信即时通讯云服务的app开发者提供的高端数据分析类型的云服务。这个服务有如下的几个特点：

提供基于云计算的社交大数据分析工具;

这里我们首先要说明，分析工具本身是中性的。也就是说，没有用户的许可，工具不会直接或者间接的接触任何用户数据。用户可以安全独立的使用工具分析自己的数据。

支持过亿数据分析，趋势挖掘;

环信目前的数据量不仅要求分析系统在量的方面满足要求，同时要对数据体现出来的某些趋势可以进行深度挖掘分析。也就是说分析服务能同时满足环信用户在性能和功能两个方面提出的要求

完美的水平扩展性能;

性能方面的要求体现在该系统需要拥有完美的水平扩展性能。

实时数据分析快速准确;

分析系统有实时流处理能力，对速度响应方面的要求到了秒级。

多租户系统;

几万个apps来自不同行业，每个用户都有其个性化需求，系统能同时满足他们各自不同的分析需求

全自动的决策支持系统;

在分析的基础之上，用户可以定义系统自动采取的决策行为，比如发起一个警告，触发业务系统的其他响应等等。

提供多种可定制的机器学习算法，方便用户建立模型进行预测预警;

高级分析可以订制不同的机器学习算法，利用已经计算的分析指标和其他相关数据，建立智能化社交分析模型，进行预测预警。

环信的高端社交大数据分析云服务，建立在环信即时通讯云服务(环信IM系统)的基础之上。环信的IM系统，从社交大数据分析的角度来讲，既是有关人类社交行为的数字化系统，也是社交大数据分析系统的数据来源。从业务上来讲，社交大数据分析系统可以分成三个组成部分–大数据分析引擎，成功社交模型分析引擎和决策支持系统。这四个部分的关系如图1所示。

大数据分析引擎主要负责的是关于数据的认识和发现。其主要功能包括数据获取，过滤以及分析处理。数据获取需要获取两种类型的数据，批量数据和实时的流数据。数据拿到之后将经历一个数据清洗过程传送给成功社交模型分析引擎。成功社交模型分析引擎是业务逻辑的基础部分，它需要调入成功社交模型，对清洗后的数据进行分析处理，计算指标或者运行各类定义好的机器学习算法。

图1：环信的高端社交大数据分析系统

成功社交模型有两类，基本的社交行为分析模型和高级的机器学习分析模型

大数据分析引擎通过定义好的分析模型进行分析处理，处理结果转换成社交指标，不同的社交指标的组合形成环信的成功社交模型。环信的成功社交模型是社交领域耕耘很多年的的专家们总结出来的非常有效的社交模型，可以帮助我们的用户提升客户社交的质量和客户粘性，并带来新的客户。

决策支持通过用户交互界面体现出来。环信用户可以通过交互界面看到指标显示的各类曲线，进行各种后台配置，并提供必要的决策支持。用户可以通过系统自定义决策逻辑，使得整个数据采集，分析处理和决策支持可以完全的自动化进行。

社交行为分析模型

社交行为分析模型的主要目标是通过指标组合清晰描述用户关系，划分用户圈子，辨别用户质量从而能够深度挖掘App问题，并提供解决方案帮助我们的客户成长。

我们基本社交模型涉及到300个以上的社交统计分析指标。不同类型的App在不同的发展阶段可以对应不同的数据分析模型。社交行为分析模型为智能化深度挖掘分析打下了良好的基础;

为了更好的理解社交行为分析模型，我们先得分析涉及到IM社交的几个业务数据实体以及实体的状态行为等参数。

如图2所示，针对一个app，我们对应的分析实体主要有两个：群组和用户。消息是我们分析的数据来源。利用消息，我们可以直接计算一些重要的针对app的指标，比如日活跃指标DAU和月活跃指标MAU。

图2:社交实体关系及其状态

群组和用户都有他们的活动状态。比如群组，可以有活跃，新增，休眠和解散四个状态，而用户可以有活跃，新增，存留，潜水，退出五个状态。不同的实体，不同的状态，我们可以构造不同指标。也就是说，根据用户当前境况(如用户量，新增流量类型，平台化等)，我们可以帮助用户选择基础指标，并在适当的时候指导用户加入更高级指标，引导用户成长。

以下我们以新增流量分析为例来具体的说明我们可以如何帮助用户选择指标，建立成功社交模型。

社交模型–新增流量分析模型

针对需要进行新增流量分析的app，我们首先构造与新增流量有关的各类分析指标。

如图3所示，首先我们把指标定义为三种类型-基础，高级和挖掘级。

针对新增用户收发消息，我们可以构造与消息量统计相关的三类指标

同样针对新增用户，我们可以构造与用户量统计相关的三类指标。

图3：新增流量分析指标

我们选择与新增流量相关的各类指标构造这个模型，通过这个模型输出的结果，我们可以深度分析其新增用户的行为模式，以理解新增用户相互之间以及新增用户与老用户之间的关系，划分新增用户圈子，辨别新增用户质量。通过这些指标反映出来的信息，我们可以帮助用户深度挖掘App在处理新增用户方面的问题，最终找出解决方案，帮助这种类型的用户有效选择和利用新增流量，从而引导用户成长。

图4：新增流量分析模型

基础指标模型是白箱模型，其中的每个指标的定义和作用都能解释清楚。挖掘级的指标稍显复杂，下表是对几个挖掘级指标的举例说明。

表1：新增用户挖掘级指标举例说明

指标计算出来以后，用户可以通过系统用户界面指定线图，饼图，折线图等标准分析图形组件来显示指标内容。图5是交互质量和交互回合的指标显示图举例。

图5：交互质量和交互回合的指标显示图

规则引擎

除了显示之外，用户还可以利用指标值和原始数据构造规则。这些规则将由规则执行引擎按照指定的时间属性执行。规则满足则触发警报。用户可以把警报与业务系统集成使得整个系统从数据采集到分析，决策支持可以完全自动化运行。

图6：规则构造

如图6所示，规则”新增用户活跃度不足“将在满足如下条件之一的情况下触发:

新增用户产生IM行为人数/新增用户数<5%

新增用户发出的消息占总消息数比例<5%

新增用户发出消息周平均值<5000

本日新增用户产生IM行为人数<昨日新增用户产生IM行为人数/2

所有这些规则都可以自定义。每条规则还有一个时间属性。时间属性定义了规则按什么频度执行。

结束语：本文简单介绍了环信社交大数据分析系统1.0版的主要功能组件并对如何构造成功社交模型做了一个举例说明。之后，我们会陆续的出一些文章来介绍环信提供的这个高端大数据分析云服务以及它背后所依赖的技术。环信社交大数据分析云服务1.0版将于近期启动，请环信粉丝用户和相关的app开发者持续保持关注。

环信大数据总监、首席科学家黄智简介：

2000年——2010年：作为主创工程师，在全球性金融安全企业Norkom公司成功主持设计研发公司核心产品-金融安全领域的大数据处理系统。此产品异常成功，大客户上百家，遍及世界各地，都是大型金融机构，其中包括WestUnion，Experian，Amex，Fortis，HSBC等。更是成功的帮助了Norkom的股票上市。

2010年——2015年：任职英国BAE系统公司的应用智能部金融安全领域的首席工程师兼金融安全领域专家。作为该公司在金融安全领域大数据处理系统的技术领头人，工作内容主要集中在提高该系统计算机集束环境下实时部署时在垂直(多线程)和水平(多机)两个方向的扩展性，并由此大幅度提升系统整体性能。