大数据建模实操案例分析

在大数据的时代，企业和消费者的接触点变得越来越多，企业要实现它的业务需求，首先要从接触点上采集消费者的数据，然后去进行分析和挖掘，以满足不同业务部门的需求，这个是业务层或者说需求层要解决的一些问题。给大家分享一个案例，看看大数据建模在解决这些问题上起到的作用：

这个案例是某品牌手机新品上市营销的业务方案，我们帮它做了两件事情，第一件事情是老用户的营销，通过建模找到新品手机的目标人群。第二件事情是微博营销，对于这一点我们又做了三件事：1）帮它甄别这个行业比较有话语权的微博；2）帮它识别了网友中的意见领袖；3）帮它找到想买手机的用户。

这个项目的关键点，其实就是定义清楚业务问题。我们定义清楚一系列业务问题之后，选取一些建模的方法去实现，帮助它解决这些业务问题。例如如何通过老用户建模分析找到新品手机的目标人群？

提取原始数据

我们首先提取了这个品牌手机的电商旗舰平台及线下门店的用户历史交易数据，作为原始数据，去做一些清洗和预处理。然后提取了用户的行为特征，去识别这个终端消费用户的购买频次，消费的品类，价格承受度等。然后运用协同过滤模型，去做度量这个新品手机和其他品类的相似性。

当然，我们也使用了其他的模型预测，例如购买概率的预测，产品生命周期的推测等等。之后，去建立用户特征的过滤，最后锁定目标的人群，输出目标群体的营销列表，找到整个老用户群体里有可能去购买新品手机的用户群体，并做了基于购买概率的排序。对于新品手机的微博营销方案，首先我们爬取了在新浪微博上行业相关的微博，通过关键词提取了所有博文的内容，包括评论内容、转发内容、用户信息等。

构建模型

进一步我们构建了三个模型，筛选出来用于微博营销新品手机的潜在目标用户。这三个模型分别是通过构建影响力指数模型去找到具有行业话语权的行业公众号、通过社会网络模型识别微博中的意见领袖，以及通过语义分析模型找到想买手机的人群，从而实施新品手机广告的转发和推荐。下面我具体介绍一下这三个模型：

1、做微博公众号影响力指数的编制

首先我们做了微博公众号影响力指数的编制。基于这个分类下的蓝V用户的微博影响力数据，综合利用AHP方法计算出不同行业在微博平台影响力的指标，然后我们找到这些最具有影响力的微博公众号或者蓝V的用户去做新品手机广告的触达。第二是运用社会网络模型去找到这款手机的意见领袖。

社会网络分析模型广泛地运用在这种具有网络特征的大数据分析中，例如通过计算节点的连接数去找到一个社交群体中的意见领袖和活跃分子等。

2、微博中意见领袖带动关注

同时SNA模型还可以用来计算社交网络的密度，监控这个网络的健康度等，目前在舆情监控领域、电信网络的数据分析等都有比较广泛的应用。我们利用SNA模型，去找到微博中和手机相关的意见领袖，进行新品手机营销文章的推送，引发这个意见领袖的关注和讨论，从而带动大多数跟随者对某品牌新品手机的一个关注，这是第二个模型。

3、文本挖掘

在文本挖掘模型中，我们首先建立了一系列的规则，例如在微博正文中含有“想买手机”、“挑选手机”等关键词的微博，我们针对规则对抓取的博文进行了标注和过滤，经过SVM分类模型的训练，我们把微博进行分类，最后筛选出可能会对某品牌手机感兴趣，或者近期有购买手机意愿的人群，由营销人员进行触达，推广这个新品的手机。

模型应用效果

我们看一下这几个模型一些应用的效果。

首先第一部分，在老用户营销中，我们经过建模加权之后的结果，找到不同等级的目标，用户群体超过10万人。通过筛选之后进行短期的推送，效果比盲投广告提升了三倍。在微博营销中，通过三个模型，我们获取了超过10万人的目标用户群，经过运营人员进行触达，有超过1万人响应了新品手机微博的营销信息，最终通过这些大数据建模的方式找到这个营销的短名单，然后帮助这个品牌成功实现新品上市的营销推广方案。

注意事项

最后想跟大家分享的是，在大数据时代的商业建模要做到以下三点：

第一、好数据胜过复杂的模型

不用去太刻意追求模型的复杂度，往往线性回归和逻辑回归就能解释大部分的问题了。我深深记得当年在学校时，一位计量经济学教授说过的话：如果你不知道该用简单模型还是复杂模型，为什么不从简单的开始呢？

第二、要做好充分的数据预处理

做好数据的清洗、融合、集成、规约等，去了解业务，理解数据，切忌Garbage In，Garbage Out。所谓磨刀不误砍柴工，如果数据预处理准备的充分，接下来的数据挖掘也会非常地流畅。反之，如果没有做充分的数据预处理和描述性分析，就会对建模的结果产生怀疑，进而返工，浪费更多的时间。

第三，组建大数据建模团队

我们认为需要大数据建模分析去解决业务问题的企业应该组建一个功能比较全面的数据科学团队。我们之前也讲过，在大数据时代，建模已经演化成一个体系问题，基本不能由一个人来承担了，或者说，一个人需要掌握太多种技能才能应付整个建模流程。通常来说数据科学团队里会有大数据提取工程师、建模算法工程师、数据可视化工程师、业务数据分析师、优化工程师等，是一个集团军作业、流水线作业的情况，而不是像小数据时代，通过一个人就能解决从数据的提取、加工、建模，到最后数据的分析结果展示这一系列的问题了。

我们认为，如果一个人能解决大数据建模这一系列的问题，能够和数据库进行底层的交互，又能去做建模算法的挖掘，能做数据的优化，能做数据可视化，集这些功能为一身的人才配称之为数据科学家，真正的数据科学家是非常稀有的。

而当我们没有集这些功能于一身的人的情况下，通常可以用群体的力量去解决我们在大数据时代遇到的数据挖掘问题。所以我们认为，企业去招一个全面的数据科学家，不如去组建一个功能比较全面的数据科学团队，大家各有所长，数据提取工程师去做和数据库的交互，算法的工程师去做数据的挖掘，可视化做可视化的展现，调优的去做运营调优等，以集体的力量去解决企业在大数据时代遇到的商业建模的一些问题。