数据挖掘

什么是用户画像 简而言之，用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。 举例来说，如果你经常购买一些玩偶玩具，那么电商网站即可根据玩具购买的情况替你打上标签“有孩子”，甚至还可以判断出你孩子大概的年龄，贴上“有5-10岁的孩…

一、概念/类描述 概念/类描述就是通过对某类对象关联数据的汇总，分析和比较，用汇总的简洁的精确的方式对此类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为：特征性描述和区别性描述。 特征性描述：是指从与某类对象相关的一组数据中提取出关于这些对象的共同特征。生成一个类的特征性描述只涉及该类对象中所有对象的同性。。 区别性描述：描述两个或者更多不同类对…

这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。 一、数据不平衡 在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果…

摘要：谈到中国电竞产业，LOL和DOTA2是两个无法回避的词。 基本上，DOTA2的玩家往往被LOL玩家嘲讽为“信仰粉”，而DOTA2玩家对这个名词并不太抗拒甚至引以为豪。但如果你对一个LOL玩家打“小学生”三个字的话，基本上这就等于是最高侮辱。这两款都脱胎于魔兽争霸自定义地图模式，在各方面相同点远多于不同点的MOBA类游戏，在用户自我定位上居然出现了如此巨…

摘要：没有人可以离开社交媒体(微信、微博、脸书等)，朋友圈是维系外界最重要的通道之一，大多数人都是社交媒体的重度使用者。但是，有没有想过，我们在社交媒体上的一些无意识的行为(例如点赞、收藏、上传头像、状态更新、转帖等)，其实很深层次的在暴露内心的一些秘密和隐私。 整理了一些社交媒体数据挖掘的结果，你会发现，大数据、行为痕迹和社交媒体的结合，展现了无限的机会和…

对于沃尔玛、华润万家、百佳等零售大超市而言，每天都有很多客户通过会员卡进行购买，不断积累了很多销售数据，如何利用这些数据，从数据中挖掘金矿，很值得每个商家去思考。尽管目前零售商有不少的IT系统去支撑企业常规的分析（如销售量、销售额、热销SKU等），但实际上还是未能从数据角度深入挖掘客户的价值，仅仅从经营分析的角度来满足了常规分析工作。 本文从个人的角度去谈一…

现在网上到处都有推荐。亚马逊等主流电子商务网站根据它们的页面属性以各种形式向用户推荐产品。Mint.com之类的财务规划网站为用户提供很多建议，比如向用户推荐他们可能想要办理的信用卡，可以提供更好利率的银行。谷歌根据用户搜索历史记录的信息优化搜索结果，找到相关性更高的结果。 这些知名公司使用推荐提供情境化的、有相关性的用户体验，以提高转化率和用户满意度。这些…

经过几年的积累，大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化系统。这些系统的统一特点都是:通过业务人员或者用户的操作，最终对数据库进行增加、修改、删除等操作。上述系统可统一称为OLTP(Online Transaction Process，在线事务处理)，指的就是系统运行了一段时间以后，必然帮助企事业单位收集大量的历史数据。但…

文本挖掘是对包含于自然语言文本中数据的分析。它可以帮组一个组织从基于文本的内容中获得潜在的有价值的业务洞察力，比如Word文档，邮件和社交媒体流中发布的帖子，如Facebook，Twitter，和LinkedIn。对于机器学习技术中信息检索和自然语言处理的应用而言，文本挖掘已经成为一个重要的研究领域。在某种意义上，它被定义为在无处不在的文本中发现知识的方式，…

电商平台中有海量的非结构化文本数据，如商品描述、用户评论、用户搜索词、用户咨询等。这些文本数据不仅反映了产品特性，也蕴含了用户的需求以及使用反馈。通过深度挖掘，可以精细化定位产品与服务的不足。下面描述了电商平台下机器学习在文本挖掘的应用例子。 1、用户评论分类 场景 用户评论能反映出用户对商品、服务的关注点和不满意点。评论从情感分析上可以分为正面与负面。细粒…

作者：学飞 从坠落开始 本篇综述主要参考了Liu Bing的《Sentiment analysis and opinion mining》，增加了一些自己的观点。 Liu B. Sentiment analysis and opinion mining[J]. Synthesis Lectures on Human Language Technologies…

摘要：在本篇文章中，将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一： 图1 机…

最近几个同事在做推荐平台的项目，都问到怎么实现FTRL算法，要求协助帮忙实现FTRL的算法模块。今天也是有空，赶紧来做个整理。明天还要去上海参加天善智能组织的FLY BI大数据分享会。有兴趣参加线下活动的可以多关注下微博和微信的信息。没事可以多参加分享分享。现在特别是像做在线学习和CTR这块，应用LR是最广泛的。但是批量处理超大规模的数据集和在线数据流时就遇…

其实推荐系统前面已经讲过不少，那时候主要是放在机器学习上讲的，既然这次要系统撸一遍数据挖掘，就把推荐系统单独拿出来说一说。相信如果做过推荐系统的人，都知道是什么回事。一堆features，一堆算法模型，一堆online、offline规则和计算，还有若干的场景。包括著名的netflix、Amazon做的推荐场景都有哪些，有哪些坑需要注意的，之前都有说过。没看…

提起FM类APP，你都会想起哪些应用程序？来自易观智库数据显示，2014年3月电台类应用月度活跃人数最高的APP仍是考拉FM。上线不到一年的考拉FM，为何发展如此之猛？ 与其他移动端电台不同的是，考拉FM采用个性化推荐音频流的播放逻辑，在用户未进行主动选择的情况下依旧能够收听到心仪的节目。移动音频娱乐与大数据挖掘的结合会是怎样的爆发？几天前，在中国电子学会主…