数据挖掘

摘要：最近研究了下Facebook内容排序问题，这个在新浪微博、知乎内容排序这些场景下都应用到。主要是关于edgerank的算法讨论以及Facebook的AB test机制。 EdgeRank 是Facebook 在 F8 开发者大会上提出的对 fb 新鲜事 (Feeds) 排序的新算法, 用于区别默认的按时间逆序的 timeline。 要解决的问题就像@宋…

技术控可以往底层走，做数据库开发或DM(编程的那种)；往管理方向走要了解整个流程的基本技术，业务能力最重要。

写在前面 好久没写文章了，本人目前从事BI行业，主要做BO(报表展示)这一块，写这一篇文章主要是想分享一下自己的心得。本人不是大牛，基础小白，所以下面你会看到的更多是不经润色(不经大脑)的心得体会，而不是一堆NB轰轰的专业名称，算法，建模思想，分析思路等技术分享型文章。更多的是对这个职业的看法，技术上的问题相信度娘比我更加专业! 欢迎吐槽指正! 说到数据分析…

基于内容和用户画像的个性化推荐，有两个实体：内容和用户。需要有一个联系这两者的东西，即为标签。内容转换为标签即为内容特征化，用户则称为用户特征化。因此，对于此种推荐，主要分为以下几个关键部分： 标签库 内容特征化 用户特征化 隐语义推荐 综合上面讲述的各个部分即可实现一个基于内容和用户画像的个性化推荐系统。如下图所示： 标签库 标签是联系用户与物品、内容以及…

摘要：大数据概念被热炒多年之后，我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么，目前大数据和人工智能领域还存在着哪些技术挑战如何找到大数据和人工智能的创业入口，利用数据挖掘和机器学习的能力创造出更大的商业价值 作为第四次工业革命的引领性领域，近年来的人工智能和大数据持续升温。最近的AlphaGo事件更是将人工智能的前沿技术呈现于大众面前。 大…

摘要：前些天听了Shadow老师的线上课程分享（视频地址： ），这个课程我觉得非常有意义，特别是对于我们这样想做个性化订制的精品导购平台来说，个性化运营尤其重要。所以今天把前些天上课的内容整理了一下，写出来与大家进行分享，希望大家批评指正。 要做个性化运营，首先要有用户画像，那么如何定位一个产品的用户画像呢？Shadow老师给我们分享了使用标签体系的方法来进…

摘要：周期性分析SMCA算法简介 算法介绍 以时间顺序挖掘周期性的模式（即周期性分析）是一种重要的数据挖掘方式，在以前的研究中我们假设每个时间点只发生一个事件，然而在这篇文章中我们研究一种更普遍的模式：即在每个时间点可以发生多个事件。 在这个算法中我们需要自己设置三个参数：min_rep, max_dis, global_rep。分别代表“一个有效序列的最小…

摘要：现在有很多人对数字营销领域的“用户画像”报以怀疑的态度，可是你们为什么又那么喜欢看《犯罪现场》、《犯罪心理》等电视了，你们一定不知道这些电影里用到的一种手法，叫“犯罪心理画像”，其实和数字营销领域的“用户画像”，异曲同工。不信看下面吧！ 正文 提到用户画像，好多人都听说过这个词，最初大家对它的普遍印象大概就是： 收集用户信息把对你有用的信息归纳整理成，…

我们可以通过“统计套利”的方法，发现市场的无效性。

2016年伴随网红这个词迅速蹿红，以及网红撬动资本时代到来，papi酱迅速走进资本圈视野，并开启了网红变现第一战：广告拍卖。外部盛传papi酱估值千万人民币的广告价值是否真如其所说？papi酱广告到底多少价值？用数据分析papi酱视频广告的价值。 一，papi酱媒体覆盖面及其构成1、papi酱累计播放量构成papi酱作为短视频领域的网红第一人，目前作品在腾讯…

摘要：看到一篇讲微信拼手气红包算法的，又回想起今年抢红包屡败屡战，手气捉急，所以用SAS实现了一下抢红包算法，一探究竟。 推荐阅读：微信红包的随机算法是怎样实现的？ 算法如下每个红包的金额在0.01和剩余平均值*2之间产生。 例如：发100块钱，总共10个红包，那么平均值应该是10块钱一个，那么第一个抢到红包的额度在0.01-20元之间随机确定。又当前面3个…

摘要：决策树主要用来描述将数据划分为不同组的规则。第一条规则首先将整个数据集划分为不同大小的子集，然后将另外的规则应用在子数据集中，数据集不同相应的规则也不同，这样就形成第二层数据集的划分。一般来说，一个子数据集或者被继续划分或者单独形成一个分组。 1 预测模型案例概述 一家金融服务公司为客户提供房屋净值贷款。该公司在过去已经拓展了数千净值贷款服务。但是，在…

决策树和朴素贝叶斯是最常用的两种分类算法，本篇文章介绍朴素贝叶斯算法。贝叶斯定理是以英国数学家贝叶斯命名，用来解决两个条件概率之间的关系问题。简单的说就是在已知P(A|B)时如何获得P(B|A)的概率。朴素贝叶斯（Naive Bayes）假设特征P(A)在特定结果P(B)下是独立的。 1. 概率基础： 在开始介绍贝叶斯之前，先简单介绍下概率的基础知识。概率是…

摘要：最近，我们听到了关于机器学习的很多新闻，这部分是由不断增长的需求和缺少数据科学家们所激发的。但像许多创新一样，机器学习并不是简单出现的 ,它至少发展了二十年。在这篇文章中，我们简要地回顾一下这段历史。 在成功地推出Unica系列营销自动化软件之前，这家公司的主要业务是通过特别关注神经网络进而进行预测分析。1995年，Unica介绍了Pattern Re…

摘要：本文主要是介绍一下SAS的聚类案例，希望大家都动手做一遍，很多问题只有在亲自动手的过程中才会有发现有收获有心得。这里重点拿常见的工具SAS+R语言+Python介绍! 1 聚类分析介绍 1.1 基本概念 聚类就是一种寻找数据之间一种内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作聚类。处于相同聚类中的数据实例彼此相同，处于不同聚类…