数据挖掘

第三时期产品研发将针对第二时期筛选出的产品概念，按照以用户为中心的理念开始设计产品。首先根据目标用户的使用习惯并结合用户对产品的期望要求，设计出产品原型。然后基于用户对原型产品可用性的反馈评估，不断优化改进产品，以确保研发出的最终产品符合用户需要。 产品原型可以看做与用户沟通时使用的一种表现形式，诸如纸笔原型、线框图、产品测试版等，主要用来展现产品与用户之间…

第二时期产品概念评估基于第一时期目标用户细分的基础上，通过挖掘具体的业务需求，从而进一步生成产品概念，即满足用户需求最初的产品设想。当然，也不是所有的产品概念都是有价值的，只有依托大量产品设想，针对已生成的产品概念，通过有效评估，选出其中最可能为用户所接受的。此处主要涉及需求程度和概念得分两个关键指标。 在整个概念评估时期，研究重点主要是挖掘用户需求，评估产…

随后的定量分析以定性研究为基础，基于一定数量样本，对用户的行为和态度进行分析挖掘，细分出不同特征的用户群体，并加以描述。此处采用了一种叫街头面访的分析方法，即在一个相对固定、安静适宜的场所环境内，开展一个较长时间的访问。 接下来先要进行样本筛选及确定问卷结构。样本筛选主要是确定样本量和抽样方法，问卷结构则包括需要调研的各个方面，如生活轨迹、需求偏好等。 在样…

在产品设计阶段，第一时期策略研究从宏观角度对外部环境和内部情况加以分析，重点关注市场、技术等方面的发展与变化趋势，辅以用户细分研究，以此从中明确产品未来开发的相关策略。 借助企业内部和外部资料的收集处理，趋势分析能够帮助产品经理及时准确地了解行业发展趋势，为进一步的分析调研提供重要的参考依据。研究结果一般包括用户日常生活、社会经济发展、技术产业变革以及宏观竞…

微博作为最大的中文社交媒体，拥有数以“PB”(1024 TB)计的用户信息，从海量的用户信息中发掘每个用户的社交特性、潜在能力及兴趣等信息，是微博为用户提供更加人性化服务的基础。微博大数据经过近两年不断地调整、磨合、优化，针对社交媒体特性，研发构建了一整套完整的用户画像体系。该体系涵盖能力标签、兴趣标签、关系及亲密度、信用质量和自然属性五大部分，完整而全面地…

作为一个喜欢思考人生的美男子，我时常感慨，现在这个年代，人们上网获取信息的成本真的好低。智能手机，人手一台，打开3G就能上网，百度一搜，什么都有。当然百度上搜出来的大多数可能并不是你想要的，但这并不妨碍上面的论点成立。也正是因为成本太低，人们反而不愿意主动取获取信息，于是各种各样的推荐系统有了大展身手的机会。 推荐在生活中是一个再平常不过的事情，你失业了，有…

介绍了数据挖掘的定义，分析了日志数据面临的挑战及对其进行挖掘的原因。讨论了日志数据挖掘的需求，归纳了对日志数据挖掘的具体内容，总结了日志数据挖掘的具体应用。该研究对加强企事业单位计算机信息系统安全具有较强的指导意义。

大数据时代，数据的分析及挖掘在企业的经营过程及业务管理中，逐步发挥出越来越显著的作用。无论是在产品的构想、原型设计阶段，还是在测试、上市商用后，用户需求与市场竞争环境都在每时每刻地不断发生变化。在这种情况下，就要秉承以用户为中心的理念，综合技术、市场两种驱动能力，以科学严谨的方法，准确有效地收集并分析用户订购及使用产品的评价、动机及行为等信息，为产品运营、业…

一、概念/类描述 概念/类描述就是通过对某类对象关联数据的汇总，分析和比较，用汇总的简洁的精确的方式对此类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为：特征性描述和区别性描述。 特征性描述：是指从与某类对象相关的一组数据中提取出关于这些对象的共同特征。生成一个类的特征性描述只涉及该类对象中所有对象的同性。。 区别性描述：描述两个或者更多不同类对…

摘要：没有人可以离开社交媒体(微信、微博、脸书等)，朋友圈是维系外界最重要的通道之一，大多数人都是社交媒体的重度使用者。但是，有没有想过，我们在社交媒体上的一些无意识的行为(例如点赞、收藏、上传头像、状态更新、转帖等)，其实很深层次的在暴露内心的一些秘密和隐私。 整理了一些社交媒体数据挖掘的结果，你会发现，大数据、行为痕迹和社交媒体的结合，展现了无限的机会和…

对于沃尔玛、华润万家、百佳等零售大超市而言，每天都有很多客户通过会员卡进行购买，不断积累了很多销售数据，如何利用这些数据，从数据中挖掘金矿，很值得每个商家去思考。尽管目前零售商有不少的IT系统去支撑企业常规的分析（如销售量、销售额、热销SKU等），但实际上还是未能从数据角度深入挖掘客户的价值，仅仅从经营分析的角度来满足了常规分析工作。 本文从个人的角度去谈一…

现在网上到处都有推荐。亚马逊等主流电子商务网站根据它们的页面属性以各种形式向用户推荐产品。Mint.com之类的财务规划网站为用户提供很多建议，比如向用户推荐他们可能想要办理的信用卡，可以提供更好利率的银行。谷歌根据用户搜索历史记录的信息优化搜索结果，找到相关性更高的结果。 这些知名公司使用推荐提供情境化的、有相关性的用户体验，以提高转化率和用户满意度。这些…

文本挖掘是对包含于自然语言文本中数据的分析。它可以帮组一个组织从基于文本的内容中获得潜在的有价值的业务洞察力，比如Word文档，邮件和社交媒体流中发布的帖子，如Facebook，Twitter，和LinkedIn。对于机器学习技术中信息检索和自然语言处理的应用而言，文本挖掘已经成为一个重要的研究领域。在某种意义上，它被定义为在无处不在的文本中发现知识的方式，…

作者：学飞 从坠落开始 本篇综述主要参考了Liu Bing的《Sentiment analysis and opinion mining》，增加了一些自己的观点。 Liu B. Sentiment analysis and opinion mining[J]. Synthesis Lectures on Human Language Technologies…

最近几个同事在做推荐平台的项目，都问到怎么实现FTRL算法，要求协助帮忙实现FTRL的算法模块。今天也是有空，赶紧来做个整理。明天还要去上海参加天善智能组织的FLY BI大数据分享会。有兴趣参加线下活动的可以多关注下微博和微信的信息。没事可以多参加分享分享。现在特别是像做在线学习和CTR这块，应用LR是最广泛的。但是批量处理超大规模的数据集和在线数据流时就遇…