数据分析产品

大数据经济时代，数据分析支持企业决策，数据分析产品层出不穷，数据分析技术与行业应用渐成各行业追逐热点。

数据营销服务提供商“多准数据”披露，已于2016年8月底完成数千万级A轮融资，由华睿投资领投，阿米巴资本跟投。

本文介绍了如何使用开源软件迅速的搭建一个数据分析平台，包含数据导入，变形，分析，预测，可视化。

产品数据是产品经理量化产品的重要方面，数据的客观性，让数据变成了发掘问题本质，寻找事物规律所需要用到的最有利的手段之一，但在与数据打交道的过程中，我们可能经常会犯一些错误，导致分析的结论出现较大的偏颇，本文罗列数据分析过程中5个常见误区。

创意人才按照直觉设计出对用户最好的东西，分析人才则提供有深刻见地的洞察分析。而真正的独角兽是那些能够完成从设计、开发、衡量、分析全过程的，并能够结合用户直觉与深度分析，不断迭代和改进产品。

长久以来，我们做网站分析都是基于Visit的分析，无论是指标定义还是分析场景，默认的都是在一个访问区间内。大多数情况下这种分析是没有问题的，因此我们可以解决单个场景的分析，但只针对访问的分析会出现“只见树木不见森林”的问题，原因是访问定义的是一次用户行为，而我们无法获得用户所有访问的完整性认知。 今天，我们来介绍下Webtrekk另辟蹊径基于真实用户和匿名用…

【文章摘要】竞品我理解应该分为三类：直接竞品、潜在竞品、转移性竞品。 当年刚刚入产品经理这一行的时候，第一节课学习的就是如何对产品进行分析。但是随着年龄的增长，时常感到自己对竞品分析与产品分析理解的浅薄，我一度无法分清两者的区别与侧重点，现在才对两者之间的关系渐渐清晰，这里简单总结一下我对竞品分析与产品分析的理解。 竞品分析 如何选择竞品 我们选择竞品往往需…

做产品的同学在产品上线后经常离不开一个词，数据分析。那么要如何进行数据分析呢？不妨先问自己这么几个问题。 你要分析什么问题？是找问题还是验证？ 关于这些问题你需要哪些数据？ 这些数据从哪里来？ 要怎么解决这些问题呢？答案是数据埋点。首先通过产品定位及目标来确定自己需要哪些数据，其次通过在产品各个流程环节中设置数据埋点，最后，当用户使用产品时，后台就能源源不断…

前面讲了从数据采集到可视化的五个环节，这些环节有机的组织起来，需要两个关键组件：元数据和调度器。我为了让元数据和元朝对应起来，就把调度器先拿出来讲。大家最早去系统学习调度器，应该是在操作系统课程上，有专门的一章讲调度器的原理，其中花了大量的篇幅讲几种调度算法，但操作系统是如何实现一个调度器，并没有详细讲解。我个人对其都非常困惑，在三年之前，我重新研究操作系统…

在上一篇的最后，我把数据处理分成五个阶段，分别是数据采集、数据传输、数据建模/存储、数据统计/分析/挖掘、数据可视化/反馈。这篇主要讲解第一个环节数据采集相关的内容。 如果看过前面几篇，就会体会到我对数据源的重视程度是超乎想象的，认为数据源整好了，数据处理就搞定了一半。如果源头没有整好，后续用再复杂的算法，也不能解决数据缺失和错误所带来的问题，并且会花费许多…

前面讲了这么多篇，可能你有疑问那什么是大数据分析？它和传统的数据分析有何不同？我们要从大数据的概念开始讲起。 因为从事这一方向，这几年不断会有人问我什么是大数据？我一直都回答不好。在最近的几个月，我对这一概念思考的更多一些，结合看过的一些资料（如《大数据时代》、《数学之美》第二版、《硅谷之谜》、吴军的演讲材料等）和实际的经历，算是有了一些认识。与其说认识，还…

根据数据源的流向不同，我们可以将互联网公司常用的数据分析方法分为三种： 1，通过嵌入SDK直接将数据发送到第三方平台，如使用友盟、百度统计、TalkingData等；2，直接基于业务数据库，通过写SQL的方式进行数据分析；3，在应用服务器端打印日志，基于日志写脚本进行分析，在百度的早期主要是这一种。 我们这篇文章逐一来分析这三种方法的优势和不足。 1 第三方…

痛定思痛，我们觉得主要问题出在数据源上。百度有上百条业务线(有一定业务规模的)，牵涉到数千个日志模块，每个模块的日志格式都是不一样的。甚至就连Web Server这层，有用Apache的，有用Lighttpd的，也有用Nginx的，用的软件版本可能还是不同的。日志格式五花八门，输出的是非结构化的文本字符串，比如Nginx一条日志： 219.136.113.4…

转眼到了2011年初，我感觉团队放在网页相关性部门，不利于发展。我的想法是要把团队面向全公司服务，甚至成为像NLP(自然语言处理)部门在厂长心中的地位。但网页相关性部门的上司觉得先服务好本部门就够了。我和基础架构部的一个经理(最早在百度负责维护和开发Hadoop团队的负责人，在他完成了Hadoop在全百度的推广之后，改为负责一个分布式存储团队了)商量了一下，…

随着需求的增长，计算资源也随之增长，每个季度有20%-30%。经过一年半，机器数从160台增长到了5000台。记得2009年产品发布后第一次提机器预算时，为了保证新产品部的核心统计能在员工上班之前跑出来，提了100多台，那个时候一个像百度知道这样的业务线也只是申请添加十几台机器满足正常的业务增长，经理都在担心部门是否会批。后来，再提需求都是以千台计，我的经理…