大数据

《哈佛商业评论》曾宣称“数据科学家”是二十一世纪最性感的职业。所谓性感，既代表着难以名状的诱惑，又说明了大家对它又不甚了解。 如何做好数据科学呢？ 微软高级数据科学家Brandon Rohrer概括了做数据科学的七大步骤，手把手教你做数据科学。 1. 获取更多的数据 数据科学的原材料是数字和名称的集合，测量、价格、日期、时间、产品、标题、行动等，数据科学无所…

贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后（详见大数据背后的神秘公式（上）：贝叶斯公式），开始引起学术界的注意和重视，而其上世纪八十年代在自然语言处理领域的成功，向我们展示了一条全新的问题解决路径。计算能力的不断提高和大数据的出现使它的威力日益显现，一场轰轰烈烈的“贝叶斯革命”正在发生。 一 真正的突破自然语言处理就是让计算机代替人来翻译…

大数据、人工智能、海难搜救、生物医学、邮件过滤，这些看起来彼此不相关的领域之间有什么联系？答案是，它们都会用到同一个数学公式——贝叶斯公式。它虽然看起来很简单、很不起眼，但却有着深刻的内涵。那么贝叶斯公式是如何从默默无闻到现在广泛应用、无所不能的呢？ 一 什么是贝叶斯公式18世纪英国业余数学家托马斯·贝叶斯（Thomas Bayes，1702～1761）提出…

互联网时代，大数据概念受到强烈追捧，企业宣传、媒体炒作几度将其推至高点，很多非技术行业人士都在感叹大数据神奇的同时望而却步，只觉它晦涩难懂。其实，很多神奇的东西都只是需要时间让人们了解，而后会发现，它其实并不那么高高在上不可触及。下面就让《技术照妖镜》为你照一照大数据真面目，希望看完能对你理解大数据带来帮助。 作者: 崔月

摘要：尽管统计学家和其他研究数据分析的人士扮演着至关重要的角色，但是数据科学家的角色，一部分是分析师，一部分是艺术家，并且必定会为传统数据的分析和使用方式带来全新的变革。 在2016年的美国，数据科学家已经被冠以“最佳工作”的头衔，数据科学家的定义以及成为一名出色数据科学家所需的技能一直处于不断的变化之中。科技和商业需求方面的进步驱使着数据科学家随着行业的不…

1、 市面上关于大数据的各种定义太多，不一而足，此处写在前面的，我先定义一下：大数据，表示极多的数据，而其来源，凡能通过技术手段触达的都算。 2、 商业化，即如何使数据产生价值，这个价值并不来源于数据本身，而是来源于数据的被需求方（被需求方可以是甲方也可以是乙方）是否能够在其业务范围内被满足具备一定价值的数据。数据商业化的核心非数据，而是数据模型。 3、 数…

文章摘要：数据科学为什么对很多创业公司如此重要？公司应该在什么时候在数据科学方面进行投入？应该将数据科学团队放在公司里的什么位置上？如何营造一个尊重数据科学的文化氛围？ 编者按：Jeremy Stanley 是日用杂货当日送达初创企业 Instacart 主管数据科学的副总裁，Daniel Tunkelang 是前 LinkedIn 的数据主管。作为在数据科…

如果你想造一艘船， 不要鼓励人们去伐木、去分配工作、去发号施令。 你应该做的是，教会人们去渴望大海的宽广无边和高深莫测。 ——安东尼·德·圣-埃克苏佩里 在我们与美国政府、商业和国际组织的多年合作工作中，我们已经具备了帮助我们的客户设计和建立一个数据科学功能以支持和驱动他们的任务的能力。这些任务包括提高健康水平、保卫国家、合理调配能源布局、更好地服务公民和退…

译者注：ETL – Extract Transform Load 抽取 转换加载，代表从源数据清洗加工到数据仓库的过程。 这篇文章在Hacker News转载后产生很热烈的讨论，主要是从工程师的角度来看问题，讨论了很多有关人员管理和团队分工等一些很现实的问题。不是所有人都同意文中的观点和解决方案，也有很多人写出了自己的经历来佐证作者的想法。争议主…

摘要：本文译自Noah Kagan 的《You’re Still Modeling Growth Incorrectly》。作为Facebook的前30名员工之一、Mint的前4位员工之一，他是增长方面的权威人士，既有方法论，又有实践经验。 当我第一次在Mint做市场的工作时，创始人兼CEO Aaron Patzer告诉我我们需要在产品发布6个月的时间里获取…

摘要：精准的推荐、心水的价格、充足的库存以及高效率的配货，在你还未下单之前，亚马逊早已使用“读心术”并作出预测，为你计划好了一整套井井有条的购物体验。作为电商巨头的鼻祖，二十几年来依然占领着电商界前几名位置，亚马逊自家的大数据系统是当之无愧的大功臣。 “数据就是力量”，这是亚马逊的成功格言。EKN研究的最新报告显示，80%的电子商务巨头都认为亚马逊的数据分析…

摘要：除了报表统计外，还需要对数据的有很强的解读能力。电商中的个性推荐技术，商业与银行中的欺骗检测，智能手机中语音识别等等技术，让我们浑身便散发出大数据与机器学习的各种场信息，给人以满满的正能量。 01 数据场 学过物理的小伙伴，都知道世界充满了电场和磁场。了解过佛学的人，都知道世界充满了念力场与信息场，通过信息场，可以与更高一级的文明进行沟通。 有的人一出…

大数据产业发展了几年之后，即将进入到价值变现阶段。传统企业已经对大数据技术和应用有了初步了解，大数据平台和技术的应用也开始普遍。

一、前言 在大数据时代，数据挖掘，人工智能，机器学习这一系列高大上的技术应运而生，针对这一系列高大上的系统，测试同学如何参与其中，做好质量把控呢？与我们熟悉的测试套路又有何不同呢？欲知详情，请听笔者细细道来。 二、背景知识介绍 模式识别：是目的，就是通过计算机用数学技术方法来研究模式的自动处理和判读。 机器学习：是一种方法，是一类从数据中自动分析获得规律，并…

导读： 面对提供相同互联网服务的两家供应商，一家在隐私保护上做得较好，但价格高，而另一家则习惯于侵犯个人隐私，但价格低，那么大多数消费者还是会选择后者。这项研究还发现，如果两家公司以同样的价格提供一款产品，更注重保护隐私的那家公司将胜出。 大数据带来了一大挑战，即价值可能并不明确，数据收集者的动机（更不用说其身份）可能被隐藏，个人的预期可能混乱不清。 大数据…