Google大数据技术架构探秘

Google是大数据时代的奠基者，其大数据技术架构一直是互联网公司争相学习和研究的重点，也是行业大数据技术架构的标杆和示范。

1、谷歌的数据中心

谷歌已经建立了世界上最快、最强大、最高质量的数据中心，它的8个主要数据中心都远离其位于加州山景城的总部，分别位于美国南卡罗来纳州的伯克利郡，爱荷华州的康瑟尔布拉夫斯，乔治亚州的道格拉斯郡，俄克拉荷马州的梅斯郡，北卡罗来纳州的勒努瓦，俄勒冈州的达尔斯；另外2个在美国境外，分别是芬兰的哈米纳和比利时的圣吉斯兰。此外，谷歌公司还在中国香港和中国台湾，以及新加坡和智利建立了数据中心。

2、谷歌新一代搜索引擎平台和大数据分析核心技术

Google是GFS MapReduce BigTable的缔造者，但Google 新一代搜索引擎平台正逐步用更强计算能力的系统来替换原有系统，新一代搜索引擎平台有几个核心技术系统：

一是用基于Percolator的增量处理索引系统来取代MapReduce批处理索引系统，这个索引系统被称作Caffeine，它比MapReduce批处理索引系统搜索更快。

二是专为BigTable设计的分布式存储Colossus，也被称为GFS2（二代Google文件系统），它专为建立Caffeine搜索索引系统而用。

三是列存储数据库BigTable，但为了更好地支持大数据集的互动分析，Google推出了Dremel和PowerDrill。Dremel被设计用来管理非常大量的大数据集（指数据集的数量和每数据集的规模都大），而PowerDrill则设计用来分析少量的大数据集（指数据集的规模大，但数据集的数量不多）时提供更强大的分析性能。

四是为Google Instant提供服务的实时搜索引擎存储和分析架构。

五是Pregel，这是谷歌更快捷的网络和图算法。

在谷歌新一代搜索引擎平台上，每月40亿小时的视频，4.25亿Gmail用户，150,000,000 GB Web索引，却能实现0.25秒搜索出结果。

3、谷歌基础云服务

基于Colossus，谷歌为用户提供计算、存储和应用的云服务。计算服务包括计算的引擎（ComputeEngine）和应用APP的引擎(AppEngine)；存储服务包括云存储（CloudStorge）、云SQL(CLoudSQL)、云数据存储（Cloud DataStore）、永久磁盘等服务；云应用服务包括BigQuery、云终端（Cloud Endpoints）、缓冲、队列等。

4、谷歌的大数据智能应用服务

Google提供的大数据分析智能应用包括客户情绪分析、交易风险（欺诈分析）、产品推荐、消息路由、诊断、客户流失预测、法律文案分类、电子邮件内容过滤、政治倾向预测、物种鉴定等多个方面。据称，大数据已经给Google每天带来2300万美元的收入。例如，一些典型应用如下：

（1）基于Map Reduce，Google的传统应用包括数据存储、数据分析、日志分析、搜索质量以及其他数据分析应用。

（2）基于Dremel系统， Google推出其强大的数据分析软件和服务 — BigQuery，它也是Google自己使用的互联网检索服务的一部分。Google已经开始销售在线数据分析服务，试图与市场上类似亚马逊网络服务(Amazon Web Services)这样的企业云计算服务竞争。这个服务，能帮助企业用户在数秒内完成万亿字节的扫描。

（3）基于搜索统计算法，Google推出搜索引擎的输写纠错、统计型机器翻译等服务。

（4）Google的趋势图应用。通过用户对于搜索词的关注度，很快的理解社会上的热点是什么。对广告主来说，它的商业价值就是很快的知道现在用户在关心什么，他们应该在什么地方投入一个广告。据此，Google公司也开发了一些大数据产品，如“Brand Lift in Adwords”、“Active GRP”等，以帮助广告客户分析和评估其广告活动的效率。

（5）Google Instant。输入关键词的过程，Google Instant 会边打边预测可能的搜索结果。

谷歌的大数据平台架构仍在演进中，追去的目标是更大数据集、更快、更准确的分析和计算。这将进一步引领大数据技术发展的方向。

本文部分内容节选自北京赛智时代信息技术咨询有限公司（CIOManage咨询）的《2013－2014年中国互联网行业大数据应用年度研究报告》。