LinkedIn数据中心的100G技术改革

LinkedIn的持续发展使得我们必须在未来的3-5年间将我们的数据中心发展到一个宏大的规模。Altair项目是我们创建大规模可扩容数据中心的途径。新的LinkedIn数据中心正在Oregon建设中，内部称作LOR1，这将是我们构建的第一个大容量数据中心架构，这将引领我们将服务器的级别从万级走向十万级。这个数据中心的新型网络架构可以支持根据需要扩充服务器数量，而且利用10/25/50/100的技术阶梯来支持使用不同网络连接的混合多层的服务。

在这篇博客中，我们将阐述我们是如何利用100G技术构建高度可扩容且成本高效软件的，这将引领我们的系统进入下一代的数据中心。

LOR1网络架构

LOR1数据中心的网络网络是基于一个4面5阶段的Clos网络构建，我们决定只使用1RU 的机柜构建整个数据中心的网路，以支持6位数起的服务器。

LinkedIn的四个数据中心都是基于pod配置构建的，一共64个pod，每个pod有数千台服务器，由于pod之间独立构建并且可以优化本地流量，为扩容及过渡到大型数据中心环境需要，我们创建了一个扁平网络使用固定的端对端延时和过载率。我们网络的一些特色如下：

1. 骨干网络无过载 (1:1)

2. 端对端过载超过6：1

3. 解决端到端延迟 – 所有的交换机都是单芯单跳的

4. 只使用1RU的交换机柜

5. 整个数据中心使用同样的交换 (32x100G)

6. 基于上述过载的六位数服务器容量

7. 网络容量与服务数实现三级上载

8. 易于管理，易于扩容

9. 简单!

下图从多个层面展示了LOR1的分片架构

注意: 上图反映了大概LOR1架构中大约10万服务器的实现，并不实际反映出LOR1中服务器的数量。

以100G为基准技术

为了适配100G技术，我们发现自己处于一种困境当中。一方面，在一线使用的时候有很多好处，比如容量、特征、规模等；另一方面，费用是一个问题。在LinkIn我们成功打破了这个矛盾。我们利用 PSM4技术解决了这个问题。我们使用100GPSM技术并按50G划分配置。这使我们可以从最新的交换技术中获利，光连接的价格是使用40G光纤互联的一半。

关注单端口的成本，40G光模块（单点模式）如LR4-Light与PSM4模块成本相当。但是每个PSM4模块却可以传输两个节点而且还比LR4-Light多25%的带宽。

从大的角度上讲数据中心（即使一个较小的尺度），对于投资者的资本支出可以节省数百万美元，而且更快更好。出于保密原因，我们不能分享具体的支出数据，但是我希望大家都根据自己的环境计算下到底能省多少钱。

这个解决方案的唯一挑战是在一个物理端口上分享两个逻辑端口，称作四通道SFP (QSFP)接口。以工业上大容量交换机的观点来看，我们有足够的端口来处理这个问题，但是我们需要光模块供应商给我们提供50G的模块，PSM2或者CWDM2。这将是任何数据中心从10/40G网络迁移到10/25/50/100G网络的理想方式，并且将带领整个产业进入下一个层次。我想号召一下，如果你有志于50G技术的开发，让我们一起把它变为现实吧。