互联网数据中心网络25G组网架构设计

【网络组网架构】最常见的网络架构模子为二级网络架构和三级网络架构，本文为各人剖析这两种架构与服务器规模、适用营业应用需求之间的对应关系。

宣布时间：2019-04-17
点击量：
点赞：

分享至

我想谈论

背景

为什么升级到25G以太网络？

已往的一年里，我们可以看到许多互联网数据中心的服务器接入已经从10G以太网升级到25G以太网，各人为什么要升级到25G以太网呢？

• 支持高性能营业：主要配合营业的快速扩张和应用系统性能的提升，例如基于AI、大数据的互联网应用推动营业流量成倍增添；

• 支持营业突发：保存营业突发的应用热门使得营业方需要基础架构做到全力支持；
匹配服务器性能的升级：服务器CPU及存储I/O的性能升级，使得每台服务器网络吞吐性能增添，10G组网无法知足带宽需求；

• 单比特本钱降低：关于公有云类营业，25G以太网实现网络单比特本钱下降，降低运营本钱；
手艺盈利：新一代的25G以太网交流机芯片，提供了富厚的手艺特征，如Telemetry、RDMA（Remote Direct Memory Access，远程直接数据存�。┑�，大大提升了基础网络运维的效率，降低了本钱。

在互联网数据中心中，25G以太网相比10G以太网在组网架构层面有什么转变？接下来就让我们一起来相识25G组网架构。

是什么决议了25G组网架构？

在安排建设25G数据中心网络时，为更好地举行产品选型和架构计划简直定，我们可以把影响因素归纳到两个方面：

• 服务器规模：指预期单集群中服务器的数目；

• 营业应用需求：指差别营业类型对网络收敛比、服务器单上联/双上联等方面的要求。

最常见的网络架构模子为二级网络架构和三级网络架构，下面将为各人剖析这两种架构与服务器规模、适用营业应用需求之间的对应关系。

25G网络架构设计计划

二级网络架构

97国际·(中国区)集团官方网站

▲图1：二级网络架构拓扑图

如上图1中的两种二级网络架构拓扑图，我们针对服务器单上联/双上联方法、规模、装备选型、收敛比等方面举行剖析如下：

97国际·(中国区)集团官方网站

▲表1：二级网络架构比照表

当单集群服务器规模在1000～2000台时，可以接纳基于盒式（BOX）多焦点二级架构即可知足需求，由于该架构中接纳同系列单芯片交流机计划，关于PFC（Priority-based Flow Control，基于优先级的流量控制）+ECN（Explicit Congestion Notification，显式拥塞通知）+MMU（Memory Management Unit，内存管理单位）管理，芯片水线设置一致性高、协调性好，同时转发时延低、吞吐率高，整网可安排RDMA营业和网络可视化计划。

当单集群服务器规模在5000～20000台时，可以接纳基于Chassis多焦点二级架构，该架构Spine层焦点装备有两种类型焦点板卡可以选择，划分如下：

• CB类板卡，知足营业常泛起多打一的场景，通过大缓存机制有用镌汰多打一场景下的丢包；

• DB类板卡，知足营业关于RDMA组网和网络可视化要求较高场景，同时该架构继续了基于BOX多焦点二级架构的优势。

在二级组网架构中，我们可以基于单集群服务器规模和营业需求决议接纳哪种架构，在组网中路由协议部分，在Spine-Leaf之间可接纳EBGP（External Border Gateway Protocol，外部界线网关协议）协议，所有Leaf装备安排相同AS 号（Autonomous System number，自治域系统号），Spine层吸收Leaf层路由后举行AS号替换，解决EBGP水平支解问题。当营业需要服务器双上联时，建议接纳去堆叠计划举行Leaf层安排，详细细节详见《【第六期】怎样实现数据中心网络架构“去”堆叠》。

三级网络架构

97国际·(中国区)集团官方网站

▲图2：三级架构拓扑图

关于单集群服务器规模凌驾2万台的超大型数据中心，Spine+Leaf的二级组网已经不可知足需求，且扩展性也变差。这时建议接纳基于POD（Point Of Delivery，数据中心最小单位）横向扩展（Scale-out）的三级架构。

如上图2，每个POD内是Spine+Leaf的二级组网，服务器数目和网络装备数目标准化牢靠，多个POD之间再通过焦点装备举行互联，从而实现更大规模的组网，解决无邪扩展的问题。我们通过POD数目、服务器规模、装备选型和收敛比来举行泛起如下表2：

97国际·(中国区)集团官方网站

▲表2：三级架构比照表

在三级组网架构中，同样也是相同的架构下两种装备选型，其中POD内部即为标准的Spine+Leaf二级架构，装备选型一致。在焦点层举行区分选择，该选择如二级架构中的Chassis（CB类板卡）多焦点二级架构和Chassis（DB类板卡）多焦点二级架构的选择，在此不再赘述。但这里需要注重当营业需求安排RDMA营业时，建议将RDMA域的安排规模控制在POD内部，由于更大规模的RDMA安排，PFC和ECN报文的控制难度将极具增大，同时拥塞反压影响更为严重。若是要妄想更大规模的数据中心，在单集群实现凌驾10万台服务器，就需要升级Spine层交流机装备，接纳可提供128口100G的BOX装备，这样POD内可实现服务器规模翻倍。

下一代数据中心架构展望

据IDC（International Data Corporation，国际数据公司）展望，2025年数据中心要处置惩罚的数据量将抵达175ZB，是2018年的5倍之多，且中国增添最为迅速，从2018年的7.6ZB预计到2025年增添到48.6ZB。在快速增添的数据眼前，基础网络需要多方面的起劲，例如从网络带宽的迭代升级和1:1网络收敛比的IP CLOS架构上举行刷新，那么下一代组网架构在IP CLOS网络架构中是否还会接纳Chassis装备，以及未来服务器接入将演进升级到什么形态以知足营业需求剖析将在下一篇文章详细解读。

本期作者：王磊
97国际网络互联网系统部行业咨询

97国际·(中国区)集团官方网站