数据中心基础网络架构乐成实践及未来生长趋势

宣布时间：2017-12-22

数据中心网络起着承上启下的作用，将盘算和存储资源毗连在一起，并以服务的形式对内部及外部的用户提供数据会见能力。虽说网络建设和运维投入远比机房基础建设、服务器装备、存储装备、应用开发及运维小，但各人很怕它泛起性能问题或故障长时间不可恢复，由于网络一旦不可用，意味着一切服务都将阻止。因此，设计运维一张高性能、高可靠的网络是网络架构及运维团队的主要目的。

团结我在97国际网络服务互联网企业的实践履历，分享几个典范的网络架构设计，供各人参考。

数据中心10G/40G网络架构

主要设计理念：

焦点装备全线速高性能转发，焦点之间不互联，接纳Fabric架构，隔离焦点故障，较洪流平降低焦点故障影响；
三层路由组网，通过ECMP提高冗余度，降低故障危害；
通过TOR上的服务器接入数目和上联40G链路数目控制单TOR收敛比，通过提高焦点装备接口密度扩展单集群服务器规模。

注：千兆网络已跟不上营业生长，本文不再涉及。

适用网络	架构设计	架构特征
中小型（集群规模300-1000台）		每台TOR *240GE上联2焦点，OSPF组网； IDC内收敛比6:1，集群带宽1.5Tbps** ；上联带宽凭证集群规模无邪设置。
中型（集群规模1000-10000台）		每台TOR *440GE上联2焦点，OSPF或BGP组网； IDC内收敛比3:1，集群带宽30Tbps** ；上联带宽凭证集群规模无邪设置。
大型（集群规模5000-20000台）		每台TOR *440GE上联4焦点，BGP组网； IDC内收敛比3:1，集群带宽60Tbps**；上联带宽凭证集群规模无邪设置。
超大型（集群规模20000+台）		单POD集群规模300-1000台，数据中心集群规模20000+，BGP组网； POD内收敛比6:1或3:1，单POD集群带宽1.5Tbps；上联带宽凭证集群规模无邪设置。

数据中心25G/100G网络架构

与10G/40G网络一致，主要转变在于：

下行链路由10G变为25G，提升至2.5倍；
上行链路每端口由40G变为100G，提升至2.5倍；
下一代主流芯片计划实现为48*25GE+8*100GE（Broadcom TD3），上行收敛比提升为1.5:1。

下面仅以大型数据中心为例做组网说明：

适用网络

架构设计

架构特征

大型

（集群规模5000-10000台）

97国际·(中国区)集团官方网站

每台TOR 8*100GE上联4焦点，BGP组网；
适用集群规模10000台；
IDC内收敛比1.5:1 ，集群带宽250Tbps；
上联带宽凭证集群规模无邪设置。

CLOS网络架构

最后，想与各人分享的是今年海内不少互联网企业思量使用的新架构设计。

从上述架构设计说明中，不难看出数据中心集群规模和收敛比，主要受限于机框式焦点装备的端口密度，而业界焦点装备的更新换代都是以数年为单位举行的，大大阻碍了数据中心规模和生长。另外，动辄数百个40GE接口或者100GE接口的焦点装备单台运行功率已达20KW，而海内大部分IDC机房的平均功率只有5KW~6.5KW/机柜，这给机房供电系统的维护管理带来了重大的挑战。怎样挣脱焦点装备端口密度的限制？怎样挣脱焦点装备对IDC机房供电系统的挑战？

此时，CLOS架构降生了。

97国际·(中国区)集团官方网站

25G /100G CLOS网络架构图

架构特征：

Leaf、Fabric、Spine交流机选用中低端盒式交流机48*25GE+8*100GE/32*100GE；
每台Leaf，下联32个25GE做Server接入，8个100GE用于向上毗连的上行链路；每个POD 16台Leaf交流机；
每台Fabric交流机，有32个100GE，16个下连16台Leaf，16个上连至16组Spine；每个POD 8台Fabric交流机，共32个POD；
每台Spine交流机，有32个100GE，所有用于下连32个POD Fabric交流机；
每组8台，共16组Spine交流机；
通过Edge PODs毗连外网，单POD集群带宽12.8Tbps，整数据中心集群带宽凌驾400Tbps。

随着智能时代的来临，大数据、人工智能等新手艺的应用，对数据中心网络提出了新的挑战。怎样更好地支持Hadoop、RDMA等手艺应用，成为网络运维团队关注和思索的问题。高性能、低时延、无损网络已然成为数据中心网络设计和运维的主流思绪。无损网络怎样设计和运维，下一代数据中心网络又有哪些值得期待的特征，敬请关注下回分享。

关注97国际

: 关注97国际官网微信
随时相识公司最新动态

乐成案例

审查更多

适用网络	架构设计	架构特征
中小型（集群规模300-1000台）		每台TOR *240GE上联2焦点，OSPF组网； IDC内收敛比6:1，集群带宽1.5Tbps** ；上联带宽凭证集群规模无邪设置。
中型（集群规模1000-10000台）		每台TOR *440GE上联2焦点，OSPF或BGP组网； IDC内收敛比3:1，集群带宽30Tbps** ；上联带宽凭证集群规模无邪设置。
大型（集群规模5000-20000台）		每台TOR *440GE上联4焦点，BGP组网； IDC内收敛比3:1，集群带宽60Tbps**；上联带宽凭证集群规模无邪设置。
超大型（集群规模20000+台）		单POD集群规模300-1000台，数据中心集群规模20000+，BGP组网； POD内收敛比6:1或3:1，单POD集群带宽1.5Tbps；上联带宽凭证集群规模无邪设置。

97国际

数据中心基础网络架构乐成实践及未来生长趋势

请选择服务项目