97国际

生产无周游 ,智造更从容 丨 从扬子江药业看企业无线零周游落地之道
预约直播
融合光加速 ,慧联全场景 丨 97国际极简以太彩光5.0 界说万兆园区全场景新范式
预约直播
97国际·(中国区)集团官方网站
产品
< 返回主菜单
产品中心
产品
解决计划
< 返回主菜单
解决计划中心
行业
合作伙伴
返回主菜单
选择区域/语言
97国际·(中国区)集团官方网站

您订阅的产品有更新 ,请实时查阅

审查详情
97国际·(中国区)集团官方网站 97国际·(中国区)集团官方网站

DCN场景下的BGP协议优化特征总结

【BGP协议】本文将通过某互联网公司工程师小李在建设DCN时间的亲自填坑履向来相识BGP协议在数据中心场景的优化特征 。

  • 97国际·(中国区)集团官方网站

    宣布时间:2019-11-21

  • 97国际·(中国区)集团官方网站

    点击量:

  • 97国际·(中国区)集团官方网站

    点赞:

分享至

97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站

我想谈论

前言

随着超大型互联网数据中心的规模优势愈加显着 ,特殊是在IPv4、IPv6双栈模式下 ,关于我们网络工程师而言 ,所面临的建设和维护压力也是越来越大 。在上一篇文章《大型数据中心BGP路由协议妄想》中 ,我们讨论了BGP路由协议在数据中心的规模安排 ,可以大大提升网络的路由性能 ,简化网络妄想 ,可是数据中心网络事实与古板广域网差别 ,关于BGP的安排和运维要求也会保存差别 ,通过优化BGP协议可以进一步提升网络路由性能及简化运维 。本文将通过某互联网公司工程师小李在建设DCN时间的亲自填坑履向来相识BGP协议在数据中心场景的优化特征 。

-------------我是华漂亮的支解线------------

我是小李 。

我上大学念的是执法专业 ,为了省点网费 ,跟校园网安排的97国际认证计费系统举行了多年的斗智斗勇 ,也因此爱上了网络这个行当 ,并且考取了97国际网络的RCIE(97国际认证网络专家)认证 ,结业后顺遂地进入了一家互联网企业事情 ,天天就是处置惩罚种种网络的建设、妄想、设置、变换 ,也可谓是履历富厚的老司机 。

下面 ,就是我的故事 ,请仔细听噢!

网络建设篇

早晨 ,小李吹着口哨听着歌 ,一进办公室就接到了老板一个大活 ,要建设一个可以容纳5万台以上服务器的数据中心 ,营业服务器需要运行IPv4和IPv6双栈模式 ,先给出详细的网络设计计划和妄想 。关于网络妄想 ,除了物理组网外 ,较量重大的就是路由、地址等妄想 ,可是作为97国际《大型数据中心BGP路由协议妄想》文章的优异读者 ,小李关于路由协议的选择和妄想没有任何疑虑 ,但思量到双栈模式下会有大宗的接口地址以及管理地址 ,顿感急躁!

摆在眼前的情形是:

服务器双栈运行 ,意味着网络也要开启双栈模式;

大宗装备互联地址及管理地址妄想 ,包括IPv4和IPV6;

BGP的IPv4邻人和IPv6邻人设置 。

凭证古板设置要领虽然能实现 ,这个没有任何问题 ,但小李作为一个有着立异意识的互联网一线大厂工程师 ,并未急于凭证履历举行妄想 ,有没有更简朴的计划呢 ?经由一番厂家的交流 ,小李接纳97国际网络提供的妄想计划:

1.基于Linklocal地址建设会话---简化IPv6地址的分派
Link-localaddress是IPv6协议栈引入的新地址类型 ,接口开启IPv6协议后 ,可以自动天生Link-localaddress(FE80::/10) ,并且地址为外地链路有用 。装备支持基于Link-local地址建设多个BGP邻人 ,从而可以免去妄想分派自力的IPv6地址 。
2.单BGP会话双栈路由---镌汰BGP邻人数目
仅通过IPv4地址或者仅通过IPv6地址建设一个BGP邻人会话 ,同时实现IPv4、IPv6双栈路由转达的功效 ,从而抵达节约装备邻人表项 。

小李发明这两个功效在这种场景下的团结简直不要太好用 ,通过IPv6的Link-local address ,通过指定邻人接口即可建设BGP邻人 ,并基于每个邻人激活IPv4、IPv6双栈路由模式 ,从而实现单IPv6会话 ,转达IPv4、IPv6双栈路由 。

小李的妄想提交给了向导后 ,马上获得审批通过 ,并连忙最先建设执行 ,就在服务器批量上线的时间 ,小李又接到了一个新的需求 ,数据中心单独计齐整个POD ,这个POD服务器要运行Docker ,宿主神秘与TOR交流机之间需要通过BGP举行路由交流 ,宿主机的网段已经妄想完成 ,但详细地址要等营业上线的时间才华拿到 ,做盛意理准备吧!

小李大吃一惊 ,什么心理准备啊 ,还不是营业每上线一台宿主机我都要配合他们做一次 BGP邻人对接设置吗 ?凭证营业上线的习惯每次都要比及后三更才华上线 ,难不可 ,天天就为了设置一个BGP邻人 ,一分钟不到的事情 ,还要跟他们一起加个班么 ?

加班虽好 ,可是事情内容价值不高 。以是小李最先琢磨 ,既然网段已经妄想好 ,若是BGP的邻人能基于网段建设 ,那不就不需要天天跟营业线的人一起加班了么 ?

通过翻阅装备手册 ,小李还真的发明了这个功效:

基于网段被动建设会话
网络装备设置基于网段的BGP邻人 ,设置此模式后 ,不会自动提倡BGP邻人建设请求 ,而是被动吸收到对端邻人提倡建设请求后 ,凭证邻人地址天生对应的真实邻人 ,并建设会话 。

时间指向晚上八点钟 ,设置完成 ,大功告成 。作为一个互联网一线大厂的优异工程师 ,小李吹着口哨听着歌打卡下班了 ,尚有时间健个身 ,心里美滋滋 。

网络扩容篇

某日 ,小李获得向导安排的一项新的使命 ,近期公司要上线一批AI营业 ,规模虽然不大 ,可是原有网络的收敛较量高 ,生怕不可知足高性能盘算的需求 ,要求小李针对一个POD举行扩容 ,降低收敛比 ,但又不可影响原来在线的营业 ,扩容后的网络架构 ,如图一所示:


▲ 图一:POD扩容架构

小李接到使命后 ,心里自喜 ,接纳Spine-Leaf的一个很大的利益就是横向扩容利便 ,于是就凭证妄想割接第一台POD-Spine装备上线 ,这时间营业反响有少量的丢包 。� � ?虽然是少量丢包 ,但也引发了小李深深的思索 ,究竟是怎么回事呢 ?

检查设置OK、路由学习正常 ,为什么有丢包呢 ?经由仔细剖析 ,小李发明原来问题的泉源在于路由表项的装置差别上 ,新的POD-Spine上线后 ,向POD-Leaf以及Spine通告了自己的路由 ,并学习网络的路由 ,就在此时 ,关于POD-Leaf来说 ,ECMP由两条 ,连忙酿成了三条 ,并且发送数据流量 ,与此同时新上线的POD-Spine装备虽然完成了网络路由的学习 ,但装置这些路由表项需要一定的时间 ,从而有一个时间差 ,导致服务器的流量泛起了少量的丢包 ,那怎样解决这个问题呢 ?小李此时想若是装备能够先将路由学习并装置完成以后 ,再向邻人通告自己完整的路由 ,那这个时间差不就不保存了吗 ?想到这里 ,小李通过翻阅装备手册发明:

BGP路由延迟通告
将学习到的路由先装置到硬件路由表项后 ,再向邻人通告这些路由

有了这个功效后应该就能解决这个问题了吧!小李连忙举行了第二台POD-Spine装备的上线 ,并开启了此功效 ,同时还请营业组同事实时监控服务器的丢包情形 ,发明第二台装备上线后没有造成任何的丢包 。搞定 ,胜利 ,欧耶~

故障处置惩罚篇


天有意外风云 ,人有朝夕祸福 ,小概率事务也是会爆发的 。

如图二所示:


▲ 图二:网络维护区域

这天工程师小王找小李哭诉 ,由于Spine节点装备泛起故障、宕机 ,导致小王被营业部分投诉 ,体现泛起了10多秒的丢包 。咱们网络有10K多的路由 ,收敛也需要时间啊 ,丢点包怎么了 ,营业又没断 。咦 ?你认真的区域应该同样会受到这台装备故障牵连 ,你怎么还能那么潇洒呢 ,营业部分没有投诉你吗 ?

这时小李低声说 ,告诉你一个秘笈吧 ,保你轻松应对“黑天鹅事务” ,这个秘笈叫做:

BGP的PIC(prefix independent
convergence)快切
BGP的PIC快切实现了路由前缀无关的收敛 ,收敛速率与路由规模无关 ,因此能实现大规模路由的快速切换 。

PIC快切功效基于AS号来实现 ,在EBGP之间启用 ,开启PIC快切功效后 ,BGP宣布路由时会携带PIC扩展整体属性 ,吸收该BGP路由的交流机会凭证宣布者的AS号和router-id分派一个唯一的索引ID ,通过优选盘算后会携带该索引下发到转发面 。当宣布者上行链路所有中止 ,无法收到此AS的路由信息时 ,通过查找对应的索引ID ,通告转发面将关联该ID的路由一次性完成切换 ,从而实现营业的快速收敛 ,无需期待逐条删除路由来收敛(通俗路由收敛需要逐条删除失效路由信息 ,因此收敛时间与路由规模强相关) 。

简朴来说呢 ,就是来自故障节点装备(Spine)宣布的路由 ,POD-Spine装备通过BGP的私有属性举行了归类分组 ,并且携带私有属性将路由通告下游(POD-Leaf) ,一旦Spine节点故障 ,POD-Spine自身会快速切换 ,并通过私有属性通告POD-Leaf所有路由失效并举行切换 。这样 ,我的这个POD内部就能够实现快速的收敛了 。这种实现方法做到了与前缀无关的路由收敛 ,并且很是适用于大规模的路由切换 ,实测数据显示:

12K路由收敛实测:

未开启PIC快切:13S

开启PIC快切:1S以内(0.7S)(此切换时间不随路由规模转变而转变 ,在大规模路由情形下尤为适用)

那既然是私有属性 ,只能自己识别 ,别的装备不支持会影响路由学习吗 ?小王疑惑地问 。不会的 ,关于不支持这个属性的装备 ,会自动过滤掉这个信息 ,不会影响其他装备路由的正常学习 。好吧 ,今天又涨知识了 ,带着满脸钦佩心情的小王回到了自己的工位 ,并将所学知识点连忙应用到自己的网络 ,降低“黑天鹅事务”爆发后爆发的损失 。

焦点迁徙篇

有人问这次互联网严冬究竟有多冷 ,小李体现 ,究竟有多冷我不知道 ,但要做的事情一点没有少 。这不 ,又接到了一个新机房建设使命 。接到使命的小李 ,连忙举行了网络的妄想以及硬件核对 ,发明还缺少两台POD-Spine装备 ?难不可这个装备也要从谁人机房迁徙过来吗 ?小李获得的回复是一定的 ,谁人老机房的营业没有凭证预期妄想安排 ,流量没有那么高了 ,将收敛比提高一下 ,并下线两台POD-Spine装备吧 ,但一定不可影响营业哦~


▲ 图三:某某机房网络架构

装备下线 ,要先将待下线装备流量迁徙走 ,包管不影响营业 ,这时小李通过与装备厂家相同 ,获取了几种BGP流量迁徙的方法:


Neighbor shutdown
通过向邻人发送notification报文来见告邻人已经人为shutdown邻人关系 ,常用于框式装备单线卡隔离变换 。

Graceful shutdown
向邻人装备发送UPDATE报文 ,用于通告优先级低的路由(local-preference 值为0或MED值为4294967295) ,并且会携带着名的gshut community ,从而使邻人装备举行路由更新 ,使其流量预先切换到备份链路或其他等价链路上 。

BGP advertise-map
通过向邻人发送UPDATE报文携带的withdraw routes字段 ,见告邻人路由失效 ,邻人收到UPDATE报文之后会更新外地路由表 ,从而将相关的路由都删除 。从使其的流量切换到备份链路或其他等价链路上 。


通过原理的比照剖析 ,小李总结出这几种流量迁徙方法的差别点 ,如表1所示


▲ 表一:BGP流量迁徙方法总结

经由比照剖析 ,小李发明Neighbor shutdown方法太暴力 ,还会丢包;Graceful shutdown虽然不丢包 ,但需要期待路由收敛 ,时间较量长 ,而第三种BGP Advertise-Map直接通告路由失效的方法 ,既快捷又不丢包 ,并且特殊场景还可以通过ACL加以控制 ,就用它了 。

总结

手艺路漫漫 ,只有通过一直地学习、积累和实践才华进取前行 。在DCN场景下的BGP优化主要的着重点在于在双栈模式下简化BGP协议的安排、提高BGP协议的收敛性能以及平稳的流量迁徙 。网工小李把他事情中的履历毫无保存地分享给了其他的网工 ,希望他们有所收获 。而他也在手艺路上一直的生长 ,终于穿上了他心爱的格子衫 ,并且 。 。 。 。 。 。

他头上的发量 ,始终是个谜 。

 

相关推荐:

大型数据中心BGP路由协议妄想

大型数据中心网络路由协议选择

新一代数据中心网络架构

Clos组网手艺

怎样实现数据中心网络架构“去”堆叠

未来30年不落伍的网络架构 ,智能网络

互联网数据中心网络25G组网架构设计

更多手艺博文

任何需要 ,请联系97国际

97国际·(中国区)集团官方网站

返回顶部

收起
97国际·(中国区)集团官方网站 文档AI助手
97国际·(中国区)集团官方网站 文档评价
资料内容是否对您有资助 ?
您对目今页面的知足度怎样 ?
不咋滴
很是好
您知足的缘故原由是(多� 。� ?
您对文档是否尚有其它的问题或建议 ?
为尽快解决问题 ,请您留下联系方法以便回复
邮箱
手机号
谢谢您的反� 。�
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
请选择服务项目
关闭咨询页
售前咨询 售前咨询
售前咨询
售后服务 售后服务
售后服务
意见反响 意见反响
意见反响
更多联系方法
网站地图