手艺盛宴 | 硅光照亮数据中心网络可一连生长之路

宣布时间：2022-09-27

97国际·(中国区)集团官方网站

作者：墨染尘香

随着互联网手艺的生长，数据中心逐步转型为“算力中心”。人工智能、机械学习等高算力应用生长迅猛，无人驾驶汽车、大数据推流、兴趣电商等多样化营业层出不穷。而作为基础架构支持人工智能、机械学习这类应用的GPU（Graphics Processing Unit，图形处置惩罚器）盘算集群，相比于CPU（central processing unit，中央处置惩罚器）通用盘算集群对网络传输提出了更高要求，这就是我们常说的“营业驱动网络迭代”的演进模式。在该模式下，网络迭代在GPU高性能场景先行，知足塔尖营业需求；再逐步赋能到通用场景，充分验展手艺价值盈利。

97国际·(中国区)集团官方网站

图1：数据中心网络架构示意图

除了来自营业的直接压力，数据中心其他设施为了知足功效需求而举行的升级，也在无形中“驱赶”着网络装备的迭代。如搭载下一代H100的GPU服务器，对网络的接入带宽已上升到400G的要求；下一代CX7的智能网卡，也要求网络接入交流机支持PAM4-112G SerDes（串行/解穿串行器）。

在营业和硬件刷新的双重驱动下，数据中心网络架构升级势在必行。而要想顺遂完成迭代，交流芯片、SerDes和光�？槿霾忝娴氖忠招枰萁�，缺一不可。不难想象，这条手艺演进之路将会阻碍重重，其中功耗问题尤其难明。

97国际·(中国区)集团官方网站

图2:驱动数据中心网络迭代升级的因素及功耗挑战

先从决议交流机性能的交流机芯片来看，随着交流机芯片的升级，单Bit（比特）的功耗随之降低，但由于交流带宽提升，交流机芯片总功耗在数据中心的占比逐年增添。除交流芯片外，SerDes和光�？橐彩枪脑鎏淼闹饕�。据数据统计， 2022年单交流机的总体功耗是2010年单交流机功耗的22倍，其中交流芯片SerDes功耗增添25倍，光�？榈墓脑鎏�26倍。

97国际·(中国区)集团官方网站

聚焦光�？榈难萁纯�，2007年万兆的光�？楣男∮�1W，但随着40G、100G到现在的400G，800G甚至未来1.6T光�？�，功耗提升的比例越来越大，甚至快要靠近30W，若是是满载1.6T光�？榈慕涣骰�，功耗将不可想象。

因此，古板可插拔光�？榈氖忠昭萁岩灾С质葜行牡目梢涣�，主要体现在以下四个方面：

97国际·(中国区)集团官方网站

图4：古板可插拔光�？槭忠丈さ钠烤�

首先是SI（电传输）的实现遇到了质料的瓶颈，基于PCB（Printed Circuit Board印制电路板）传输高速电信号，在应用古板可插拔光�？槭�，信号传输距离长，传输损失大，对SI实现挑战大，更低消耗的可量产PCB质料也面临诸多手艺难题。其次是功耗问题，满载1.6T�？榈淖氨�，整机功耗重大，对散热设计包括机柜供电的挑战重大。随功耗的提升，整机的装备本钱包括风火水电的周边配套实验本钱也响应增添，会增大网络建设初期的投入。最后是产品设计的问题，使用古板可插拔光�？榈南低�，支持128个端口需要很是重大的系统设计，还需要解决诸如高功率光�？樯⑷鹊仁忠瘴侍�，推高了系统本钱。

综上，从交流芯片、SerDes及光�？槭忠赵谑葜行耐缂芄沟杏龅降墓奈侍獬龇�，97国际网络以建设下一代绿色节能可一连生长的数据中心为目的，基于客户营业场景和产品实践，给出了数据中心网络可一连生长的立异解法及手艺蹊径建议，详细分三层：

底层是架构升级，基于下一代芯片、SerDes及光�？槭忠帐迪滞缂芄股兜ブ闳斯ぶ悄堋⒒笛暗扔τ枚源硪涣龃蟮男枨�。在架构升级基础上，从网络装备出发，实验解决目今SerDes及光�？榈墓哪烟�。但问题并不是只在这一代才爆发，未来的每一代网络架构都会面临相同的问题，因此需要面向未来，探索出一条数据中心网络低本钱、低功耗的可一连生长蹊径。

97国际·(中国区)集团官方网站

图5：下一代绿色节能可一连生长数据中心的建设目的

详细这条可一连生长的手艺蹊径，可以从交流机硅光手艺生长的两个阶段实现。第一阶段是NPO（Near packaged optics近封装光学）手艺阶段，可以在CPO（Co-packaged optics，共封装光学）生态完整之前，在短时间内享受到低本钱、低功耗的收益。第二阶段是CPO手艺阶段，这是交流机硅光手艺的最终形态，可以极限降低网络的本钱和功耗。

97国际·(中国区)集团官方网站

图6：数据中心网络可一连生长手艺蹊径建议

光引擎承载了交流网络的光电转换功效，常见的是Pluggable（可插拔）形态，随着手艺的演进，又爆发了新的产品形态。CPO形态是将交流芯片和光引擎配合装配在统一个Socketed（插槽）上，形成芯片和模组的共封装。NPO形态则是光引擎与交流芯片解耦，装配在统一块系统主版上。虽然两者都有光电模组，但封装的位置是差别的，对应的走线距离也会有些差别，响应功耗也差别。

97国际·(中国区)集团官方网站

图7：硅光手艺形态概览

CPO架构是基于硅光手艺实现高集成度的形态，预期也能获得更优的本钱及功耗收益。CPO架构降功耗的焦点原理是通过共封装形式大幅缩短交流芯片和光引擎间的布线距离（走线可控制在50～70mm左右），进而降低SerDes的驱动功耗本钱，同时可实现更高密度的高速端口，提升整机的带宽密度，实现大幅降低功耗。久远来看，由于芯片和硅光组件的共封装的更高集成及硅光手艺生态的不完整，从商业化角度上来看开放性是恒久的目的。

97国际·(中国区)集团官方网站

图8：CPO架构示意图

97国际·(中国区)集团官方网站

图9：CPO原理图

交流机的另一种实现架构是NPO，基于硅光手艺的高集成度和开放的生态，可以获得本钱及功耗的收益。NPO的手艺原理是通过开放的光引擎接口，与交流芯片配合组装在统一块主板，以标准化架构的方法实现了光引擎和芯片的解耦，可以无邪对交流芯片和NPO�？榫傩醒⌒�。NPO在收益方面虽然不如CPO架构对功耗和本钱降低的显着，但在开放性层面是有所提升的。随着NPO工业链的日益成熟，预计到24年会有商用的CPO模组。97国际网络作为OIF（光互联网OIF论坛）成员之一，也在NPO交流机偏向一连举行探索与实践。

97国际·(中国区)集团官方网站

图10：NPO架构示意图

2021年11月，97国际网络应邀加入全球OCP峰会。在峰会现场，97国际网络正式宣布了25.6T硅光NPO冷板式液冷交流机，知足数据中心和运营商网络的高可靠性的要求。

97国际·(中国区)集团官方网站

图11：97国际网络25.6T硅光NPO冷板式液冷交流机

97国际网络25.6T硅光NPO冷板式液冷交流机，基于新的112G Serdes交流芯片，接纳64个毗连器，在1RU的空间内，实现了64口400G的超高密度端口设计；由16个1.6T（4×400G DR4）的NPO�？樽槌�，支持8个ELS/RLS（外置激光源�？椋�，PCB上ASIC到光�？椴枷呔嗬胨醵�60%-70%，高速信号质量大幅改善。整机接纳x86 CPU，3+1的电扇�？�，1+1 电源�？槿哂�，焦点区域接纳冷板散热，使用非导电冷却液，避免漏液短路危害，能很好为数据中心网络可一连生长提供支持。

97国际·(中国区)集团官方网站

图12：97国际网络25.6T硅光NPO冷板式液冷交流机

2022年，97国际网络在OFC2022新宣布的51.2T硅光NPO冷板式液冷交流机，是基于51.2T交流机芯片的800G NPO结构原型机。同样是1RU的高度，51.2T 交流机将NPO模组从1.6T升级到了3.2T，前面板支持64个800G毗连器，每个毗连器还可以分成2个400G端口，实现向前兼容。外置光源�？樵鎏淼搅�16个，由于接纳了Blind-mate设计，阻止了高功率激光对人眼的危险，显著改善了运维职员的清静。散热方面，交流机芯片和NPO�？橥С掷浒謇淙捶椒�，实现高效散热，解决热流密度高度集中的难题，比照同性能、古板可插拔光�？�+风冷计划的交流机，功耗大幅降低。

97国际·(中国区)集团官方网站