97国际

97国际·(中国区)集团官方网站

中文

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

登录

97国际·(中国区)集团官方网站

产品

< 返回主菜单

产品

解决计划

< 返回主菜单

解决计划中心

行业

服务支持

合作伙伴

关于97国际

投资者关系

返回主菜单

选择区域/语言

97国际·(中国区)集团官方网站

您订阅的产品有更新，请实时查阅

审查详情

首页
手艺博文
全场景
手艺盛宴 | 浅谈LLM推理性能的影响因子——HBD Size

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

手艺盛宴 | 浅谈LLM推理性能的影响因子——HBD Size

作为GenAl时代的全栈服务专家，97国际网络致力于为企业提供笼罩laaS到PaaS的全栈产品及解决计划。

#全场景

宣布时间：2024-05-31
点击量：
点赞：

分享至

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

我想谈论

随着LLM（大语言模子）手艺的飞速生长，市面上泛起越来越多的AGI应用，对话式机械人作为最普遍的应用已经深入普罗公共的事情和学习中。最显著的改变就是从搜索引擎盘问问题，转变为翻开多款对话式机械人的APP举行盘问，然后再综合多个解答举行自己的判断。

那么，“对话式机械人”这类应用是怎样凭证用户的输入，来举行有逻辑的高质量内容输出的呢？其实质是：先通过大宗的“训练”使命使其具备能够明确用户语言、逻辑和头脑的能力，再通过用户给出的输入举行“推理”运算，进而输出对应的内容与用户举行高质量互动。

一、训练与推理的关系

LLM（大型语言模子）的训练和推理是模子生命周期中的两个要害阶段，我们可以类比成理论学习和应用实践的团结。

1.训练阶段（学习阶段）：

该阶段是模子构建的基础，决议了模子的质量和应用效果。

1）在训练阶段，LLM通过大宗的文本数据学习语言的模式、语法、语义和上下文信息。

2）使用深度学习手艺，如神经网络，模子在训练历程中一直优化其参数，以提高对文本数据的建模能力。

2.推理阶段（应用阶段）：

该阶段不涉及参数更新，将训练学到的知识应用到现实问题上。

1）推理阶段是指使用训练好的模子对新的输入数据举行处置惩罚，以天生输出或做出决议的历程。

2）在推理历程中，模子会吸收新的文本输入，展望或天生文本，执行翻译，或者完成其他特定的NLP使命。

3.差别性：

1）目的：训练和推理都旨在实现模子的最佳性能，但训练着重于学习，推理着重于应用。

2）可用性：训练阶段的效果会直接影响推理阶段效果的可用性。

3）资源消耗：训练通常需要大宗的盘算资源和数据，而推理则更注重实时性、本钱和可扩展性。

4）一连学习：推理阶段的反响可以用于刷新模子，通过一连学习或增量学习的方法，使模子顺应新的数据和场景。

二、推理的历程

主流 LLM 基本都是 Decoder Only 的 Transformer 模子，推理历程可以分为两个阶段：

Transformer 模子结构图

Transformer 模子结构图

1.“预填充（Prefill）”阶段：

Prefill阶段是模子凭证用户输入的Tokens通过一次前向撒播来天生第一个输出 Token。在前向撒播历程中，输入的Tokens之间以并行方法执行运算，以是具备较量高的执行效率。

2.“解码（Decoding）”阶段：

在Prefill阶段天生第一个 Token（A）之后最先进入Decoding阶段。在Decoding阶段中，解码器会以自回归的方法逐个天生输出序列的词元。在每一步，它基于已天生的词元和之前的状态来展望下一个词元，直到天生一个特殊的 Stop Token（或者知足用户设置的某个限制条件，好比凌驾一定的长度）天生历程就会阻止。Decoding阶段需要执行多次前向撒播，并且只能以串行的方法执行，因此效率相对较量低。

两个阶段对算力芯片的要求也差别，Prefill阶段为盘算麋集型，适合选用高算力 GPU；Decoding阶段为访存麋集型，响应的可以使用算力不是特殊强而访存带宽较量大的 GPU。

三、推理的评估指标

针对 LLM 推理服务通常有两种挪用模式，如下表所述：

针对 LLM 推理服务通常有两种挪用模式

类似ChatGPT 一样的 Streaming 方法，现在应用较量普遍，主要由于可以给用户带来更好的交互体验，不需要长时间期待即可获得系统反响，因此本文以Streaming模式下的评估指标来举行剖析。

1.首个词元天生时间（Time To First Token，简称TTFT）：

在用户输入盘问的内容后，模子天生第一个输出token所需要的时间。

2.单个输出词元的天生时间（Time Per Output Token，简称TPOT）：

推理系统凭证用户请求天生后续词元所需要的平均时间。在人机实时交互的历程中，让用户获得快速的响应至关主要，延时较高会让客户陷入较长的期待时间，大大影响交互体验，但只要天生速率大于人类的阅读速率就能获得很好的用户体验。

3.Decoding吞吐：

通常用来权衡推理服务器在decoding阶段的输出效率，即decoding阶段的所有Token数目除以该阶段所需要的耗时。

4.单卡吞吐：

通常用来权衡推理服务器完本钱次推理使命的输出效率，即在Prefill阶段以及decoding阶段总共天生的Token数目除以整个推理使命所需要的耗时。

四、推理性能的影响因素

影响LLM推理性能的因子有许多，本文重点剖析差别HBD Size域在差别集群规模以及差别盘算精度下对推理性能的影响。

1.盘算精度：

指浮点数（Floating Point Numbers）的差别精度，好比FP16、FP8、FP4。

2.实例规模：

完本钱次推理使命所需要的GPU卡数目。

3.HBD （High Bandwidth Domain）Size：

一个推理实例内，通过自力的高速通道形玉成联接的GPU卡的数目。（跨服务器通过交流柜互联也算统一个HBD）

我们基于理论建模的和仿真算法，通过控制变量的对例如式，在包管简单因子转变的条件下去剖析盘算精度、集群规模以及HBD Size对推理性能的影响。

测试模子接纳B200算力卡举行模拟仿真，基于QWen 110B的基础上扩展16个MoE专家，Batch Size为16，Token输入序列为32K，同时假设HBD内通过1.8TB/s的双向带宽互联。

HBD （High Bandwidth Domain）Size

如上图数据所示，发明以下征象：

64张B200的GPU卡规模下，组成该推理实例时。在上述模子推理中，HBD Size从8提升至64，TTFT最大下降46%，单卡吞吐最大提升41%。

因此可以得出结论：HBD Size对推理性能有正面作用，即高速互联的GPU卡数目越多，推理性能越强。

HBD （High Bandwidth Domain）Size

如上图数据所示，发明以下征象：

128张B200卡的GPU规模组成推理实例时，在上述模子推理中，HBD Size从8提升至128，TTFT最大下降57%，单卡吞吐最大提升59%；同样证实HBD Size的提升对推理性能有正面作用。

比照上述两份数据，发明以下征象：

从64卡扩展到128卡规模时，TTFT指标从下降46%转变为下降57%，收益更显着；再如单卡吞吐从提升41%转变为提升59%，收益更显着。

因此可以得出结论：当接纳更大规模GPU卡时，HBD Size扩增时性能收益提升趋于显着。

HBD （High Bandwidth Domain）Size

从上述表格数据中，我们发明以下征象：

同为128卡规模下，FP16精度下随着HBD Size提升，Prefill与Decoding阶段的通讯时间占比逐步下降，这种征象在FP8和FP4精度下也同样保存。

当接纳更低盘算精度时，FP16精度下从8卡提升到128卡，单卡吞吐提升倍率为1.36；而在FP4精度下从8卡提升到128卡，单卡的吞吐提升倍率为1.63。

因此可以得出结论：在更低的盘算精度下，HBD Size扩增时性能收益提升趋于显着。

五、结论

1、在相同集群规模和同样的盘算精度下，随着HBD Size的提升，推理性能也随之提升。详细体现为TTFT降低，Decoding吞吐及单卡吞吐提升。

2、在相同盘算精度下，集群规模越大，HBD Size的提升收益愈发明显。详细体现为TTFT降低幅度更大，Decoding吞吐及单卡吞吐提升幅度更大。

3、在相同集群规模下，盘算精度越低，HBD Size的提升收益愈发明显。详细体现为Prefill与Decoding阶段的通讯时间占比逐步下降幅度越慢，单卡吞吐提升倍率幅度越大。

97国际网络，作为GenAI时代的全栈服务专家，致力于为企业提供笼罩IaaS到PaaS的全栈产品及解决计划。我们的产品笼罩高性能网络与GPU算力优化调理，旨在通过立异手艺解决计划，资助客户实现生产效率的奔腾与运营本钱的优化。我们坚信，通过我们的起劲，能够为客户打造一个越发智能、高效和可靠的未来。让我们携手，配合探索GenAI时代的每一个时机。

相关标签：

#全场景

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

点赞

<< 智能接入网关是什么意思?它有什么用?

什么是外地网关？ >>

客户谈论

暂无谈论

我要谈论

您的姓名

您的手机号*

您的邮箱

公司名称

您的谈论*

我已仔细阅读并赞成隐私声明

验证码*

提交谈论

更多手艺博文

任何需要，请联系97国际

与售前照料攀谈

填写项目需求表单

售前咨询
售后服务
意见反响

97国际·(中国区)集团官方网站

返回顶部

收起

文档AI助手

文档评价

资料内容是否对您有资助？

您对目今页面的知足度怎样？

不咋滴

很是好

您知足的缘故原由是（多�。�？

您对文档是否尚有其它的问题或建议？

为尽快解决问题，请您留下联系方法以便回复

邮箱

手机号

谢谢您的反�。�

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

请选择服务项目

售前咨询

售后服务

意见反响

更多联系方法