结论前置：互联效率差异主要来自协议开销与流量模式匹配度

多卡推理的互联效率，很少由标称带宽单独决定。围绕S16总决赛期间公开的几类互联方案，可观察到的规律是：同样的标称带宽下，全Reduce密集的张量并行与点对点为主的流水并行，实际有效带宽可以相差三成以上。S16总决赛技术解读栏目本篇从数据盘点角度，把协议开销、流量模式与拓扑形状三者的影响拆开看，帮助读者建立可复用的折算方法。

文中涉及的拓扑参数均取自公开技术文档，具体效率数字标注为示例数据，仅用于演示折算过程，不代表任何实际部署的实测结论。

一、协议开销：标称带宽的第一层折扣

任何互联的标称带宽都是物理层理想值，实际可用带宽要先扣除编码、校验与协议头开销。以常见的高带宽互联为例，链路层编码与重传机制会带走一部分有效载荷，这一比例在公开文档中有明确说明，但常被选型讨论忽略。S16总决赛期间不少对比表格只列标称值，读者需要自己补上这层折扣。

  • 编码方式决定基础开销比例，不同代际互联的开销结构不同。
  • 流控与重传机制在拥塞时放大开销，低负载下不明显。
  • 小消息密集场景的协议头占比更高，有效带宽下降更明显。
  • 因此评估互联时应区分“大块连续传输”与“细碎同步”两种负载。

用示例数据说明：某互联标称带宽为900GB/s，扣除编码与协议开销后，大块传输的有效带宽约为标称的八成；而在全Reduce这类小消息密集场景下，有效带宽可能只有标称的六成。这个差距足以改变并行策略的选择。

二、流量模式：全Reduce与点对点的效率分野

张量并行每层结束都要做全Reduce，通信模式是典型的集合通信，对拓扑的对称性与聚合能力要求高；流水并行以点对点传递激活值为主，更看重单跳延迟与缓冲深度。S16总决赛技术解读栏目在盘点中发现，同一套硬件在不同并行策略下的有效带宽表现差异显著，原因正是流量模式与拓扑形状的匹配度不同。

  • 全Reduce在环形拓扑上需要多跳累积，跳数越多，延迟与开销越大。
  • 交换式拓扑对集合通信更友好，但成本与功耗结构不同。
  • 点对点流量对拓扑对称性不敏感，对单链路质量更敏感。
  • 混合并行下两种流量并存，需按占比加权估算整体效率。

从数据角度看，S16总决赛周期内公开的方案大致分为两类：偏重集合通信效率的交换式互联，与偏重点对点扩展的直连式互联。前者适合张量并行度高的部署，后者在流水并行与专家并行场景下更灵活。选型前先确定并行策略，再对照流量模式，比单纯比较标称带宽更有效。

三、拓扑形状与并行度的匹配：三个可量化的判断

拓扑形状决定了通信路径的长度与拥塞点分布。S16总决赛期间讨论较多的一个经验是：并行度超过单交换域端口数后，跨域流量的占比会快速上升，有效带宽随之下降。这个拐点可以用端口数与并行度的比值粗略估算，作为选型的第一道筛子。

  • 并行度与单域端口数的比值越小，跨域流量占比越低，效率越稳定。
  • 集合通信的聚合带宽随域内节点数增长存在饱和点，超过后收益递减。
  • 缓冲深度不足时，点对点流量的突发会引发反压，表现为有效带宽抖动。
  • 把通信密集的层放在同一域内，能显著降低跨域开销。

示例数据显示：当并行度从单域端口数的五成提升到八成时，跨域流量占比可能从一成升至三成，有效带宽相应下降一到两成。这个非线性关系说明，扩容不能简单按标称带宽线性外推，必须结合拓扑形状做拐点判断。S16总决赛技术解读栏目建议读者在方案对比时，把并行度与拓扑端口数一并列出，避免只看总量不看结构。

四、折算方法与选型顺序

把上述因素串起来，可以得到一套可复用的折算方法：先按负载类型确定协议开销折扣，再按并行策略确定流量模式权重，最后按并行度与端口数比值修正跨域损耗，得到有效带宽估计值。S16总决赛的讨论热度会消退，但这套顺序可以长期用于方案初筛。

  • 第一步：区分大块传输与细碎同步，分别取协议开销折扣。
  • 第二步：按并行策略占比加权集合通信与点对点效率。
  • 第三步：用并行度与端口数比值估算跨域流量占比并修正。
  • 第四步：与业务吞吐目标对照，留出突发并发余量。

数据盘点的意义在于把模糊的“互联好不好”变成可核对的分项。S16总决赛技术解读栏目后续会继续用这种方式拆解推理链路上的其他环节，让每个结论都能追溯到公开参数与明确的折算假设。