混合专家（mixture-of-experts）层的all-to-all通信模式，恰好能与单个GPU机柜（rack）内部全连接的scale-up网络完美契合，但一旦跨越机柜边界就会失效，因此机柜的物理规模，为专家层实际能做到多大（多稀疏）设定了一道硬性上限。

由于MoE层中每个GPU都可能需要向其他所有GPU发送token，而跨机柜链路的速度远慢于机柜内部链路，Reiner Pope认为机柜已经成为限定专家并行层规模的自然单元，这也正是推动业界不断扩大互连域（interconnect domain）规模的原因之一。 ✦ AI 生成 · 平台预翻

Reiner Pope · Dwarkesh Podcast · 2026-04-29 · English original →

这里的根本之处在于，一个机柜就限定了你能做到多大的专家层。这一直是推动互连域越做越大的部分原因。

The fundamental thing here is that one rack bounds the size of an expert layer you can do. This has been part of what's been driving towards larger and larger interconnect domains.

回到原声 ↗逐字转录 · 起于 32:09 · 中文为平台译文