如果不把GPU集群上众多并发用户的请求打包（batch）在一起处理，每个token的成本可能会比打包处理时差上一千倍，因为批处理能把从内存中读取模型权重这一固定成本分摊到大量token上。

Reiner Pope解释道，“Fast Mode”API所提供的悬殊价格/速度档位，归根结底取决于batch size：未经批处理的推理服务，每个token的成本可能比经过恰当批处理的服务高出约1000倍，因为无论batch size大小，每次前向传播中读取权重的成本都是固定的。 ✦ AI 生成 · 平台预翻

Reiner Pope · Dwarkesh Podcast · 2026-04-29 · English original →

事实证明，如果你不把许多用户打包在一起处理，得到的成本和经济性可能比把许多用户打包在一起处理差上一千倍。我们将能非常清楚地看到这一点。

What will turn out to be the case is that if you do not batch together many users, the cost and the economics you get can be a thousand times worse than if you do batch many users together. We'll be able to see that quite explicitly.

回到原声 ↗逐字转录 · 起于 0:00 · 中文为平台译文