推理过程中的流水线并行（pipeline parallelism）完全不会减少计算时间或内存读取时间——它只是把内存读取从一块芯片挪到了另一块芯片上——所以它真正的好处只在于降低每块GPU所需的显存容量，而非降低延迟或提升吞吐量。

针对Dwarkesh提到Ilya Sutskever所说“pipelining并不明智”的评论，Reiner Pope澄清道，推理阶段的流水线并行只能节省显存容量，而不能节省运行时间；而且对于KV缓存而言，这一好处还会被抵消，因为跨流水线阶段进行分片需要相应地增加同时处理的序列数量。 ✦ AI 生成 · 平台预翻

Reiner Pope · Dwarkesh Podcast · 2026-04-29 · English original →

在推理阶段，我们到底在节省什么？是内存时间还是计算时间？其实都不是。我们只是把内存时间从一块芯片挪到了另一块芯片，或者从一个机柜挪到另一个机柜。运行时间上并没有真正的收益。不过，我们确实节省了内存容量。

In inference, what are we saving on? Are we saving on memory time or compute time? Not really. We're just moving the memory time from one chip to another chip, or one rack to a different rack. There's no actual benefit in runtime. However, what we are saving on is memory capacity.

回到原声 ↗逐字转录 · 起于 63:37 · 中文为平台译文