LLM的上下文长度在GPT-3到GPT-4之间从约8K跃升到约10万到20万token，此后一两年一直停滞在这个区间，这表明这一范围正是由内存带宽所决定的成本平衡点，一旦超出这个范围，进一步扩展的成本将变得难以承受。

Reiner Pope从API定价结构和roofline成本曲线出发论证道，上下文长度之所以停滞在10万到20万token左右，是因为内存带宽（而非算力，也未能被稀疏注意力机制完全解决）才是根本瓶颈，这也让通往一亿token上下文的路径在没有新硬件的情况下显得可疑。 ✦ AI 生成 · 平台预翻

Reiner Pope · Dwarkesh Podcast · 2026-04-29 · English original →

但如果你去看模型上下文长度的发展历史，从GPT-3这样的早期模型，到GPT-4——我记不清具体是什么时候发生转变的——上下文长度从大约8K猛增到10万到20万。然后在过去一两年里，它们都一直徘徊在这个水平附近。我认为这表明，这是一个相当平衡的成本点，要大幅超越这个水平，代价将会高得令人望而却步。

But if you look at the history of context lengths of models, from earlier models like GPT-3, maybe to GPT-4—I don't remember when the transition happened exactly—they shot up from about 8K to 100-200K. And then for the last year or two, they've all been hovering around there. I think that indicates that this is the reasonably balanced cost point, and going massively beyond that would be cost-prohibitive.

回到原声 ↗逐字转录 · 起于 93:02 · 中文为平台译文