一个粗略估算——将全球推理token总量，与传闻中约150万亿的预训练token数量，以及一个约1000亿激活参数模型按Chinchilla最优应为约2万亿token相比较——表明前沿模型的训练数据量，大约是Chinchilla缩放定律所建议数量的100倍。

通过假设训练与推理的算力成本大致应当相当，并代入全球每秒token数量与模型激活参数量的估算值，Reiner Pope推算出，前沿模型相对于Chinchilla最优点，很可能被“过度训练”了约100倍——这并非单纯为了追求训练最优的质量，而是出于对廉价推理和RL生成算力的需求。 ✦ AI 生成 · 平台预翻

Reiner Pope · Dwarkesh Podcast · 2026-04-29 · English original →

这两百万亿，或者说一百万亿参数，除以Chinchilla最优的两万亿，这个比值就是过度训练的程度。也就是过度训练了一百倍。

The ratio of this two hundred trillion or a hundred trillion parameters over the Chinchilla optimal of two trillion, that's the amount it's over-trained. Which is a factor of a hundred over-trained.

回到原声 ↗逐字转录 · 起于 78:59 · 中文为平台译文