理解 RL 低效性的最佳方式是“每 FLOP 的比特数”，它可以分解为“每 FLOP 的样本数”（随着轨迹变长而下降）乘以“每样本的比特数”（RL 的输赢信号所携带的比特数远低于监督学习标签）。

Dwarkesh Patel 提出了一个框架，说明相比监督学习，RL 存在双重低效：一方面，随着时间跨度变长，每 FLOP 能获得的样本数会下降；另一方面，每个样本能提取的信号比特数也远远更少，因为一个二元的输赢结果所携带的信息远少于一个完整的标签分布。 ✦ AI 生成 · 平台预翻

Dwarkesh Patel · Dwarkesh Podcast · 2026-05-15 · English original →

你可以把“每 FLOP 的比特数”理解为“每 FLOP 的样本数”乘以“每样本的比特数”。我刚才说的是，随着 RL 变得越来越长程，每 FLOP 的样本数会下降。但这种朴素的 RL 从“每样本的比特数”这个角度来看也很糟糕，至少和监督学习比起来是这样。

You can think of bits per FLOP as samples per FLOP times bits per sample. What I mentioned a second ago is that the samples per FLOP go down as RL becomes more long-horizon. But this kind of naive RL is also terrible from a bits-per-sample perspective, at least compared to supervised learning.

回到原声 ↗逐字转录 · 起于 132:02 · 中文为平台译文