基于 MCTS 的训练之所以有效，是因为它从不要求网络直接去追逐输赢信号——相反，对于每一个采取的动作，搜索都会生成一个严格更优的重新标注目标，从而为每个动作提供一个干净的监督信号，而不是一个充满噪声的胜率信用分配问题。

Eric Jang 解释了 AlphaGo 自我对弈训练的核心机制：MCTS 并不会直接奖励获胜的轨迹，而是用搜索得到的、可证明更优的动作去重新标注每一个动作，从而绕开了困扰朴素输赢强化学习的信用分配问题。 ✦ AI 生成 · 平台预翻

Eric Jang · Dwarkesh Podcast · 2026-05-15 · English original →

重要的是，它实际上是在说：对于我们采取的每一个动作，我们都在 MCTS 上做了相当穷尽的搜索，看看能不能做得更好，然后我们要做的是让策略网络去预测那个（更好的）结果，从而让我们采取的每一个动作都变得更好。这是一个非常好的想法，因为你对每一个动作都有一个单一的监督目标。相比另一种朴素的 RL 做法，你的学习信号的方差要低得多。

Importantly, what it is doing is saying: for every action we took, we did a pretty exhaustive search on MCTS to see if we could do better, and we’re going to make every action that we took better by having the policy network predict that outcome instead. This is a very nice idea because you have one supervision target for every single action. The variance of your learning signal is very low compared to the alternative naive RL thing.

回到原声 ↗逐字转录 · 起于 60:33 · 中文为平台译文