ATRIUMsearch → argument graph
DataVideo · 49:43 — 51:13

常被引用的36%这一ARC-AGI-3分数具有误导性,因为它衡量的并不是解决的游戏比例——而是行动效率,即人类基线的行动次数与AI行动次数之比(再取平方),所以一个效率低但最终成功的解题者分数仍会接近于零。

D Smith解释说,ARC-AGI-3上广受关注的36%分数并不意味着36%的游戏被解决——它是相对于人类基线的行动效率比率,因此即便模型解决的游戏比例远高于36%,只要效率低下,分数依然会很低。 ✦ AI 生成 · 平台预翻

D Smith · Machine Learning Street Talk · 2026-07-01 · English original →

36%这个数字如果你不深入了解背后的东西,可能会有误导性。它真正衡量的其实是行动效率。呃,如果我说错了请纠正我,但它是人类基线除以AI在这一关所采取的行动次数之比——不管是哪个模型,或者是人类,不管玩家是谁——然后还要再取个平方。
36% might be misleading as a number if you don't look behind it. So what it really measures is action efficiency. So, uh, correct me if I'm wrong, but it's the ratio of the of the human baseline divided by the number of actions, uh, the AI has taken, whatever model it is on the level or a human, whatever whoever the player is, and then squared as well.

回到原声 ↗逐字转录 · 起于 49:43 · 中文为平台译文