只报告AI生成程序测试通过百分比的基准测试具有误导性，因为一个只通过70%-80%测试的程序很可能根本就不算正确——真正重要的是它是否有哪怕一个测试完全做对，而不是这个综合得分。

Thomas Ahle认为，报告基准测试通过率（比如'70%-80%的测试正确'）这种做法具有误导性，因为一个哪怕只有部分测试失败的程序，整体上很可能并不算真正正确。 ✦ AI 生成 · 平台预翻

Thomas Ahle · Machine Learning Street Talk · 2026-06-28 · English original →

他们总是这样发布结果，就像'哦，它做对的测试百分比是多少'，甚至像Fable那次也是，'哦对，它大概70%、80%的测试都对了'，然后我说，可是我跟做这个基准测试的人聊过，我说，可是它真的有哪怕一个是完全做对的吗？你知道吗，因为如果这个程序只通过了70%的测试，那它大概率就是不对的。

They always post this like oh the percentage of tests that it got right or like even like the Fable it was like oh yeah it got like 70 80% tests correct and it's like yeah but I talked with the people who made the benchmark and like yeah but it did it get any of them actually right? you know, like did it because it's if if the program only passes 70% of the tests, it's probably not right.

回到原声 ↗逐字转录 · 起于 11:28 · 中文为平台译文