目前的 LLM 编程智能体已经非常擅长开放式的超参数和架构搜索——重写数据加载器、发现过小的梯度、调整约束条件——把过去的网格搜索变成了灵活的、类似研究生做实验般的探索过程。

Eric Jang 表示，他使用的模型（Opus 4.6/4.7）远远超越了传统的网格搜索，能够自主诊断诸如梯度过小之类的问题，并重写代码（数据增强、优化约束）来榨取性能提升，尽管它们在选择下一步该做哪个实验上仍然存在困难。 ✦ AI 生成 · 平台预翻

Eric Jang · Dwarkesh Podcast · 2026-05-15 · English original →

现在自动化编程真正厉害的地方在于，它能搜索一组更加开放式的问题。它能说：“我发现这一层的梯度很小，那我就在这里做点调整。让我重写代码，给数据加载器加上一个我自己想出来的新的数据增强方法。我们来试试找到满足这个优化问题约束条件的最佳方式。”最终你得到的是一种更加灵活、更高层次、几乎像研究生一样的能力，可以就这么一点点去磨一个性能指标。

The really cool thing that automated coding can do now is search a much more open-ended set of problems. It can say, “I’ve identified that the gradients are small in this layer, so let me change it up here. Let me rewrite the code so the data loader has a new augmentation I came up with. Let’s try to find the best way to fit the constraints of the optimization problem.” You end up with this much more flexible, high-level, almost grad-student-like ability to just grind a performance metric.

回到原声 ↗逐字转录 · 起于 142:16 · 中文为平台译文