当前的前沿AI智能体在长视野、多步骤的计算机操作任务上仍远未达到可靠水平,即便是最强配置(Claude Opus 4.8)在OSWorld 2.0上也仅取得20.6%的二元准确率,在隐藏状态恢复、追踪多个项目以及处理冲突信息方面尤其吃力。

OSWorld 2.0是一个包含108项长视野计算机操作任务的基准测试,人类平均需1.6小时完成,即便是Claude Opus 4.8这样的顶尖模型也只能达到20.6%的二元准确率,不过与OSWorld 1.0的情况类似,预计会有快速提升。 ✦ AI 生成 · 平台预翻

OSWorld 2.0 paper authors · Import AI · 2026-07-06 · English original →

我们的实验表明,当前的智能体在计算机操作方面仍远未达到可靠水平:表现最强的配置——启用最大程度思考并采用批量工具调用的Claude Opus 4.8——也仅达到20.6%的二元准确率和54.8%的部分得分准确率,他们写道。随着任务变长,表现急剧下降,当智能体必须恢复隐藏状态、追踪大量项目、化解冲突信息或适应不断变化的需求时,困难尤为突出。

Our experiments show that current agents remain far from reliable computer use: the strongest setting, Claude Opus 4.8 with maximum thinking and batched tool calls, reaches only 20.6% binary accuracy and 54.8% partial-score accuracy, they write. Performance drops sharply as tasks grow longer, and agents struggle most when they must recover hidden state, track many items, resolve conflicting information, or adapt to changing requirements.

阅读原文 ↗合理引用摘录 · 中文为平台译文