DataArticle
在一个全新的独立 AutomationBench 排行榜上(涵盖 40 个模拟 SaaS 应用中的 657 项任务),Claude Fable 5 以 48.6% 的准确率领先,仅略高于 Opus 4.8 的 48.5%,而所有受测模型在一定比例上仍会违反业务规则护栏。
Artificial Analysis 独立的 AutomationBench-AA 排行榜显示,Claude Fable 5 以微弱优势领先 Opus 4.8,Gemini 和 GPT-5.5 则落后更多;该榜单还指出,所有模型仍会违反业务规则护栏。 ✦ AI 生成 · 平台预翻
Artificial Analysis · Latent Space · 2026-07-07 · English original →
AutomationBench-AA 增加了一项更贴近现实的 agent 评测:@ArtificialAnlys 为 Zapier 的 AutomationBench 推出了一个独立排行榜,在 40 个模拟 SaaS 应用中的 657 项任务上评测各类 agent,同时考察目标达成情况与护栏遵守情况。Claude Fable 5 以 48.6% 领先,仅略高于 Opus 4.8 的 48.5%,Gemini 3.5 Flash 为 42.6%,GPT-5.5 xhigh 为 42.1%。
AutomationBench-AA adds a more realistic agent eval: @ArtificialAnlys launched an independent leaderboard for Zapier’s AutomationBench, evaluating agents across 657 tasks and 40 simulated SaaS apps with both objectives and guardrails. Claude Fable 5 led at 48.6%, narrowly ahead of Opus 4.8 at 48.5%, with Gemini 3.5 Flash at 42.6% and GPT-5.5 xhigh at 42.1%.阅读原文 ↗合理引用摘录 · 中文为平台译文