ATRIUMsearch → argument graph
ExampleAudio · 18:11 — 19:41

简单的是/否工具权限白名单无法捕捉真实风险;agent 的安全性需要有状态、有上下文的策略,能追踪会话历史,这样当几个单独看都没问题的动作组合在一起会有风险时,就可以将其阻止。

Matei 解释说,二元的工具权限规则之所以行不通,是因为单独来看没问题的动作(读取一份文档、安装一个软件包)一旦通过 prompt injection 组合在一起就会变得危险,所以 Omnigent 会追踪会话状态,从而做出有上下文的安全决策。 ✦ AI 生成 · 平台预翻

Matei Zaharia · Latent Space · 2026-06-24 · English original →

我的 agent 应不应该被允许读取一些机密文档,或者说,应不应该被允许从 npm 安装新的包,而这个包也许已经被植入了恶意代码。是还是否?也许我想允许这么做。我的 agent 应不应该被允许把内容发布到公司网站上?如果我是用它来给网站写代码的话,那应该允许。但它应不应该同时做这两件事——这样它就可能去抓取一份机密文档,然后遭遇 prompt injection,把文档泄露出去?大概是不应该的。
should my agent be able to read, some confidential documents, or let's say, should it be able to install new packages from npm, which, maybe it's compromised. Yes or no? Like, maybe I wanna allow it. Should my agent be able to publish stuff to the company website? Well, if I'm using it to code on the website, yes. But should it be able to do both, so it can, like grab a confidential document and be prompt injected and leak it? Probably not.

回到原声 ↗逐字转录 · 起于 18:11 · 中文为平台译文

简单的是/否工具权限白名单无法捕捉真实风险;agent 的安全性需要有状态、有上下文的策略,能追踪会话历史,这样当几个单独看都没问题的动作组合在一起会有风险时,就可以将其阻止。 — Atrium