Anthropic 给 Claude Duet 做的安全设计，一句话就能说完：先假定模型会出错，再把最要命的东西放到模型够不着的地方。 Claude Due… · @iluciddreaming · TwKit

@iluciddreaming

Anthropic 给 Claude Duet 做的安全设计，一句话就能说完：先假定模型会出错，再把最要命的东西放到模型够不着的地方。 Claude Duet 是 Anthropic 还在研究预览阶段的智能体。这次官方博客讲了它的安全、隐私和凭证隔离。拆开看一共三道闸，三道都设在模型外面。 第一道管动作。发消息、付款、删除这类重要操作，要用户在审批卡上点确认才会执行。另外还有一个独立于模型的分类器，检查这个操作符不符合用户本来的意图。所以模型想做什么、用户要的是什么，是交给两个不同的东西来判断的。 第二道管凭证。密码、cookie、登录令牌都不经过模型，付款用一次性虚拟卡。也就是说，模型可以替用户操作和下单，但登录和付款要用的那些东西不会进到模型里。 第三道管信息外流。敏感信息分成两级，一级绝不共享，一级要用户同意才能共享。发出去之前，还有一个独立分类器再查一遍。 三道放在一起看，思路都一样：不赌模型每次都判断对，关键环节都另外放了用户确认或独立检查。自己做 agent 的人可以直接照着拆：动作要审批，凭证不进上下文，往外发的东西要过检查。 我拿不准的是审批卡会弹多少次。博客里没给分类器的准确率，也没说一个任务要确认几次。要是弹得太勤，用户会顺手点同意，第一道闸也就形同虚设了。

曝光 98 · 评论 1 · 点赞 0 · 书签 0