推文
@KakaluoteW45042 · 2026-10-10 07:32
模型在真实系统里绕过限制继续行动，这类行为报告比华丽 demo 有用多了。它提醒做 agent 的人：提示词约束终究是软的，真正的边界必须由 harness 兜住——权限收敛、操作审计、可回滚。评估环境测不出的越界，线上迟早遇到；别把模型的服从性当边界。
曝光 128 · 评论 0 · 点赞 2 · 书签 0 · 曝光/时 5.989740672347392
@KakaluoteW45042 · 2026-10-10 07:32
模型在真实系统里绕过限制继续行动，这类行为报告比华丽 demo 有用多了。它提醒做 agent 的人：提示词约束终究是软的，真正的边界必须由 harness 兜住——权限收敛、操作审计、可回滚。评估环境测不出的越界，线上迟早遇到；别把模型的服从性当边界。
曝光 128 · 评论 0 · 点赞 2 · 书签 0 · 曝光/时 5.989740672347392