https://funkygod.vip/tags/trustworthy/ Recent content in Trustworthy on MakeMoney https://funkygod.vip/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E https://funkygod.vip/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E Hugo -- 0.147.7 en Fri, 10 Apr 2026 18:00:00 +0800 https://funkygod.vip/posts/ai/trustworthy-agents-2026/ Fri, 10 Apr 2026 18:00:00 +0800 https://funkygod.vip/posts/ai/trustworthy-agents-2026/ <h1 id="可信-ai-代理落地实战anthropictrustworthy-agents-in-practice解读4层安全体系保障业务场景安全">可信 AI 代理落地实战——Anthropic《Trustworthy agents in practice》解读，4层安全体系保障业务场景安全</h1> <blockquote> <p>&quot;AI agents 已从简单问答工具进化为能自主执行代码、管理文件、跨应用完成任务的系统。&quot; ——Anthropic 官方博客</p></blockquote> <h2 id="1-什么是可信-ai-代理">1️⃣ 什么是&quot;可信 AI 代理&quot;</h2> <p>AI 代理（Agent）已不再是单纯的聊天机器人，而是 <strong>模型 + Harness + Tool + Environment</strong> 四层体系的有机组合【原文】：</p> <table> <thead> <tr> <th>组件</th> <th>作用</th> </tr> </thead> <tbody> <tr> <td>模型</td> <td>提供推理与决策能力</td> </tr> <tr> <td>Harness（指令护栏）</td> <td>安全约束、行为边界</td> </tr> <tr> <td>Tool</td> <td>代码编辑、文件管理、API 调用等外部能力</td> </tr> <tr> <td>Environment</td> <td>工作空间、运行时隔离、资源限制</td> </tr> </tbody> </table> <p>这四层缺一不可，才能在真实业务场景中保证 <strong>可控性</strong> 与 <strong>安全性</strong>。</p> <h2 id="2-plan-mode从逐步确认到一键批准">2️⃣ Plan Mode：从&quot;逐步确认&quot;到&quot;一键批准&quot;</h2> <p>传统方式下，用户需要对每一步操作都进行确认，导致 <strong>频繁中断、低效</strong>。 Plan Mode 则让代理 <strong>提前展示完整执行计划</strong>，用户可一次性审阅、编辑并批准，随后自动执行。</p> <p>&quot;用户可预先查看并批准整个执行计划而非逐个确认。&quot;【原文】</p> <p>这种 <strong>计划‑先‑批准‑后执行</strong> 的模式，显著提升生产力，同时保留了人类的最终决策权。</p> <h2 id="3-不确定性处理pauseask暂停询问">3️⃣ 不确定性处理：Pause‑Ask（暂停询问）</h2> <p>Anthropic 在模型训练阶段强化了&quot;先停下来再行动&quot;的本能，使其在面对不确定时优先 <strong>暂停询问</strong>，而非自行猜测。</p> <p>• 错误示例：&quot;我不确定这个文件是什么，但先删除试试。&quot; • 正确示例：&quot;我不确定这个文件是否重要，删除前请确认：可以删除吗？&quot;</p> <p>&quot;模型在面对不确定性时的正确行为是暂停询问，而非擅自行动。&quot;【原文】</p> <p>这正是 <strong>Human‑in‑the‑Loop</strong> 的关键一步，防止了误删、误改等安全事故。</p> <h2 id="4-多层防线prompt-injection-防御">4️⃣ 多层防线：Prompt Injection 防御</h2> <p>Prompt Injection 是通过隐藏在内容中的恶意指令劫持模型的主要威胁。Anthropic 采取 <strong>纵深防御（defense‑in‑depth）</strong> 策略，分层防护：</p>