让智能体安全地工作
智能体设计与 AI 协作
本课学习目标
- 识别外部内容中的提示词注入,采用最小权限,并在有重要后果的操作前要求人工确认。
核心概念
- 模型请求行动,执行器负责验证和执行。观察工具结果后再选下一步;成功、工具故障和达到上限是不同状态。
练习 1 · 完成小任务
- 画出虚构报价智能体:查询单价5,000 KRW,再计算两件。定义输入输出及两次行动上限,不连接真实订单或支付系统。
练习 2 · 失败与验证
- 让查询返回NOT_FOUND,再将上限改为一次,分别写出预期停止状态。在真实发送、购买或删除前设置人工审批。
复盘
- 核对任务约定、最小权限、工具结果和最终证据。智能体声称完成不等于已验证。