发布和部署智能体的最佳实践

为了确保您的智能体稳定、生产就绪并符合企业标准，请在发布和部署到 Orchestrator 之前遵循以下最佳实践。这些步骤涵盖了整个智能体生命周期的验证、监管和就绪情况。

快速入门的关键步骤

发布之前，请确认这些基础检查已完成：

表 1. 智能体发布验证步骤

关键步骤	要检查的内容	操作位置
已最终确定提示和示例	系统/用户提示包括角色、约束条件和 3-5 个输入映射示例	Agent Builder → 系统和用户提示
已描述并绑定工具	所有工具都有名称、描述和输入/输出架构。	Agent Builder → 工具
已启用护栏日志记录（可选）	已记录工具调用，以便进行审核/调试（在护栏配置中启用）	工具 → 护栏构建器
已连接上下文来源	至少已建立一个相关知识库	上下文基础 → 来源
已执行 ≥30 次交互式测试	手动测试涵盖典型输入、边缘输入和异常输入	Agent Builder → 测试运行
已创建评估集	≥30 个精选测试用例，涵盖实际使用情况	Agent Builder →“评估”选项卡
已验证评估性能	评估集分数 ≥ 70%，且没有下降	Agent Builder →“评估”选项卡

提示：您可以将这些步骤作为预部署清单，并将其纳入您自己的发布流程。

最终确定智能体定义

发布之前，请确保您的智能体已完全限定了作用域，对齐了提示并能感知上下文。

• 定义作用域和边界：在系统提示中列出作用域内外的意图。确保工具和升级路径与这些边界一致，以避免作用域蔓延。
• 优化提示和参数：编写结构化的系统和用户提示。使用映射到输入参数的真实示例。验证输入，以防止数据格式不正确或对抗性数据。
• 应用最少上下文原则：只给 LLM 传递必要的上下文。使用上下文基础，避免有效负载过大。
• 完整的工具描述和护栏：为每个工具定义名称、用途、架构和副作用。添加日志记录、过滤器、重试次数和升级行为。
• 将工具输出标准化：确保所有工具返回结构一致的响应，以防止 runtime 出现问题。
• 连接相关上下文来源：添加必要的索引并调整阈值的相关性和新鲜度。

通过测试和评估进行验证

您应验证性能、弹性和推理质量。

• 运行交互式测试：测试至少 30 个不同的场景，包括边缘用例、格式错误的输入和多语言示例。
• 使用精选测试集进行评估：使用可靠的评估程序创建 ≥30 个测试用例。使用如 LLM-as-a-judge、精确匹配或轨迹评分等方法。
• 确保性能稳定性：跟踪提示或工具更改前后的分数变化。在部署前，目标评估分数 ≥ 70%。

准备生产部署

验证下游集成和基础架构就绪度。

• 在工作流中运行烟雾测试：从 Studio 或 Maestro 触发智能体以验证端到端数据流和成功处理。

• 验证平台就绪度：确认 Orchestrator 中的凭据、文件夹、访问控制和租户设置。

• 检查追踪记录和日志：检查执行追踪记录，确定是否存在长提示词、低效使用工具的情况或上下文过度检索。

• 启用人机回圈升级：配置升级应用程序并验证结果处理。传递相关转录和记忆更新。

实施监管和发布控制

将智能体视为企业软件：有版本信息、经过审核、有所有者。

• 维护版本控制和更改日志：使用语义化版本控制并跟踪变更情况，以进行行为审计和回滚。
• 捕获审批工作流：在生产部署之前获得安全、运营和产品团队的批准。
• 起草运营文档：创建运行手册和快速入门指南。包括输入/输出、凭据轮换和恢复步骤。
• 培训支持团队：演示智能体逻辑、升级处理和回退程序。

部署后监控和迭代

智能体质量监控不会在上线时停止。相反，它需要持续改进。

• 制定逐步推出计划：使用金丝雀部署或流量分割，对行为进行小批量验证。
• 制定持续评估计划：定期重新运行评估集。监控追踪记录，以检测性能偏移和下降。
• 定期审核：每个季度重新访问提示、工具和上下文，以反映业务规则或数据源的变更情况。