一、一次本地演示能证明什么?
本地跑通一次,只能说明这次执行成功。上线前还要回答系统能否长期运行、承受并发、应对上游故障与模型升级,以及在运行中断后恢复并保持状态一致。每次运行应能执行、记录、验证、评测、归因,再据此优化。本篇围绕评测、可观测性、成本、基础设施和需求交付展开。
二、评测要覆盖四个层面
- 模型输出:理解、推理和结构化输出的质量。
- 工具调用:选对工具、传对参数、遵守授权、正确处理错误。
- 工作流:能否完成、暂停、失败退出和恢复。
- 业务结果:实际任务有无完成。
Coding Agent 即使生成了流畅的说明,只要代码仍未修改,就没有完成修复任务。
三、Golden Set 怎样覆盖正常与异常路径?
- Coding Agent:固定仓库 commit,记录原始任务、允许修改范围、禁止动作、必须通过的测试、授权和预期结果。
- RAG:固定问题、标准证据、文档版本、权限、预期引用与拒答条件。
- 异常:覆盖超时、权限拒绝、空结果、数据冲突、撤权、中断、提示注入和模型漂移。
安全违规应单独判定,不能被总体平均分抵消。
四、Trace 需要回答哪些问题?
Trace 从上下文与检索候选开始,记录选了什么工具,便于检查选择是否合适。沿记录继续看参数校验、执行授权、工具结果与状态变化,找到最终结果如何生成及验证。
记录 trace_id、user_id、tenant_id、session_id、task_id、run_id,以及模型、提示词和工具版本、检索候选、Token 数、参数摘要、审批事件、状态迁移、结果引用、错误、耗时和成本。日志应脱敏,避免写入密钥、整份敏感文档和模型内部推理。必要的大型产物存入受控对象存储,Trace 只保留引用。OpenTelemetry Trace 文档
五、Replay 如何隔离变化?
要判断行为变化来自模型、提示词、检索、工具 Schema、策略还是状态,先固定工具输出,再重跑模型或策略节点。直接重调真实工具可能读到变化后的数据,也可能重复产生副作用。全流程回放应在控制环境中使用沙箱和固定数据。
六、沿实际链路定位故障
按输入、检索、上下文、模型、工具、状态到展示逐步排查,每一段保留对应指标。找不到文档时先查解析、切块、查询和索引;检索命中但没进入上下文时,查选择策略与预算;证据已进入上下文还答错时,查模型、事实冲突与约束。修完后把故障样例加入 Golden Set。
七、用成功任务衡量成本
十次模型调用与一次调用的比较,要落到每个成功业务任务的实际成本。记录输入和输出 Token、模型调用数、缓存命中率、工具调用次数、重试次数、成功率、人工接管率和总费用,再按任务、模型和步骤拆账。
- 去重上下文,用摘要和按需加载替代重复输入。
- 按需加载工具 Schema。
- 简单分类和改写用低成本模型,复杂任务路由到更强模型。
- 缓存 Embedding、解析结果和确定性工具结果。
- 限制步骤数、输出量与重试。
- 非实时任务使用批处理。
优化时同时看延迟和任务完成情况。
八、存储组件各自负责什么?
- PostgreSQL:用户、租户、会话、任务、审批、工具调用、规则与审计的权威记录。
- Redis:缓存、滑动窗口、限流计数、通知、租约、去重等短期状态。
- Elasticsearch:倒排索引、精确关键词与过滤。
- Milvus 或 pgvector:向量和检索元数据。
- MinIO 等对象存储:原始文件、解析产物、大型工具输出、报告和不可变快照。
业务事实留在权威数据库,最终授权由业务系统核验。各类记录关联租户、用户、版本和任务。
九、长任务如何调度?
任务可能持续几分钟甚至更久。在 HTTP 请求内等待模型、文档解析或外部工具,容易超时并长期占用服务资源。典型链路是 API 保存任务到 PostgreSQL,队列通知 Worker,Worker 更新任务状态,再通过 SSE 推送给客户端。队列提供异步处理、削峰、调度、重试与多 Worker 消费,任务状态由独立状态机管理。
采用至少一次投递时,消费者按事件 ID 或步骤 ID 去重。Transactional Outbox 把任务和待发事件写入同一事务,由独立发布器负责投递。AWS Transactional Outbox
十、用 SSE 恢复前端进度
SSE 可以推送 Token、工具开始与结束、等待审批、进度和最终结果。事件关联会话、运行和事件 ID,并带递增序号。断线后从客户端上次确认的序号续接,必要时先取权威快照,再追加更新事件。流式 Token 可以是临时的,任务状态和工具回执以服务端记录为准。WHATWG SSE 规范
十一、asyncio 适合哪类并发?
调用模型 API、数据库、HTTP、对象存储、队列和工具通常涉及 I/O。async def 函数调用返回协程,需要 await 或调度为 Task 才会运行。异步 I/O 不会自动带来并行或并发上限,使用信号量、有界队列等显式限流。
异步 I/O 用异步接口,阻塞 I/O 交给线程,CPU 密集型工作交给进程或独立服务。分别设置连接、读取和整体超时,取消时释放资源。取消本地协程不会撤销外部副作用。Python asyncio 文档
十二、从 5 分钟变成 20 分钟怎么查?
分解 API 排队、Worker 排队、文档解析、检索、首 Token、模型总耗时、工具耗时、人工等待、数据库和前端订阅。对照 P50、P95 与积压、并发、下游限流、重试放大、慢 SQL、锁等待、Token 增长和重复工具调用。
原稿的 DevPilot 案例中,RLS 下的命令历史查询扫描范围过大。限定租户及获授权的运行范围后调整索引,单条查询在合成负载下由约 0.6 秒降至约 3 毫秒。这个数字只描述原稿报告的单条查询,不能当作平台 P95。
十三、把“更智能”变成可验收需求
先问清用户是谁、任务是什么、可用数据和工具、什么算完成、哪些动作禁止、错误代价,以及延迟和成本上限。用 20–50 个代表性案例约定结果要求、允许的差异和拒答条件。
先交付最小的端到端流程,即带引用的检索。随后开放受限工具、引入审批与恢复,再评估是否需要多 Agent 或复杂编排。实际失败案例持续补入评测集。
十四、十道生产实践面试题
- 实际用户有多少?任务量有多大?
- 任务状态存在哪里?
- 工具执行到一半断网怎么办?
- 用户撤销权限后,怎样处理正在运行的任务?
- 如何避免重复收费或重复执行?
- 如何回放一次运行?
- Golden Set 怎么构建?
- 如何追踪并定位一次失败?
- 如何计算并优化每个成功任务的成本?
- 模型升级导致行为漂移时怎么办?
回答时说清发生了什么、为什么发生、如何复现、怎么修复,以及如何防止再次出现。
十五、把系统能力说完整
Agent 工程涵盖架构、状态、工具治理、权限与安全、上下文、检索、分布式工程、评测与可观测性、成本与性能。模型提出行动,Harness 校验授权并安排执行,基础设施让结果可以持久化、恢复和验证。