KKDEMIAN

Agent 工程面试 1/5|从 LLM 应用到 Agent Harness

用五种系统形态、七层架构和 DevPilot 示例回答 Agent 架构面试,说明何时使用 Workflow、框架怎样选,以及如何证明任务已完成。

思考

一、会调用模型之后,还要解决哪些问题?

AI 应用从调用大语言模型生成、总结和回答文本,逐步走到用 RAG 接入企业文档、业务数据和知识库,再用 Function Calling、MCP 和 Agent 框架访问工具、查询数据库、推进多步任务。在生产环境中,工具调用只是其中一步。

  • 什么时候继续执行,什么时候停止?
  • 谁决定某次工具调用能否执行?
  • 工具执行中途崩溃时,怎样恢复?
  • 用户取消后,已经发生的副作用怎么处理?
  • 如何追踪和复现模型的错误决策?
  • 多个 Agent 并发时,怎样避免状态冲突?
  • 哪些证据可以证明任务完成?

这组问题属于 Agent Harness 的职责范围。

二、区分对话、Chain、Workflow、Agent 和 Harness

  1. 普通 LLM 对话。用户输入文本,模型生成文本,应用管理 API 调用和展示。
  2. Chain。开发者固定调用顺序,例如检索 → 拼接上下文 → 调用模型 → 返回结果。
  3. Workflow。开发者设计主要执行路径,可以包含条件分支、并行、审批和异常处理。
  4. Agent。根据目标、当前状态和观察结果,动态选择下一步、工具以及是否继续。
  5. Agent Harness。围绕模型的运行时和治理层,负责调用、循环、状态、上下文、工具注册、权限、预算、恢复、审计、评测及降级。

模型提出下一步,Harness 根据权限和状态判断能否执行,安排工具调用、归档结果,并在满足完成条件或触及边界时停止。

三、生产系统可以怎样分层?

  1. 交互层。Web、Electron 或移动端,展示流式消息、执行进度、审批、文件 Diff 和任务状态。
  2. 接入层。认证、租户隔离、API 配额、请求幂等、会话及统一 API。
  3. 编排层。Agent Loop、状态机、LangGraph、检查点、人工中断、恢复与调度。
  4. 智能层。模型网关、Prompt 管理、结构化输出、上下文、多模型路由与 Token 预算。
  5. 工具层。工具注册、MCP、参数校验、执行、结果适配及执行器隔离。
  6. 数据层。用 PostgreSQL、Redis、Elasticsearch、Milvus 和对象存储管理任务与知识数据,按需求选组件。
  7. 治理层。权限、审计、评测、Trace、成本监控、告警和服务降级。

治理贯穿各层。工具执行须检查权限,任务恢复须重验授权,知识检索要隔离租户,生成结果也要评测和核验。

四、何时用 Agent,何时用 Workflow?

步骤稳定、规则清楚、错误成本高且可用程序确定输出时,优先用代码或 Workflow。金额计算、数据库事务、余额校验、权限判断、固定审批和订单状态迁移都属于此类。

企业知识探索、Coding Agent、多来源研究、动态业务处理和跨系统任务常需要根据中间结果选工具,且难以穷举路径,适合让 Agent 承担有界决策。实际系统通常将两者结合,程序负责确定性规则,Agent 处理规则内的不确定部分。

五、怎样选择 LangGraph 或自研循环?

逐项比较六个问题。

  1. 是否解决已有痛点?
  2. 状态模型是否清晰?
  3. 是否支持持久化、中断和恢复?
  4. 审批与工具生态能否满足需求?
  5. 是否易于观测和测试?
  6. 迁移成本与框架锁定风险有多高?

单轮信息抽取或固定工具调用可以用函数和显式状态机。复杂分支、循环、人工中断、检查点和恢复较多时,LangGraph 值得考虑。它提供编排能力,业务系统仍要管理业务状态、权限、副作用和审计。 LangGraph 持久化

六、怎样用 DevPilot 说明项目能力?

以原稿中的 DevPilot 设计为例,可以看到 Harness 的各项职责如何落到组件上。Electron 做桌面交互,FastAPI 接入服务,LangGraph 编排任务,PostgreSQL 保存业务状态与检查点,本地执行器受控地处理文件和命令。人工审批控制高风险操作,审计和执行日志记录过程,Diff、退出码和测试结果用来验证效果。

面试时解释每个模块要解决的问题,并区分已实现、受控验证与设计中的能力。原稿中的 DevPilot 处于预发布受控阶段,项目示例的证据范围以此为限。

七、面试时怎样回答从零搭建 Agent 平台?

先说明业务边界和分层,再定义任务与状态、权限和执行边界。接着解释异常、恢复与审计,说明框架何时值得引入,最后给出验证业务结果的方法。LangGraph、LangChain、MCP 和向量数据库只有在解决具体问题时才有解释价值。模型在这里是执行系统中的一个决策组件。

系列文章

相关主题:⛓️ L1 / L2🧠 AI
订阅更新

在 Telegram 或 X 关注每周研究、市场信号与上币动态。