KKDEMIAN

Agent 工程面试 4/5|Context Engineering:Memory、混合检索与 GraphRAG

从上下文分层、压缩和记忆治理讲到混合检索、GraphRAG 与评测,给出定位 RAG 答非所问的逐层检查方法和 12 道面试题。

思考

一、Agent 需要什么上下文?

执行任务时,Agent 可能同时接触系统规则、用户目标、对话历史、任务状态、工具结果、企业知识库、外部网页和用户长期偏好。把它们都放进系统提示,会增加 Token 成本,也容易让关键信息淹没在冗余或相互冲突的内容里。Context Engineering 要决定每一步提供什么,并保证信息正确、完整、可信且可追溯。

二、上下文的六层结构

  1. 稳定的系统规则,包括角色边界、安全规则、输出协议与决策规则。
  2. 当前用户目标,包括任务、明确约束和预期结果。
  3. 结构化任务状态,包括计划、已完成和待办事项、审批与预算。
  4. 按需检索的证据,包括企业文档、代码、知识库和外部资料。
  5. 工具协议和回执,包括可用工具、参数 Schema、执行结果和错误。
  6. 对话摘要,包括近期上下文、重要决策、约束与进度。

系统提示放稳定规则。动态项目资料随任务加载。

三、长对话如何压缩?

滑动窗口保留最近几轮的原文,近期指代和工具结果比较完整,但可能丢失更早的事实和限制。摘要能维持更长的连续性,也可能遗漏限制或写错事实。可以同时使用近期原文、结构化摘要和可以回查的原始记录。

摘要应记下目标、已确认事实、用户约束、完成和待办事项、错误、产物引用、来源范围、生成时间和版本。审批、禁止动作、外部执行回执与当前工具协议要在压缩后保留。工具输出很大时,保存完整产物,只把摘要、关键统计和引用放入上下文。

四、区分任务记忆、用户偏好和企业事实

  • 任务记忆记录执行状态、工具结果和近期对话,可由任务库、会话库与 Redis 滑动窗口配合保存。
  • 用户偏好记录语言、技术栈、工作方式等明确要求。
  • 企业事实涵盖产品、业务规则和文档,应保存在业务数据库或知识库。

三个月前的偏好与今天的明确要求冲突时,按今天的要求执行。长期记录需要来源、置信度、所有者、创建时间、有效期和删除方式。模型提出的记忆候选应先判定是否值得长期保存。

五、长上下文为什么仍需要 RAG?

文档全量加载仍受窗口、费用、延迟、注意力、权限隔离和版本治理约束。RAG 让检索、权限过滤、来源追踪和知识更新可以复用。代码仓库中找精确符号可以用 grep 或直接读文件;大规模企业知识库的反复查询适合用 RAG,两类工具可以配合。

六、完整的 RAG 链路

  1. 文件接入和安全检查。
  2. 格式解析、OCR、ASR 与版面恢复。
  3. 清洗并结构化文档。
  4. 划分 Chunk。
  5. 写入元数据、权限、版本和来源。
  6. 建关键词索引与向量索引。
  7. 理解并改写查询。
  8. 混合召回、RRF 融合与 Reranker 重排。
  9. 选择上下文并生成答案。
  10. 核查引用、拒答与评测。

PDF 表头丢失或标题层级解析错误时,Embedding 和重排都很难补回信息。排查效果时,把文档质量、切块、元数据和权限一起纳入检查。

七、按结构切分 Chunk

纯字符数切分容易打断标题、段落、列表、代码、表格和章节关系。优先沿这些边界切分,并让每块继承上级标题、文档版本和权限。表格应保留表头、行列、单位和合并单元格关系。没有标题时,可结合段落、空行、长度与主题转折定位候选边界。需要兼顾精确命中与上下文完整时,用小块检索、返回父块;块大小用实际评测确定。

八、BM25、向量检索、RRF 和重排

BM25 擅长错误码、函数名、型号、条款编号和专名,精确且易解释,但难处理同义表述。向量检索用 Embedding 查找与查询语义相近的文档,适合自然语言;它可能漏掉精确标识,表现也受模型和领域影响。

两路召回后,可用 RRF 按排名融合。对召回了文档 d 的检索链路求和,RRF(d) = Σ 1 / (k + rank_i(d)),其中 rank_i(d) 是该链路中从 1 起算的排名,k 是平滑常数。这样无需直接比较原始分数。再对排名靠前的 Top N 候选做细粒度重排,把较高的计算成本限制在小范围。Elasticsearch 的 RRF 文档

九、什么时候值得用 GraphRAG?

如果问题要沿设备、产品线、相关故障继续找维修规程,就可能需要多跳关系。知识图谱将实体、关系和属性显式存储,能补充普通语义检索难以直接找到的线索。

原稿以 Veloxis Agent 的设计作例子:Neo4j 存放模型抽取并经治理的实体和关系,查询时先识别实体,再多跳检索,最后把图谱关系与文本证据一起提供。抽取出的关系应能回溯原文。简单事实查询优先用成本更低的混合检索,关系复杂且多跳有价值时再引入图检索。Microsoft GraphRAG

十、RAG 答非所问怎么定位?

  1. 原文有没有正确答案?
  2. 解析结果是否保留了它?
  3. BM25 或向量检索有没有召回正确块?
  4. RRF 融合后,正确块是否仍在候选里?
  5. 重排后,正确块位置是否合适?
  6. 证据有没有进入最终上下文?
  7. 模型有没有正确使用证据?
  8. 引用能不能支持答案?

保留各阶段候选与指标,先定位哪一步丢了证据,再决定是否要改提示词。

十一、评测召回、排序和答案

利用 Recall@K 判断前 K 个结果覆盖了多少标准证据。用 MRR 与 nDCG 衡量正确证据的排序。答案层看事实正确性、完整性、引用支持度、拒答合理性和业务任务完成率。错误可分为无证据事实、引用错配、旧版当新版、错误推导和虚构工具结果。证据不足时拒答或请求补充。

十二、面试复盘

  1. 为什么 Context Engineering 是 Agent 的核心能力?
  2. 上下文如何分层?
  3. 滑动窗口和摘要各有什么取舍?
  4. 如何防止长期记忆污染?
  5. 有了长上下文为什么还需要 RAG?
  6. 如何切分 Chunk?
  7. BM25 如何与向量检索配合?
  8. RRF 如何融合多路排名?
  9. Reranker 解决什么问题?
  10. GraphRAG 适合什么场景?
  11. 如何逐层定位 RAG 幻觉?
  12. 如何设计涵盖召回、排序和答案的评测?

每一步给模型的证据是否及时、必要、可信且能回查,决定了它据什么作出判断。

系列文章

订阅更新

在 Telegram 或 X 关注每周研究、市场信号与上币动态。