KKDEMIAN

Agent エンジニア面接 4/5|コンテキストエンジニアリング:記憶、ハイブリッド検索、GraphRAG

コンテキストの階層化と圧縮、記憶の管理、ハイブリッド検索、GraphRAG を解説する。RAG の回答がずれる原因の切り分け方と面接で問われる12項目も扱う。

考察

1. Agent にどんなコンテキストが必要か

タスク中の Agent は、システム規則、ユーザーの目標、会話履歴、タスク状態、ツール結果、社内ナレッジ、外部の Web ページ、長期的な好みに触れることがある。すべてをシステムプロンプトに入れるとトークン費用が増え、重複や矛盾で重要な情報が埋もれる。コンテキストエンジニアリングでは、各段階で渡す情報を選び、正確性、完全性、信頼性、追跡可能性を確保する。

2. コンテキストを六つの層に分ける

  1. 役割の境界、安全規則、出力仕様、判断規則などの安定したシステム規則。
  2. タスク、明示された制約、期待する結果を含む現在のユーザー目標。
  3. 計画、完了事項、残作業、承認、予算を含む構造化されたタスク状態。
  4. 社内文書、コード、ナレッジベース、外部資料から必要に応じて取得する根拠。
  5. 利用可能なツール、引数スキーマ、結果、エラーを含むツール仕様と実行記録。
  6. 直近の文脈、判断、制約、進捗を残す会話の要約。

安定した規則はシステムプロンプトに置き、変化するプロジェクト資料は必要に応じて読み込む。

3. 長い会話を圧縮する

スライディングウィンドウは直近の原文、指示語の参照先、ツール結果を残せる一方、古い事実や制約が落ちやすい。要約は長いタスクの継続に役立つが、制約の脱落や事実の変質が起こりうる。直近の原文、構造化された要約、参照し直せる原記録を組み合わせる。

要約には目標、確認済みの事実、制約、完了事項、残作業、エラー、成果物の参照先、出典の範囲、生成時刻と版を記録する。承認、禁止事項、外部操作の実行記録、現行のツール仕様は圧縮後も残す。巨大なツール出力は別に保存し、要約、主要な統計、参照先をコンテキストに渡す。

4. タスク記憶、ユーザーの好み、社内の事実

  • タスク記憶には状態、ツール結果、直近の会話を保存する。タスクデータベース、セッションデータベース、Redis のウィンドウを組み合わせられる。
  • ユーザーの好みには言語、技術スタック、作業方法など明示された希望を記録する。
  • 社内の事実には製品、業務規則、文書が含まれる。業務データベースやナレッジベースで管理する。

3か月前の好みと現在の明示的な依頼が反対なら、現在の依頼に従う。長期記憶には出典、確信度、所有者、作成時刻、有効期限、削除手段を付ける。モデルが提案した候補は、永続化する前に採用を判断する。

5. 長いコンテキストでも RAG が必要な理由

文書を全件投入しても、長さの上限、トークン費用、待ち時間、重要情報の埋没、権限分離、版管理の問題が残る。RAG を使えば検索、権限による絞り込み、出典追跡、ナレッジの更新を共通化できる。コードの記号を厳密に探すなら grep やファイル読み取りが使える。大規模な社内文書への反復検索には RAG が適し、両方を組み合わせられる。

6. RAG の処理工程

  1. ファイルを取り込み、安全性を確認する。
  2. 形式を解析し、OCR、ASR、レイアウト復元を行う。
  3. 文書を整形し構造化する。
  4. チャンクに分割する。
  5. メタデータ、権限、版、出典を保存する。
  6. キーワードとベクトルのインデックスを構築する。
  7. クエリを解釈し、書き換える。
  8. ハイブリッド検索で候補を取得し、RRF で統合して再順位付けする。
  9. コンテキストを選び、回答を生成する。
  10. 引用を確認し、回答の保留と評価を行う。

PDF の表見出しが欠落したり、見出し階層を誤って解析したりすると、埋め込みや再順位付けだけでは補いにくい。文書品質、分割、メタデータ、権限も検索モデルと併せて評価する。

7. 文書構造に沿ってチャンクを作る

固定文字数では見出し、段落、リスト、コード、表、関連する節の途中で切れやすい。構造上の境界を優先し、各チャンクに親見出し、文書の版、権限を引き継ぐ。表では見出し、行列、単位、結合セルの関係を残す。見出しのない文書なら段落、空行、長さ、話題の変化で境界候補を探す。小さいチャンクで検索して親を返すと、命中精度と文脈の両方を確保しやすい。適切なサイズは実際の評価で決める。

8. BM25、ベクトル検索、RRF、再順位付け

BM25 はエラーコード、関数名、型番、条項番号、固有名詞の検索に向く。根拠を説明しやすい一方、同義表現には弱い。ベクトル検索は埋め込みを使い、クエリと文書の意味の近さを調べる。自然言語に強いが厳密な識別子を取りこぼすことがあり、埋め込みモデルや分野にも左右される。

両方で候補を取った後、RRF で順位を統合する。文書 d を返した経路について項を足し合わせ、 RRF(d) = Σ 1 / (k + rank_i(d)) を計算する。rank_i(d) は各経路の1始まりの順位で、k は平滑化定数。検索器の生スコアを直接比較せずに済む。計算費用を抑えるため、細かな関連度の再順位付けは上位 N 件に絞る。Elasticsearch の RRF 仕様

9. GraphRAG が必要になる場面

ある機器の製品ライン、関連故障、対応する修理手順を順に調べる問いでは、複数の関係をたどる必要がある。知識グラフがエンティティ、関係、属性を明示的に保持していれば、類似度検索で直接見つけにくい手掛かりを得られる。

原稿の Veloxis Agent の設計例では、モデルで抽出し管理対象としたエンティティと関係を Neo4j に保存する。クエリ時にエンティティを特定し、複数の関係をたどり、その結果をテキストの根拠と組み合わせる。抽出した関係は原文へさかのぼれるようにする。簡単な事実確認には低コストなハイブリッド検索を優先し、複雑な関係をたどる価値があるときにグラフを使う。Microsoft GraphRAG

10. RAG の回答がずれた原因を切り分ける

  1. 原文に正解はあるか。
  2. 解析で正解に必要な情報は残ったか。
  3. BM25 やベクトル検索で正しいチャンクが取れたか。
  4. RRF 統合後も候補に残ったか。
  5. 再順位付けで適切な位置に来たか。
  6. 根拠が最終コンテキストに入ったか。
  7. モデルは根拠を正しく使ったか。
  8. 引用は回答を裏付けるか。

段階ごとの候補と指標を残しておけば、どこで根拠が落ちたかを調べてからプロンプトの変更を判断できる。

11. 検索、順位、回答を評価する

Recall@K で上位 K 件に正解の根拠がどれだけ含まれるか、MRR と nDCG で根拠の順位を調べる。回答では事実の正確性、完全性、引用による裏付け、回答を控える判断、業務タスクの完了率を評価する。根拠のない事実、引用の不一致、旧版の取り違え、誤った推論、架空のツール結果は分けて記録する。十分な根拠がなければ回答を控えるか、追加情報を求める。

12. 面接で確認したいこと

  1. なぜ Agent にコンテキストエンジニアリングが必要か。
  2. コンテキストをどう階層化するか。
  3. スライディングウィンドウと要約の違いは何か。
  4. 長期記憶の汚染をどう防ぐか。
  5. 長いコンテキストがあっても RAG を使うのはなぜか。
  6. チャンクをどう切るか。
  7. BM25 とベクトル検索をどう組み合わせるか。
  8. RRF は順位をどう統合するか。
  9. 再順位付けは何を改善するか。
  10. GraphRAG に適した問いは何か。
  11. RAG のハルシネーションをどの段階で切り分けるか。
  12. 候補取得、順位、回答をどう評価するか。

必要なときに、関係があり、信頼でき、出典をたどれる根拠を渡せるかで、Agent の判断材料が決まる。

シリーズ記事

最新情報を受け取る

Telegram や X で毎週のリサーチ、市場シグナル、上場情報をチェック。