KKDEMIAN

Agent エンジニア面接 1/5|LLMアプリからAgent Harnessへ

五つのシステム形態と七つの層、DevPilotの例から、Workflowやフレームワークの選び方、完了の検証方法を面接向けに整理する。

考察

1. モデルを呼び出した先に、どんな課題があるか

AIアプリは文章生成、要約、質問応答から始まり、RAGで社内文書、業務データ、ナレッジベースを参照するようになった。Function Calling、MCP、Agentフレームワークによって、データベースの照会や複数ステップの作業にも範囲が広がった。本番ではツール呼び出しは工程の一つにすぎない。

  • 実行を続ける条件と止める条件は何か。
  • 誰がツール呼び出しを許可するか。
  • 実行の途中でサービスが停止したら、どう再開するか。
  • ユーザーが中止したとき、発生済みの副作用はどう扱うか。
  • モデルの誤った判断を、どう追跡して再現するか。
  • 複数のAgentが並行して動くとき、状態の競合をどう避けるか。
  • 何を証拠にタスクの完了を確認するか。

これらがAgent Harnessの責務になる。

2. 対話、Chain、Workflow、Agent、Harnessを区別する

  1. 通常のLLM対話。ユーザーが文章を入力し、モデルが文章を生成する。アプリはAPI呼び出しと表示を担う。
  2. Chain。検索 → コンテキストの組み立て → モデル呼び出し → 応答のように、開発者が順序を固定する。
  3. Workflow。開発者が主な実行経路を設計する。条件分岐、並行処理、承認、例外処理を含められる。
  4. Agent。目標、現在の状態、途中の観測結果から、次の行動、ツール、続行の要否を選ぶ。
  5. Agent Harness。モデルを囲むランタイムとガバナンス。モデル呼び出し、ループ、状態、コンテキスト、ツール登録、権限、予算、復旧、監査、評価、機能縮退を管理する。

モデルは次の行動を提案する。Harnessは実行可否を判定し、ツールを動かして結果を記録し、完了条件や実行上限に達したところで止める。

3. 本番システムを七つの層で考える

  1. インタラクション層。Web、Electron、モバイルで、ストリーミング、進捗、承認、ファイルの差分、タスク状態を表示する。
  2. アクセス層。認証、テナント分離、APIクォータ、リクエストの冪等性、セッション、共通APIを扱う。
  3. オーケストレーション層。Agent Loop、状態機械、LangGraph、チェックポイント、割り込み、復旧、スケジューリングを担当する。
  4. モデル層。モデルゲートウェイ、Prompt管理、構造化出力、コンテキスト構築、モデルルーティング、トークン予算を扱う。
  5. ツール層。登録、MCP接続、引数検証、実行、結果変換、実行環境の分離を担う。
  6. データ層。必要に応じてPostgreSQL、Redis、Elasticsearch、Milvus、オブジェクトストレージでタスクや知識のデータを扱う。
  7. ガバナンス層。権限、監査、評価、トレース、費用監視、アラート、機能縮退を扱う。

ガバナンスは各層にまたがる。ツール実行前と復旧時に権限を確認し、検索ではテナントを分離する。生成結果にも評価と検証が必要だ。

4. AgentとWorkflowをどう使い分けるか

手順が安定し、ルールが明確で、誤りの代償が大きく、出力を計算で決められるなら、コードかWorkflowを優先する。金額計算、DBトランザクション、残高確認、権限判定、定型承認、注文の状態遷移が該当する。

社内知識の探索、コーディング支援、複数ソースの調査、動的な業務処理、システム横断の作業では、途中の結果からツールを選ぶことがある。経路を事前に列挙しにくい部分はAgentの判断に向く。実務では、確定的なルールをコードに持たせ、その範囲内の不確実な判断をAgentに委ねる構成がよく使われる。

5. LangGraphと自作ループをどう選ぶか

六つの観点を比べる。

  1. 現在の課題を解決できるか。
  2. 状態モデルは明確か。
  3. 永続化、中断、再開に対応できるか。
  4. 承認フローとツールの選択肢は要件に合うか。
  5. 観測とテストはしやすいか。
  6. 移行コストやフレームワークへの依存はどの程度か。

単発の情報抽出や固定のツール呼び出しなら、関数と明示的な状態機械で足りることがある。複雑な分岐、ループ、手動中断、チェックポイント、再開が増えるならLangGraphを検討できる。担当は実行の編成であり、業務状態、権限、副作用、監査はアプリで管理する。 LangGraphの永続化

6. DevPilotを使って何を示せるか

DevPilot の設計を例に、Harness の役割を各コンポーネントに当てはめてみる。Electronがデスクトップ画面、FastAPIがサービスの入口、LangGraphがタスク編成、PostgreSQLが業務状態とチェックポイントを担当する。ローカル実行器が制御された範囲でファイルとコマンドを扱う。高リスク操作には人の承認を求め、監査ログと実行ログを残し、差分、終了コード、テスト結果で効果を確認する。

面接では各モジュールが解く問題を説明する。実装済みの機能、制御環境での検証、設計段階を区別したい。原稿のDevPilotは公開前の制御されたバージョンであり、提示できる証拠もその範囲に限られる。

7. ゼロからAgent基盤を設計する質問にどう答えるか

業務の境界とシステムの層から始める。タスクと状態を定義し、権限と実行の境界を示す。例外、復旧、監査を説明し、フレームワークを導入する条件と業務結果の検証方法まで伝える。LangGraph、LangChain、MCP、ベクトルDBは具体的な問題と結びつけて説明する。モデルは実行システムを構成する意思決定部品の一つだ。

シリーズ記事

関連トピック:⛓️ L1 / L2🧠 AI
最新情報を受け取る

Telegram や X で毎週のリサーチ、市場シグナル、上場情報をチェック。