エージェント評価は境界・根拠・構成管理へ

Codex、Claude Code、OpenCode系agentで、曖昧なDevOps指示が55.8%から67.8%の境界違反を生むと報告。

完了率だけでagentを評価すると、安全な自律性を過大評価する。既存自動化にも直結する。

task target、allowed writes、approval、done checksをmanifest化する。

prompt、tool、memory、model、policyをtyped nodeにしたAgent Dependency Graphを提案。

5,399件のagent programで238件のprompt-to-tool riskを検出。tool server監査に近い。

mcp-notion-serverのtool manifestと軽量BOMに落とす。

高価なagent benchmarkの性能を、安価なatomic evaluation subsetから予測する。

週次運用では、フル評価より小さなproxy suiteで早期警戒する方が続けやすい。

stock_screeningとtrade_disciplineの10から30件評価セット。

スキル利用を最終成功だけでなく、選択、順序、合成、最終チェックで評価する。

Codex skillや業務SOPが増えるほど、似たスキルの選択ミスが起きる。

高頻度skillへmust_do、must_not_do、verificationを追加。

外部に置かれた汚染文書だけで、Agentic RAGのmulti-step retrievalを段階的に乗っ取る。

金融・文書分析では、検索された根拠が正しい前提にすると危険。

query reformulationの意図逸脱、source trust、retrieval traceを記録する。

code、tool output、Markdown、tableを対象に、span単位のhallucination検出を扱う。

LLMレポートの部分的な誤引用や数値取り違えを、回答単位より細かく検出できる。

まずLLM judgeで根拠外spanを列挙させる小実験から始める。

context version、hash chain、MCP source node、agent context consumption traceを組み合わせる。

後から「どの知識版を読んで出力したか」を再構成できる。

全面導入ではなく、source_versionやretrieved_atから始める。

Responses WebSocket request payloadをtrace logへ丸ごと書かない修正。

traceを評価資産にするほど、secretやpayloadを残さないログ最小化が必要になる。

自動化ログにも、外部送信内容や機密payloadを残さないチェックを入れる。