OrderTrace Eval
ストックにはログインが必要です
信頼できるAIエージェントのための、トレース重視の評価
Design Tools
Artificial Intelligence
GitHub
OpenAI Day
概要
- 最終回答だけでは見えない、AIエージェントの内部的な行動や判断プロセスまで評価できるオフライン環境です。
- 再生可能なトレースをもとに、タスク成功、ツール利用、根拠、出力形式、制約遵守を検証し、PASS/FAILを説明可能な形で示します。
主な特徴
- ルールベースのMockAgentと合成注文データを使い、ローカル環境で手軽にエージェントの評価を実行できます。
- ツールの選択ミス、引数の誤り、根拠不足、出力形式違反、失敗時の処理など、具体的な失敗パターンを確認できます。
- GPT-6 Astraによる監査やエッジケースの強化、回帰テストの追加を経ていますが、実行時にLLMへ依存せずオフラインで動作します。
こんな人におすすめ
- 最終回答の正しさだけでなく、AIエージェントが適切なツールや引数を選んだかまで検証したい開発者に適しています。
- エージェントの評価基盤を小さく始めたいチームや、再現可能なテストと回帰カバレッジを重視する研究者に向いています。
- 今後テストすべきエージェントの失敗事例を整理し、評価手法を改善したい人にも役立つ設計です。
投票数: 1