AgentDiff
ストックにはログインが必要です
AIエージェントの実行経路を対象にした回帰テスト
Artificial Intelligence
GitHub
Open Source
Software Engineering
概要
- AIエージェントの実行をDAGとして記録し、期待される実行経路と比較することで、回答結果だけでは見つけにくい不具合を検出します。
- CIに組み込んでマージ前に検証できるため、エージェントの変更後に発生する予期せぬツールループや処理遅延を早期に発見できます。
主な特徴
- ツール呼び出しのループ、トークン消費量の急増、レイテンシーの回帰など、エージェントの実行経路に関する問題を自動で検出します。
- OpenAI Agents、Langfuse、LangSmith、OpenInferenceに対応するアダプターを提供し、特定のフレームワークに縛られず導入できます。
- 検証結果をプルリクエストへ自動投稿し、問題の発生ステップを示したうえでCIのゲートを失敗させられます。
こんな人におすすめ
- AIエージェントを継続的に改修しており、最終回答のテストだけではツール呼び出しや処理経路の変化を把握しきれない開発チームに適しています。
- エージェントの運用コストや応答速度を管理しながら、コードレビューとCIの中で回帰テストを自動化したいチームに向いています。
投票数: 4