AgentDiff logo

AgentDiff

AIエージェントの実行経路を対象にした回帰テスト

Artificial Intelligence GitHub Open Source Software Engineering

概要

  • AIエージェントの実行をDAGとして記録し、期待される実行経路と比較することで、回答結果だけでは見つけにくい不具合を検出します。
  • CIに組み込んでマージ前に検証できるため、エージェントの変更後に発生する予期せぬツールループや処理遅延を早期に発見できます。

主な特徴

  • ツール呼び出しのループ、トークン消費量の急増、レイテンシーの回帰など、エージェントの実行経路に関する問題を自動で検出します。
  • OpenAI Agents、Langfuse、LangSmith、OpenInferenceに対応するアダプターを提供し、特定のフレームワークに縛られず導入できます。
  • 検証結果をプルリクエストへ自動投稿し、問題の発生ステップを示したうえでCIのゲートを失敗させられます。

こんな人におすすめ

  • AIエージェントを継続的に改修しており、最終回答のテストだけではツール呼び出しや処理経路の変化を把握しきれない開発チームに適しています。
  • エージェントの運用コストや応答速度を管理しながら、コードレビューとCIの中で回帰テストを自動化したいチームに向いています。
投票数: 4
← 投稿一覧に戻る