EvalTrim

概要

• AIエージェントのevalスイートに蓄積する重複・陳腐化・不安定なテストを分析し、保守すべき評価項目を見極めるツールです。
• テストを削除する前に、失われる挙動やカバレッジを反実仮想的にシミュレーションし、証拠に基づいて判断できます。

主な特徴

• 固有の挙動を示すテスト、重要なカバレッジ、過去の失敗、要件、オラクル間の矛盾などを追跡します。
• ローカルで動作し、テストを自動で黙って削除せず、削除・統合候補を提示する安全重視の設計です。
• 構成済みベンチマークでは、LLMや埋め込みなしでも高い精度・再現率・廃止安全性を測定しています。

こんな人におすすめ

• AIエージェントの回帰テストが増え、似たテストや古いケースの整理に時間がかかっている開発者に適しています。
• 評価スイートの縮小やテスト統合を、単なる類似度ではなく、実際に失われる挙動の証拠で判断したいチームに向いています。