whatbroke

概要

• whatbroke は、2つのエージェント実行を比較して、どのツール呼び出しが実行されたか、引数の差分、各実行のコストと所要時間、出力がどこで分岐したかを差分として示します。
• JSONL、OpenTelemetry、Langfuse、LangSmith のエクスポートを読み込み、CI で実行して呼び出しの欠落を検出してビルドを失敗させる機能があります。
• --fail-on フラグと GitHub Action による連携が用意され、プロンプトやモデル、フレームワークの変更による挙動の影響を把握する素早い手がかりになります。
• 現時点で v0.5.0 が公開済み。インストールは npm i -g whatbroke-cli。