ARRM

概要

• ARRMは、AIエージェントの新しいリリースが技術的には動作していても、成果・コスト・速度の面で悪化していないかを検証するCI向けリリースゲートです。
• ベースライン版と候補版の測定結果を比較し、従来のテストでは見逃しやすい経済的なリグレッションをデプロイ前に判定します。

主な特徴

• 成功率、成功タスクあたりのコスト、レイテンシーなどの指標を基に、PASS・REVIEW・BLOCKの明確なリリース判断を返します。
• 判定経路にLLMや主観的な評価者を含めない決定論的な仕組みにより、再現性のあるリリースチェックを実現します。

こんなチームにおすすめ

• AIエージェントの改善を継続的に行い、品質だけでなく運用コストや処理速度の悪化もリリース前に把握したい開発チームに適しています。
• 既存のテストや評価基盤を通過したにもかかわらず、実運用で成果が低下した経験があるチームの補完的なチェックに向いています。