CAFE — Compound-AI Factorial Evaluation

概要

CAFEはAIパイプラインのあらゆるノブを実験要因として扱い、階乗設計で構成を網羅的に検証します。出力は設定可能なLLM判定と必要に応じて人間評価者で評価され、混合効果モデルで差の原因を定量化します。

何が分かるか

• 実際に品質を改善する技術はどれか
• 各技術の寄与度と全体への影響
• 最も性能の良い構成とその解釈

特徴・利点

• 完全または部分的な設計、再現性のある実行
• コスト–品質パレート解析、ジャッジと人間の一致分析
• オープンソース・自己ホスト対応、Pythonライブラリ/ FastAPI+React アプリ