Cli Modelarium

概要

CLIベースのLLM比較ツール。統計的手法で厳密な比較が可能。

• 8つのクラウドプロバイダとローカルモデルをサポート
• コスト追跡・待機時間・統計検定を横並びで表示
• ブートストラップ信頼区間／McNemar検定／幻覚検出などの機能
• --max-cost で予算管理、インフラ不要のpipインストール
• Linux/macOS/Windows対応、Python 3.11+、Apache 2.0ライセンス
• 9 OS/Python組み合わせで917のテスト実施