ARBR

概要

• 複数のAIモデルやプロバイダーを、OpenAI互換エンドポイント経由で一元的にルーティング・管理できる制御レイヤーです。
• LLMの利用状況を観測し、品質・コスト・レイテンシ・形式遵守などを比較して、モデル変更の判断を支援します。
• オープンソースかつMITライセンスで、特定プロバイダーに依存せず、自社環境へセルフホストして運用できます。

主な機能

• 実際のトラフィックから評価データセットを作成し、候補モデルを比較して、安全に切り替えられるワークロードを発見します。
• 人が承認した変更をシャドーテストやガード付きカナリアで段階的に導入し、効果を測定しながら必要に応じてロールバックできます。
• 明示的に固定されたモデルは変更せず、「auto」指定時のみ、有効化したルールとポリシーに基づいてルーティングします。

適したチーム

• 本番環境でLLMを運用し、モデル変更によるコスト削減と品質維持を、根拠に基づいて判断したいチームに適しています。
• 複数プロバイダーを利用し、モデル選択・評価・デプロイの履歴を明示的かつ監査可能な形で管理したい組織に向いています。
• 既存のAI基盤に柔軟に組み込みたいチーム向けで、単体のゲートウェイとしてもLiteLLMの上位レイヤーとしても利用できます。