polyrouter logo

polyrouter

すべてのモデルに対応する1つのエンドポイント。

Artificial Intelligence Developer Tools GitHub Open Source

概要

Open-sourceのセルフホストLLMゲートウェイ。「polyrouter」は1つのURLと1つの鍵で複数モデルへ動的にルーティングします。階層とフォールバック、厳格な支出上限を設定可能で、複雑さに応じて最適なモデルへ自動割り当て。ハーネス側のシステムプロンプトを排除して、純粋なプロンプトリクエストのみを扱う設計。Docker推奨、自己運用を前提に柔軟に拡張可能。コスト追跡はメタデータのみで透明性を確保。研究・開発・通知用途などを分離し、誤用を抑制。

投票数: 2
← 投稿一覧に戻る