ContextBridge
ストックにはログインが必要です
AIリソースを、ひとつの管理されたプールにまとめる
Artificial Intelligence
Developer Tools
GitHub
概要
- PCやラック、VPS、共有ホスティング、ローカルモデル、外部APIなど、分散したAIリソースをひとつのプールとして扱えるGo製の基盤です。
- アプリ側は実行先のマシンやランタイムを意識せず、必要なタスクやモデルなどの条件を指定してジョブを依頼できます。
主な特徴
- タスク、モデル、タグ、RAM・VRAM、ポリシー、現在の空き容量をもとに実行先を選定し、route explainで選択理由や未選択の理由も確認できます。
- セルフホスティング、E2EE、スケジュール、決定論的パイプライン、MCP、制約付きの複数ステップ処理に対応しています。
- プランナーが追加できるプロバイダー、予算、外部通信権限、リトライ回数を自動で増やせないため、ワークフローの範囲を管理できます。
こんな人におすすめ
- 複数のPCやサーバー、モデルランタイム、APIを使い分けながら、プロジェクトごとの連携処理を何度も作り直したくない開発者に向いています。
- 共有ホスティング上のアプリから自宅PCのモデルを呼び出すなど、異なる環境のAIリソースを柔軟かつ安全につなぎたい人に適しています。
投票数: 1