Desktop Model Gateway

概要

• Windowsマシン上で動作し、チーム全員が同じプライベートAI環境を利用できます。モデルや文書データを外部クラウドへ送らずに運用できます。
• インストール作業やターミナル操作を必要とせず、単一ファイルの管理コンソールからサーバーを管理できます。
• 20人規模の企業で、機密文書をネットワーク外へ出せない要件を想定して設計された、実運用志向の構成です。

主な特徴

• ユーザーごとのAPIキー、リクエスト数・トークン数のクォータ、監査ログにより、チーム利用時のアクセス管理と利用状況の把握に対応します。
• 実機での負荷試験に基づいて同時実行数を設定し、指定環境では8件をスループットのピークとして運用できます。
• 自動復旧するウォッチドッグ、実行時依存関係ゼロ、163件のテストを備え、週末に無人で稼働させやすい設計です。

こんな人におすすめ

• 機密文書や社内データをクラウドAIへ送信できず、自社ネットワーク内で生成AIを運用したい企業やチームに向いています。
• llama.cppなどでモデルを動かせているものの、複数ユーザー向けの認証、利用制限、同時実行管理が不足している環境に適しています。
• 実測ベースの性能制御や制約を重視し、同時実行数の検証やスロットデッドロック対策など、運用面も自分たちで確認したいチーム向けです。