Agent Gateway

概要

• エージェントの反復的なツール呼び出しで膨らみやすい履歴やプロンプトの冗長性を削減する、LLM向けゲートウェイです。
• 複数の主要LLMを統一的に扱え、実際のエージェント運用でトークンコストを50〜90％削減することを目指します。

主な特徴

• システムプロンプト、ツール定義、履歴、現在の入力を分層してキャッシュし、多ターン処理で90〜99％のキャッシュヒット率を実現します。
• ツールが返すJSONの不要なフィールドやnull値をASTレベルで整理し、推論の流れを保ったままコンテキストを圧縮します。
• 停止シーケンスと動的な出力切り詰めにより、冗長な説明を抑え、不要な出力トークンを50％以上削減します。

プライバシーと適した利用者

• プロンプトや業務データをディスクに保存せず、ストリーミングとメモリ上の変換だけで処理を完了するステートレス設計です。
• 公式APIキーを利用し、リクエストをプロバイダーへ直接送信するため、各社のダッシュボードで利用量や請求額を検証できます。
• 長いコンテキストや高頻度のツール呼び出しを伴うマルチエージェント開発で、増大するLLM費用を抑えたいエンジニアに適しています。