Aurko

AurkoはGo製の超高速・軽量AIキャッシュプロキシゲートウェイ。自律AIエージェントの普及に伴うLLM APIのコストと遅延を低減するため、トークン正規化された類似度マッチングで高頻度のシステムプロンプトをRedisから直接取得します。OpenAI互換のプロキシとして、CPU上で正規化を完結させるため埋め込みコストは不要。<1msのレスポンスと低遅延、40–70%のコスト削減を実現します。