Token saver

TokenSaverは、アプリとLLM APIの間に位置するセルフホスト型のキャッシュプロキシです。厳密一致はSHA-256、ほぼ同一のクエリは意味的埋め込みキャッシュで検出します。APIへ到達する前にリトライや時間切れ後の再送、異なるユーザーによる同じ質問などの重褶を抑制します。機能には、ユーザーごとの予算、Slack/メール通知、レートリミット、モデル別コスト分析、異常検知を含みます。5ユーザーまで無料。 Docker対応でOpenAI互換クライアントに対応。ムンバイ出身の単独開発者が作成。小規模チームのコスト削減と運用の効率化をサポートする。