LLMCap
ストックにはログインが必要です
LLM API 呼び出しの厳格なドル上限。上限に達すると、リクエストが停止します。
Artificial Intelligence
Developer Tools
SaaS
概要
LLM API 呼び出しに対して厳格なドル上限を適用するリバースプロキシ。1 行の base_url を変更して上限を設定すると、上限到達時にはトークンがプロバイダへ渡る前に次のリクエストが 429 を返し、金額が消費されることを防ぎます。
- 複数の LLM プロバイダに対応: Anthropic、OpenAI、Gemini、Mistral、Cohere
- レイテンシは追加で <35ms
- ライブの支出ダッシュボードと監査ログを提供
- 料金プラン: Starter $19/月、Pro $49/月、3日間トライアル
投票数: 1