llm-cost-guard

概要

llm-cost-guard は Anthropic/OpenAI/Gemini のクライアントを guard() で包み、リクエストごとのトークン支出を追跡して予算を超える前にリクエストを停止するミドルウェア。

特徴

• ユーザー単位の上限設定、Slack/Discord Webhook
• 事前費用見積り、Redis 貯蔵、TypeScript 型サポート

背景と用途

過去に Claude API ループで過剰請求を経験した作者が開発。課金アラートは遅延・非ブロックの問題を解決する手段として位置づけ。

今後の展望

Redis 以外のストレージ実装予定、LangChain 連携の有用性検証、価格表の未対応プロバイダの追加を検討。