Inferock Bench
ストックにはログインが必要です
すべてのLLM API呼び出しに対して独立したレシートを提供
Artificial Intelligence
Developer Tools
GitHub
Open Source
Inferock-bench は、アプリと主要AI API間のローカルプロキシとして機能し、呼び出しごとのトークン使用量・失敗・再試行を捕捉して独立したレシートを作成します。料金の透明性と過剰課金の抑制を目的に、ローカル環境でキーを保持しつつ、npx で約1分程度で起動可能です。オープンソースで、設定は apiKey と baseURL の2点を変更するだけ。
投票数: 0