Inferock

概要

• アプリとLLMプロバイダーの間に入り、すべての推論リクエストを品質・速度・コストの公開基準に照らして評価します。
• 各リクエストについて、プロバイダーの申告だけに依存しない独自のレシートを発行し、失敗状況や請求額を確認できます。

主な機能

• Inferock Watchでは、OpenAI・Anthropic・GeminiのAPIキーを持ち込み、無料でリクエストのレシートや月次の損失レポートを確認できます。
• Inferock Serveでは、サーバーレス環境からトークン単位の従量課金で推論を実行し、Watchで獲得したクレジットを利用できます。
• タイムアウト、空・途中で切れた出力、無効なJSON、請求やキャッシュの異常など、検証済みの失敗分がクレジット還元の対象になります。

こんな人におすすめ

• 本番環境でLLMを運用し、空の回答やタイムアウトなど、ユーザーから指摘されるまで気づきにくい障害を把握したいチームに向いています。
• 複数のLLMプロバイダーを利用し、リクエストごとの品質・速度・コストを横断的に比較、記録したい開発者に適しています。
• 失敗した推論への支払いを可視化し、条件を満たす障害分を次回の推論利用に充当したいチームに役立ちます。