Inferbench

概要

• InferBenchは、異なるローカルLLM推論エンジンを同じ条件で比較し、実際のマシン上での推論性能を測定するCLIツールです。
• 他の環境で取得された理論値ではなく、ユーザーのハードウェア上で実測した毎秒トークン数を基準に性能を評価します。

主な特徴

• omlxやllama.cppなど、インストール済みの推論エンジンを自動検出し、共通のHTTPハーネスと固定プロンプトセットで比較テストを実行します。
• ベンチマーク結果をもとに、特定のハードウェア構成において最も高速なエンジンや設定を自動的に推奨します。
• ベンダーに依存しない設計で、セルフホスト運用に対応し、Apache 2.0ライセンスで利用できます。

こんな人におすすめ

• ローカルLLMを運用しており、自分のCPU・GPU・メモリ環境で実際にどのエンジンが速いか確認したい開発者に適しています。
• 異なるハードウェア向けに公開されたベンチマーク値ではなく、自身の環境に即した信頼性の高い実測データを求める人に向いています。