I am speed. logo

I am speed.

LLM向けの fast.com風ベンチマークツール

Artificial Intelligence Developer Tools Vercel Day

概要

LLM API の性能を測るための fast.com 風ベンチマークツール。プロバイダとモデルを選ぶと、リアルタイムのストリーミング出力とスループットを観測できます。

主な特徴

  • 複数の LLM プロバイダとモデルを横断比較
  • ライブ出力とリアルタイム指標を同時に表示
  • 将来の拡張性を見据えたシンプルな UI/導入体験

背景と意図

API のパフォーマンスとトークン単位の実際の性能差を見極める狙い。今後は対応モデルを拡充予定で、他プロバイダの追加も検討中。

設計の要点は、実測と表示の遅延を最小化して、すぐに比較できる点です。

投票数: 9
← 投稿一覧に戻る