I am speed.
ストックにはログインが必要です
LLM向けの fast.com風ベンチマークツール
Artificial Intelligence
Developer Tools
Vercel Day
概要
LLM API の性能を測るための fast.com 風ベンチマークツール。プロバイダとモデルを選ぶと、リアルタイムのストリーミング出力とスループットを観測できます。
主な特徴
- 複数の LLM プロバイダとモデルを横断比較
- ライブ出力とリアルタイム指標を同時に表示
- 将来の拡張性を見据えたシンプルな UI/導入体験
背景と意図
API のパフォーマンスとトークン単位の実際の性能差を見極める狙い。今後は対応モデルを拡充予定で、他プロバイダの追加も検討中。
設計の要点は、実測と表示の遅延を最小化して、すぐに比較できる点です。
投票数: 9