Benchmark Registry
ストックにはログインが必要です
AIベンチマーク結果を一か所に集約。
Artificial Intelligence
Developer Tools
GitHub
Open Source
概要
- Benchmark Registryは、モデルカード、論文、ブログ記事、発表資料などに散在するAIベンチマーク結果を、検索・比較しやすい形で整理するオープンソースの公開レジストリです。
- 92種類のAIモデルに関する500件以上のベンチマーク結果から開始し、現在は594件まで拡大。各結果には元となる情報源が紐付けられています。
主な特徴
- モデル名やベンチマークだけでなく、企業、推論レベル、ベンチマークのバージョン、評価者、報告スコアなど、比較に必要な詳細情報を構造化して確認できます。
- 分散した発表や研究資料を一つずつ探す手間を減らし、AIモデルの性能に関する情報を効率的に検索・参照できます。
こんな人におすすめ
- 複数のAIモデルの性能を比較したい研究者や開発者に適しています。ベンチマーク結果と出典をまとめて確認できます。
- AIモデルの評価傾向を調査したい人や、今後追加すべきモデル・ベンチマーク・データソースを検討するコミュニティにも役立ちます。
投票数: 1