OpenGauntlet

概要

OpenGauntlet は Imprynt 開発時の約1年の研究成果を公開した取り組みです。32種のローカルホスト型オープンウェイトモデルを、対話の現実性・感情知性・記憶・声の適性・デバイス上の速度の観点で比較します。実際の応答と方法論を確認でき、106 の音声認識と168 の音声認識システムを網羅する出典付き調査へ案内します。

特徴

• 同一マルチターン会話で各モデルを評価
• ルーブリックと対比較のスコアおよび嗜好の可視化
• 出典付き調査を分かりやすくラベル付けして公開

背景と公開

Listening と Voices は出典付きの調査で、社内ベンチマークではなく公開調査として整理。公開は D3velop で行われ、次のモデル提案や評価設計の改善を検討中。