OpenMark

概要

あなたの用途に合わせて約100モデルをベンチマークするツール。特定のプロンプトで決定的なスコア、実際のAPIコスト、安定性を測定します。汎用ベンチマークに頼らず、タスク・プロンプト・制約条件に基づく再現性のある結果を提供します。

主な特徴

• 約18 のスコアリングモード
• API価格に基づく実コスト/効率の計算
• ビジョン・ドキュメントの対応
• 初心者にも使いやすく、深い分析にも対応
• 無料プランあり

使い方のコア

• 自分のタスク・プロンプト・制約条件を設定してベンチマーク
• LLMをジャッジにせず、投票も行わない決定的評価を取得

想定されるユースケース

• RAG/検索、意味ベクトル、文書処理など