Prompt Eval

製品概要

• テストケースのデータセットに対してプロンプトを実行し、平均スコア・合格率・各ケースの失敗理由を説明するスコア付きレポートを提供します。
• バージョン比較で回帰を検出。決定論的、LLMジャッジ、参照評価の3軸で評価します。
• 初回は20クレジットが無料開始。継続的な検証を容易にします。
• 出力形式を明確化するなどの小さな変更だけで大きく改善する実例を示し、プロンプトの検証習慣を促します。
• 誰もが自分のプロンプトをテストする文化の構築を目指します。目的は、プロンプトの信頼性と再現性を高めることです。