Model Kombat by HackerRank

概要

「Model Kombat」は、コーディングLLMが実際のプログラミングタスクにおいて競い合うアリーナです。開発者が投票を行い、その結果がモデルのトレーニングデータとして活用される仕組みです。

主要な特徴

• ライブ対決: 2つのコーディングモデルが並行してソリューションを生成し、問題文を常に表示します。
• 投票による選別: 開発者は、実際に本番環境に送り出したいコードに投票することで、より実践的な評価が行われます。
• 透明性の確保: すべての評価データは公開され、隠れた基準や選別された結果は存在しません。
• 開発者主導: プラットフォームは、開発者による評価と遊び心を兼ね備えています。

目指すもの

現在のLLMのベンチマークが抱える問題を解決し、リアルな開発者によってモデルの実力を証明する新しい形の評価を確立します。