IndiaSocialBench

概要

インドの文脈理解に特化した大規模言語モデルの評価ツール。18のシナリオ、8つの社会的次元、計50のデータセットで構成され、全データを通じた詳細分析と最終リーダーボードを作成します。

特徴

• 3言語（英語・ヒンディー語・ヒングリッシュ）から開始、順次他のインド語へ拡張予定
• コーディング能力以外の文脈理解を測る新規評価
• 公開ベータでフィードバックを歓迎 ## 仕様・目的
• 透明性のあるデータ設計と分析
• 地域言語・社会状況に適したモデル開発を後押し