NerfTracker

概要

• 複数のAIモデルに同一のコーディング課題を定期的に実行させ、性能低下、いわゆる「nerf（弱体化）」の兆候を継続的に監視します。
• モデルの品質変化を感覚や個別の印象ではなく、統一された条件で比較・記録し、悪化が確認されたタイミングを知らせます。

特徴

• 全モデルに同じ文章プロンプトを1回だけ入力し、Claude Code、Codex、Grok Buildなど各モデル固有のコーディング環境で検証します。
• 毎回クリーンなサンドボックスを使用し、メモリやキャッシュ、セッション、残存プロセスを消去。前後のチェックサムで環境の再現性も確認します。

こんな人におすすめ

• AIコーディングモデルの性能変化を継続的に把握し、アップデート後に実力が落ちていないか客観的に確認したい開発者やチーム。
• モデルの品質低下を口コミや体感だけで判断せず、同一条件のテスト結果に基づいて評価したいAI利用者や研究者。