Intellirate

Intellirateは、AIエージェントやモデル、チャットボットの知能を評価し、本番環境でのリグレッションを回避・予防する自動化ベンチマークプラットフォームです。GenAIの特徴で、同じプロンプトを再現しても結果が変わる点に対処するべく、従来のユニットテストだけでは足りないと認識しました。ビッグスリーとしてのセキュリティ（プロンプトインジェクション）、信頼性（遅延・幻覚）、公平性（偏見）を優先。初期はレイテンシ監視から始めましたが、CTOとの対話で自動Red Teamingへ転換。静的テストだけでは不十分と気づき、Attacker Agentsを使ってモデルを破ろうとするアプローチを採用しました。