PRISM by Block Convey

概要

• AIエージェントのモデル呼び出し、ツール実行、ガードレール判定をトレース単位で可視化し、見えにくい失敗の原因を特定します。
• ツールから正常なステータスが返っていてもユーザーの目的を達成できないケースを、実行結果と各ステップの関係から検出します。

主な特徴

• 決定論的チェックとLLM-as-judgeを組み合わせ、レスポンスのハルシネーション、バイアス、ドリフトを評価して問題をフラグ付けします。
• 失敗したステップを特定し、改善に向けた修正案を提示します。OpenAI、Anthropic、LangGraph、OpenTelemetryから接続できます。
• 無料プランを利用でき、Synthetic Scenariosによるテスト機能もベータ版として提供されています。

こんな人におすすめ

• 本番運用中のAIエージェントで、ユーザーからの報告を受けるまで失敗に気づけない状況を改善したい開発者や運用担当者。
• 複数のモデルや外部ツール、ガードレールを組み合わせたエージェントの品質を継続的に監視・評価したいチーム。