sandtable

概要

• 会話の内容が自然でも、データベース上の保険期限切れなど、対話に現れない状態の問題を検出できるAIエージェント向けテストツールです。
• シミュレーション環境でエージェントを実際に動かし、ツール呼び出しと業務ルール、データベース記録を組み合わせて合否を判定します。
• オープンソースでローカル実行に対応し、Vapi、Retell、ElevenLabsなどのエージェントも取り込んでテストできます。

特徴

• シミュレーション上の発信者がリアルタイムで対話し、状態を持つモックが各ツール呼び出しを記録して、実行前にルール違反を確認します。
• LLM判定の主観や揺らぎを使わず、破られたルールと該当するデータベース記録を特定し、同じ条件から常に同じ結果を返します。
• YAMLで定義したドメイン設定をCIでコミットごとに実行でき、OpenAPI仕様書やSOP、会話ログからテスト環境を構築できます。

こんな人におすすめ

• 電話やチャットで予約・販売・サポートを行うAIエージェントを、本番投入前に業務ルールや顧客データの観点から検証したい開発者。
• LLMの評価モデルによる曖昧な判定を避け、失敗したツール呼び出しや違反した業務ルールを再現可能な形で追跡したいチーム。
• 特定ベンチマークではなく自社ドメイン向けのテストを、オープンソースかつCI対応の開発ワークフローに組み込みたい組織。