telemetry.dev

概要

• AIエージェントの1回の実行をトレースとして可視化し、モデルやツールの各呼び出しをスパン単位で追跡できます。
• 実行時間、トークン数、コスト、エラーをまとめて確認でき、本番環境で問題が起きた箇所や原因を把握しやすくします。

主な機能

• デプロイせずにプロンプトを変更し、データセットで評価したうえで、本番環境の結果とスコアを比較できます。
• エラーの集中、コストの急増、エージェントのループを検知してアラート通知。CLIやMCPサーバーからトレースを参照できます。
• OpenTelemetryを基盤に、TypeScript・Python SDKを提供。OpenAI、Anthropic、Vercel AI SDK、LangChainなどに対応します。

こんな人におすすめ

• 本番稼働中のAIエージェントで、どの処理が失敗したのか、1回の実行にいくらかかったのかを詳しく調べたい開発者。
• プロンプトの変更を安全に検証し、デプロイ前にデータセット上で評価結果を比較したいチーム。
• 複数のLLMやツールを組み合わせたエージェントを、既存のOpenTelemetry環境とSDKで監視したい開発組織。