LLM Test Server

概要

• 13種類のLLMプロバイダーAPIをローカルで再現し、実際のモデルや外部サービスに接続せず、毎回同じ入力から同じ結果を返せます。
• 公式SDKを変更せず、/openai/v1や/anthropic/v1などの名前空間付きエンドポイントへベースURLを切り替えるだけで導入できます。
• Dockerイメージであらゆる技術スタックに対応し、.NETではNuGetパッケージ、Aspire連携、型付きクライアントも利用できます。

主な特徴

• フィクスチャを使って回答、ツール呼び出し、ストリーミング、各種エラーやAPIの挙動を自由に再現し、統合処理の不具合を安定して検証できます。
• ダッシュボードでシステムプロンプト、ツールスキーマ、会話履歴、ツール結果など、リクエストコンテキストの構成を確認できます。
• プロンプトキャッシュの読み書きやヒット状況も可視化し、会話の組み立てやキャッシュ利用が意図どおりか検証できます。

こんな人におすすめ

• AIエージェントやLLM連携アプリの開発者で、誤ったリクエスト、ツール結果の欠落、ストリーム処理、リトライ処理をテストしたい人。
• 本番環境へデプロイする前に、ライブモデルの変動やAPI料金に影響されず、再現性のある自動テストを整備したいチーム。
• Python、TypeScript、Go、.NETなどのSDKを使いながら、複数のLLMプロバイダーにまたがる統合テストを効率化したい人。