LLM Workbench
ストックにはログインが必要です
LLMプロンプトをローカルでテスト・比較・バージョン管理できる環境
Artificial Intelligence
Developer Tools
GitHub
概要
- 開発者、プロンプトエンジニア、AI研究者向けに、LLMの評価と検証を高速かつ柔軟に行えるプライベートなワークベンチです。
- 複数のクラウドLLMとローカルモデルを横断して、同じプロンプトの実行結果を比較・管理できます。
主な特徴
- 正規表現、JSON Schema、部分文字列によるアサーションで出力を自動判定し、モデルごとのPASS/FAIL評価をすぐに確認できます。
- CSV/JSONデータセットを使った一括テスト、変数マッピング、最大4モデルの差分比較、マルチターンのツール呼び出しモックに対応します。
- OllamaやLM Studioのローカルモデルをワンクリックで検出でき、Gitで管理しやすいMarkdown形式の.promptファイルも扱えます。
プライバシーと適した利用者
- APIキーはAES-256-GCMで保護され、セッション中のメモリにのみ保持されます。ディスクへの保存や外部サーバーへの送信は行いません。
- 機密性の高いプロンプトを扱うチームや、インターネット接続のないエアギャップ環境で安全にLLMを検証したい開発者に適しています。
投票数: 0