Cosen

概要

• AI機能ごとの利用コスト、処理トレース、セキュリティを一つのローカルWebアプリとゲートウェイで管理できます。
• OpenAI、Groq、Ollama、vLLMなど、利用するLLMや実行環境に依存しないコントロールプレーンを提供します。
• 各呼び出しに機能名をタグ付けすることで、どの機能にいくらかかり、どの処理に問題があるかを把握できます。

主な特徴

• モデル呼び出しを記録して、機能単位の支出や遅延、異常なレスポンスを追跡できます。
• プロンプト内の秘密情報やプロンプトインジェクションを検出し、必要に応じてブロックまたはマスキングします。
• モックモードを搭載しており、APIキーなしで動作を試せます。セルフホストで運用できる点も特徴です。

こんな人におすすめ

• 複数のLLMを比較・切り替えながら、AI機能を実際のプロダクトへ組み込んでいる開発者やチームに適しています。
• AI機能ごとのコストや、遅い・誤ったモデル呼び出しを一元的に把握したいプロダクト担当者に向いています。
• 機密情報の流出やプロンプトインジェクションを、後追いのスキャンではなく実行時に管理したい人におすすめです。