Relay

概要

RelayはLLM API向けの信頼性を高めるドロップインSDK。自動リトライ、Anthropic↔OpenAI のフェイルオーバー、スマートキャッシュを全LLM呼び出しに適用します。1行の設定でプロバイダ障害時にもAIエージェントをオンラインに保ち、BYOK・エッジネイティブ・初期費用0円を実現します。

主な特徴

• decorrelated jitter による自動リトライ
• プロバイダ間フェイルオーバー（モデルマッピング付き）
• 正確性と意味理解を両立するスマートキャッシュ
• 各リクエストのライブダッシュボード（遅延・コスト・リトライ）

オープンソースと今後

MITライセンスのSDKとして公開（github.com/relay-llm/sdk）。初期ウェイトリスト参加者にはProを6か月無料提供。今後、Anthropic以外のプロバイダ追加の要望を受け付け、適用を検討。