resillm

概要

LLMアプリの本番運用を支える透過的なプロキシです。自動リトライ、プロバイダ間フォールバック、サーキットブレーカー、予算管理、Prometheus 指標をコード変更なしで提供します。OpenAI、Anthropic、Azure OpenAI、Ollama に対応。Phase 1 では基礎機能を提供。今後は Chaos Engineering 的な機能拡張を目指します。

主な機能

• 自動リトライ（指数バックオフ）
• プロバイダ間フォールバック
• サーキットブレーカー
• 予算管理
• メトリクス（Prometheus）

導入と用途

• ベースURLを変更するだけで導入完了。オープンソースで、Bedrock／Vertex AI などの新規プロバイダ追加、キャッシュ、カオス注入機能の開発を募集。