Ferrum

概要

• Ferrumは、ローカル言語モデルの実行と提供に特化した、オープンソースのRust製ランタイムです。
• 単一のバイナリでCLI実行とHTTPサーバーの両方に対応し、開発環境をシンプルに保てます。

特徴

• Apple SiliconのMetalとNVIDIA CUDAをサポートし、Python・PyTorch・vLLMなしでモデルを動かせます。
• OpenAI互換のChat Completions APIとResponses APIを備え、既存のアプリケーションから接続できます。
• モデルを明示的に選択してローカルで実行し、同じモデルをHTTP経由で外部クライアントに提供できます。

こんな人におすすめ

• 依存関係の多いPython環境を避け、ネイティブな開発ツールとしてローカルLLMを扱いたい開発者に適しています。
• Apple SiliconまたはNVIDIA GPU上で、モデルの検証や推論APIの構築を手軽に行いたい人に向いています。