mlx-serve

概要

Apple Silicon 上で動くローカルAIサーバー mlx-serve は、Python や conda 不要の単一バイナリで提供。LLM 推論・画像・動画生成・声のクローン・エージェントを提供します。

主な特徴

• LLM 推論は Gemma 4 E4B 4-bit で LM Studio より 35% 以上速い
• Ollama/OpenAI/Anthropic API を同一ポートでドロップイン対応
• ローカル画像生成 FLUX.2 / Krea-2 Turbo
• 音声付き動画生成 LTX-Video
• 声のクローン Qwen3-TTS + ECAPA-TDNN
• エージェントは isolation Linux VM サンドボックス（Virtualization.framework）
• 無料の macOS メニューバーアプリ同梱

補足

Claude Code、Raycast、Open WebUI、Cursor、OpenAI/Ollama API 互換ツールがそのまま動作します。実装は Zig。