ds4

概要

• DeepSeek V4/V4.1 Flash、GLM 5.x、Qwen3.8 Flash Nextを、高メモリのMacやCUDA・ROCm対応マシンでローカル実行できるC言語製エンジンです。
• M5 Max・128GB環境で生成速度34.4トークン/秒を実現し、クラウドに依存せず高性能なモデル推論を行えます。

主な特徴

• ルーティングされるエキスパートに非対称量子化を適用し、SSDに保存され再起動後も利用できる永続KVキャッシュを備えています。
• CLIに加えてOpenAI・Anthropic互換のローカルAPIと、同じモデル状態を共有するネイティブなコーディングエージェントを提供します。

こんな人におすすめ

• 大容量メモリのMacやCUDA・ROCm環境を活用し、機密データを外部サービスへ送らずに最新の大規模言語モデルを動かしたい開発者に適しています。
• 既存のOpenAI・Anthropic向けツールとの互換性や、ローカルモデルを使ったコーディングエージェントを重視する人に向いています。