Agens Volundr 32B Preview
ストックにはログインが必要です
32Bのオープンモデル:72層のうちKVキャッシュを保持するのは18層 בלבד
Artificial Intelligence
Developer Tools
Open Source
概要
- Agens Volundrは、エージェントや長時間の作業セッションを想定した32Bのオープンウェイトモデルで、最大262Kの長いコンテキストに対応します。
- 72層中18層だけがKVキャッシュを保持し、残り54層は固定サイズ状態の線形アテンションを採用することで、長文脈時のメモリ増加を抑えます。
主な特徴
- 128Kコンテキストでも23.9 tok/sのデコード速度を維持し、8K時の24.1 tok/sから性能がほぼ低下しません。
- Apache-2.0で公開され、BF16とINT4に対応。INT4なら48GB GPU 1枚、BF16なら48GB GPU 2枚で動作します。
- 公開済みの独自sglangビルドで実行でき、標準sglangとvLLMへの対応およびGGUF版は今後の予定です。
想定ユーザー・現状
- モデルを自社マシンで運用し、長い会話や継続的なエージェントタスクにおけるメモリ消費を抑えたい開発者に適しています。
- 社内ベンチマークではQwen3.8-27BをLiveCodeBench v6、HumanEval、AIME 2025、MATH-500で上回っています。
- 現行Previewでは長時間のエージェントタスクに改善余地があり、完全版v1ではその差を縮めることが主要な目標とされています。
投票数: 1