Olmo Hybrid

概要

Olmo Hybrid は、トランスフォーマーのアテンションと線形 RNN 層を組み合わせた完全オープンの7Bモデルです。Gated DeltaNet とアテンションの3:1構成により、MMLUで Olmo 3 と同等の精度を保ちながらトークン数を約49%削減します。

特徴

• 同サイズ・同速の学習
• 長文コンテキスト評価を大幅に改善
• HFでウェイトがクリーン
• WebGPU でブラウザ上100%ローカル実行可能

応用

オープンな7Bモデリングの実装例として、研究開発からプロトタイピングまで幅広く活用可能。