Moonlight

概要

Moonshot AIが提供する「Moonlight」は、効率的でオープンソースの言語モデルです。これは、3Bおよび16Bのモードエキスパート（MoE）アーキテクチャを採用した新しいモデルファミリーです。

特徴

• Muonオプティマイザー：この技術はAdamWに対して約2倍の計算効率を誇り、優れたパフォーマンスを提供します。
• 豊富なモデルサイズ：3Bと16Bの2つのサイズから選べ、どちらも高い性能を発揮します。
• オープンソースの利点：事前学習済みのモデルや指示調整済みの中間チェックポイントも公開されており、研究の進展に寄与します。
• 大規模データトレーニング：5.7Tトークンを使用してトレーニングされており、データの豊富さが特長です。

Moonlightは、LLMのトレーニング方法の革新を目指し、コミュニティにとって大きな価値をもたらす製品です。