QuarterBit AXIOM

概要

• 1枚のGPUで70Bモデルを訓練可能にするメモリ圧縮技術
• Kaggle T4で13Bを無料動作
• コストを90%削減、エネルギーを91%削減
• すべてのパラメータを訓練可能、完全なファインチューニング

背景

• 70Bモデル訓練には840GBのGPUメモリが必要で、11枚のA100が必要だった

使い方と現状

• ブラウザデモあり、pip install quarterbit
• YC S26へ応募中、初期ユーザーとフィードバックを募集