Mac LLM Calculator

概要

• MacのモデルとLLMを選択すると、モデルがユニファイドメモリに収まるかどうかを簡単に判定できます。
• M1からM6までのMacに加え、比較対象として検討されるNVIDIA・AMD搭載マシンもカバーしています。
• 購入済み、レンタル、手元のマシンを問わず、同じ基準でLLMの動作可否と速度を比較できます。

速度予測の特徴

• メモリ帯域幅だけでなく、トークンごとに発生する固定オーバーヘッドも考慮し、現実的な生成速度を予測します。
• M4ベースモデルでOllamaを使って6モデルを実測し、各モデル3回の中央値から予測式の定数を算出しています。
• 予測式は6つの実測結果をすべて4％以内で再現し、計算式・測定データ・コードをオープンソースで公開しています。

こんな人におすすめ

• 70Bなど大規模モデルが手元のMacで動くか、メモリ容量を購入前に具体的に確認したい人に適しています。
• Mac、5090、DGX Sparkなど複数のハードウェアを比較し、LLM推論用のマシンを選びたい人に役立ちます。
• MoEモデルのメモリ計算や、未掲載ハードウェアの実測値を検証・共有したい開発者にも向いています。