DeepGEMM

概要

DeepGEMMは、DeepSeekが開発したオープンソースライブラリで、NVIDIA Hopper GPU向けに特化した高性能のFP8 GEMM（一般行列積）カーネルを提供します。このライブラリは、ディープラーニングにおける重要な計算を最大限に効率化することを目的としており、特に以下の特徴があります。

• 軽量なコードベース: 約300行のクリーンなコードで構成されています。
• JITコンパイル: 実行時にコンパイルされ、パフォーマンスを向上させます。
• 重い依存関係なし: シンプルな設計により、追加のライブラリに頼る必要がありません。

特徴

DeepGEMMは、以下のようなシナリオに最適です。

• 密なモデルの処理
• Mixture-of-Experts（MoE）モデルの実行

このプロダクトは、最小限の実装ながら最大のパフォーマンスを引き出すことを目指しており、DeepSeek-V3やR1の基盤技術としても利用されています。