Keys and Caches

概要

Herdoraが開発した「Keys & Caches」は、MLインフラストラクチャの最も厄介な問題を解決するツールです。具体的には、モデルの推論がなぜ遅いのかを解明します。

サービスの特長

• 簡単導入: 1つのデコレーターをコードに追加するだけで、時間とメモリの使用状況を明確に示すトレースを得られます。
• 詳細追跡: PythonからCUDA、さらにPTXまで、各レイヤーを詳しく確認可能。
• 迅速なボトルネック発見: 数分でボトルネックを発見し修正できるため、作業効率が飛躍的に向上します。

問題点

• 既存のプロファイラーは膨大なデータを提供するだけで、理解するのが難しい。
• GPU予算が無駄に消耗される原因が不明。
• 契約の基準に達しない事態が発生し、ボトルネックを特定できない。

HerdoraはNVIDIAのGPUを逆工学しています。これにより、MLエンジニアが本当に必要とするプロファイリングツールを提供。