Gate Newsのメッセージ、4月23日 — DeepSeekはMITライセンスのもとでTileKernelsをオープンソース化しました。TileKernelsは、大規模言語モデルの学習と推論のためにTileLangで書かれたGPUカーネルライブラリです。TileLangは、tile-aiチームによって開発された、Pythonで高性能なGPUカーネルを表現するためのドメイン固有言語です。DeepSeekによれば、このライブラリのほとんどのカーネルは、計算密度とメモリ帯域においてハードウェア性能の限界に近づいており、一部はすでに社内の学習および推論オペレーションに展開されているとのことです。
このライブラリは、6つのカーネルカテゴリで構成されています。MoE (mixture of experts)（エキスパートのゲーティングとルーティング）には、Top-kエキスパート選択、トークンからエキスパートへのマッピング、重み正規化を伴う結合されたexpand/shrinkが含まれます。FP8、FP4、E5M6形式をサポートする量子化には、トークン単位・ブロック単位・チャネル単位の量子化が含まれ、SwiGLU+量子化の結合演算も含まれます。バッチ転置。Sinkhorn正規化と、混合されたsplit/applyを備えたEngramゲーティング。Sinkhorn正規化と混合split/applyを伴うManifold HyperConnection。そして、高レベルの自動微分インターフェースにより、低レベルのカーネルを訓練可能な層として包み込むものです。
EngramおよびManifold HyperConnectionはDeepSeekのモデルアーキテクチャにおける専有コンポーネントであり、実装の詳細は初めて公に開示されました。このライブラリには、NVIDIA SM90またはSM100アーキテクチャのGPU (H100/H200またはBlackwellシリーズ)、CUDA Toolkit 13.1以上、そしてPyTorch 2.10以上が必要です。
Related News
