DeepSeek відкриває TileKernels з відкритим кодом: бібліотека GPU-ядр для тренування й інференсу великих моделей

Повідомлення Gate News, 23 квітня — DeepSeek відкрив вихідний код TileKernels під ліцензією MIT: бібліотека GPU-ядр для обчислень, написана на TileLang для тренування та інференсу великих мовних моделей. TileLang — це предметно-орієнтована мова, розроблена командою tile-ai для вираження високопродуктивних GPU-ядр у Python. DeepSeek зазначив, що більшість ядер у цій бібліотеці вже наблизилися до граничних можливостей апаратного забезпечення за обчислювальною щільністю та пропускною здатністю пам’яті, причому частини коду вже розгорнуті у внутрішніх операціях тренування та інференсу.

Бібліотека містить шість категорій ядер: MoE (mixture of experts) gating і маршрутизація, включно з вибором експертів Top-k, відображенням токен—експерт і злитими операціями expand/shrink із нормалізацією ваг; квантування, що підтримує формати FP8, FP4 і E5M6 із квантуванням для кожного токена, для кожного блока та для кожного каналу, включно зі злитими операціями SwiGLU+квантування; batch transpose; Engram gating із злитим поширенням уперед/назад RMSNorm і зведенням градієнта ваг; Manifold HyperConnection із нормалізацією Sinkhorn і змішаним split/apply; а також високорівневі інтерфейси autograd, які обгортають низькорівневі ядра в навчальні шари.

Engram і Manifold HyperConnection є власницькими компонентами модельної архітектури DeepSeek, причому деталі реалізації вперше були розкриті публічно. Бібліотека вимагає GPU архітектури NVIDIA SM90 або SM100 (H100/H200 або серії Blackwell), CUDA Toolkit 13.1 або новішу версію, і PyTorch 2.10 або новішу версію.