DeepSeek lança em open-source o TileKernels, biblioteca de kernels de GPU para o treino e a inferência de grandes modelos

Notícia de Gate, 23 de Abril — A DeepSeek lançou em open-source o TileKernels sob a licença MIT, uma biblioteca de kernels de GPU escrita em TileLang para o treino e a inferência de grandes modelos de linguagem. O TileLang é uma linguagem específica de domínio desenvolvida pela equipa tile-ai para expressar kernels de GPU de alto desempenho em Python. A DeepSeek afirmou que a maioria dos kernels da biblioteca se aproximou dos limites de desempenho do hardware em densidade de computação e largura de banda de memória, com partes já implementadas em operações internas de treino e inferência.

A biblioteca inclui seis categorias de kernels: MoE (mixture of experts) gating e routing, incluindo seleção de especialistas Top-k, mapeamento token-para-especialista, e expandir/reduzir fundidos com normalização de pesos; quantização que suporta formatos FP8, FP4 e E5M6 com quantização por token, por bloco e por canal, incluindo operações fundidas SwiGLU+quantização; transposição em lote; Engram gating com propagação forward/backward de RMSNorm fundida e redução do gradiente de pesos; Manifold HyperConnection com normalização Sinkhorn e split/apply mistos; e interfaces de alto nível de autograd que envolvem kernels de baixo nível em camadas treináveis.

Engram e Manifold HyperConnection são componentes proprietários da arquitectura do modelo da DeepSeek, com detalhes de implementação divulgados publicamente pela primeira vez. A biblioteca requer GPUs de arquitectura NVIDIA SM90 ou SM100 (H100/H200 ou série Blackwell), CUDA Toolkit 13.1 ou superior, e PyTorch 2.10 ou superior.