Cline testa o Kimi K2.6 com auto-hospedagem: só economiza 10%, não vale a pena abaixo de $500K em gastos anuais

De acordo com o monitoramento do Beating AI, Cline calculou os custos de auto-hospedagem do Kimi K2.6 em produção real. Processar 5,83 bilhões de tokens por mês via API custa aproximadamente US$ 185 mil. Rodar 16 GPUs NVIDIA B200 em capacidade total para o tráfego-base, enquanto direciona o restante das solicitações via API, reduz a conta para US$ 166 mil, gerando economia de apenas cerca de 10%.

Cline estima que o escalonamento dinâmico de GPUs poderia aumentar a economia para 22%-25%, com novas otimizações potencialmente chegando a 35%-40%, embora essas estratégias permaneçam não testadas em produção. A empresa conclui que a auto-hospedagem só se torna economicamente viável quando os gastos anuais com API superam US$ 500 mil–2 milhões; abaixo desse patamar, os custos de infraestrutura e de engenharia normalmente superam as economias.