Google Lança Chips de TPU de Oitava Geração com Melhor Relação Preço-Desempenho, Separa Treinamento e Inferência

Mensagem do Gate News, 22 de abril — A Google Cloud anunciou o lançamento de chips (Tensor Processing Unit) (Unidade de Processamento de Tensor) personalizados de sua oitava geração, baseados em TPU, em 22 de abril. A nova linha inclui a TPU 8t, projetada especificamente para tarefas de treinamento de IA, e a TPU 8i, otimizada para cargas de trabalho de inferência de IA. Ambos os chips estarão disponíveis mais tarde este ano. A Google também divulgou novas ferramentas para construir agentes de IA e anunciou um fundo de $750 um milhão para impulsionar a adoção de IA por empresas.

A TPU 8t oferece 2,8 vezes o desempenho do TPU Ironwood da geração anterior da Google, pelo mesmo preço. A TPU 8i melhora o desempenho em 80% em relação à predecessora e incorpora uma arquitetura de memória estática de acesso aleatório (SRAM) para entregar “alto throughput em larga escala e baixa latência, possibilitando que milhões de agentes sejam executados simultaneamente”, de acordo com o CEO Sundar Pichai. Em comparação com a Ironwood, tanto a TPU 8t quanto a TPU 8i atingem mais do que o dobro da eficiência desempenho-por-watt, com a TPU 8t melhorando em 124% e a TPU 8i em 117%. A Google otimizou a eficiência energética em toda a pilha de tecnologia e integrou sistemas de gerenciamento de energia dinâmicos que ajustam o consumo com base na demanda em tempo real.

Os modelos de primeira parte da Google agora processam mais de 160 bilhões de tokens por minuto por meio de chamadas diretas à API do cliente, acima dos 100 bilhões no trimestre passado. A IA agora gera 75% de todo o novo código na Google, em comparação com 50% no outono do ano passado. O Gemini Enterprise, oferta corporativa da Google, cresceu 40% de um trimestre para o outro em usuários ativos mensais pagantes. A empresa espera investir um pouco mais da metade do orçamento de computação de machine learning em serviços de nuvem até 2026 para melhor atender clientes e parceiros de nuvem. A Google também está expandindo sua colaboração com a Broadcom para desenvolver e fornecer chips de TPU personalizados para gerações futuras, enquanto grandes empresas de tecnologia buscam alternativas a GPUs caras e com oferta limitada da NVIDIA e da AMD.