Google запускає чипи TPU восьмого покоління з покращеним показником ціна/продуктивність, розділяє навчання та інференс

Повідомлення Gate News, 22 квітня — Google Cloud оголосила про випуск своїх чипів TPU (Tensor Processing Unit) восьмого покоління власної розробки 22 квітня. Новий лінійний ряд включає TPU 8t, створені спеціально для задач AI-навчання, і TPU 8i, оптимізовані для робочих навантажень AI-інференсу. Обидва чипи стануть доступними пізніше цього року. Google також представила нові інструменти для створення AI-агентів і оголосила $750 мільйонний фонд для стимулювання впровадження корпоративного AI.

TPU 8t забезпечує 2,8 раза продуктивності попереднього TPU Google Ironwood попри ту саму цінову категорію. TPU 8i підвищує продуктивність на 80% порівняно з попередником і включає архітектуру статичної оперативної пам’яті з довільним доступом (SRAM), щоб забезпечити “економічно ефективну масштабовану пропускну здатність і низьку затримку, дозволяючи мільйонам агентів працювати одночасно”, — за словами генерального директора Сундара Пічаї. Порівняно з Ironwood, обидва TPU 8t і TPU 8i досягають більш ніж дворазової ефективності за продуктивністю на ват: TPU 8t покращує показник на 124%, а TPU 8i — на 117%. Google оптимізувала енергоефективність у всьому технологічному стеку та інтегрувала системи динамічного керування потужністю, які регулюють споживання залежно від реального попиту.

Клієнтські моделі Google тепер обробляють понад 160 мільярдів токенів за хвилину через прямі виклики API клієнтів, що більше ніж 100 мільярдів минулого кварталу. Тепер AI створює 75% усього нового коду в Google, тоді як восени минулого року цей показник становив 50%. Gemini Enterprise, корпоративна пропозиція Google, зросла на 40% квартал до кварталу в оплачуваних щомісячно активних користувачах. Компанія очікує інвестувати трохи більше половини свого бюджету обчислень машинного навчання в хмарні сервіси до 2026 року, щоб краще обслуговувати хмарних клієнтів і партнерів. Google також розширює співпрацю з Broadcom, щоб розробляти та постачати власні чипи TPU для майбутніх поколінь, оскільки великі технологічні компанії шукають альтернативи дорогим і таким, що мають обмеження постачання, GPU від NVIDIA та AMD.