Coinbase приймає китайські моделі ШІ GLM 5.2 та Kimi 2.7 як стандарт для інженерів

Генеральний директор Coinbase Браян Армстронг заявив минулої п’ятниці (26-го), що криптобіржа встановила китайські відкриті моделі штучного інтелекту GLM 5.2 та Kimi 2.7 як великі мовні моделі за замовчуванням для внутрішніх інженерів. Армстронг повідомив, що Coinbase скоротила витрати на ШІ майже вдвічі завдяки оптимізації маршрутизації та покращенню кешування, тоді як використання токенів продовжує експоненційне зростання. Це впровадження відображає ширшу тенденцію серед американських технологічних компаній, які тихо інтегрують китайські відкриті моделі ШІ у виробничу інфраструктуру для зниження витрат і масштабування додатків.

Coinbase впроваджує трирівневу інфраструктуру для зниження витрат на ШІ

Армстронг пояснив зниження витрат перебудовою інфраструктури на три рівні. Перший рівень — «розумна маршрутизація», де система попередньо обробляє запити та автоматично призначає завдання найбільш підходящій та економічній моделі на основі коефіцієнта потрапляння в кеш і ціни моделі. Другий рівень — «агресивне кешування», яке підвищило коефіцієнт потрапляння в кеш LibreChat з 5% до 60%, вимагаючи, щоб усі запити враховували кеш. Третій рівень — «спрощений контекст», який рекомендує відкривати нові сесії під час перемикання завдань і звужувати обсяг файлів, щоб зменшити витрати токенів.

Армстронг наголосив, що такий підхід не полягає в придушенні використання, а в масштабуванні впровадження ШІ. Він описав метод як ключ до досягнення сталого розширення використання ШІ, зазначивши, що будь-яке підприємство може прийняти цю модель, щоб дозволити інженерам вільно використовувати будь-яку кількість токенів і моделей без встановлення верхньої межі витрат, одночасно пов’язуючи використання з впливом на бізнес.

Китайські відкриті моделі виконують рутинні завдання в багатомодельній стратегії

Дві китайські відкриті моделі розгорнуті переважно для сценаріїв рутинних завдань. Для завдань, що потребують складного планування, інженери можуть обирати передові моделі. У процесі перевірки коду Coinbase використовує багатомодельну паралельну стратегію, дозволяючи різним моделям перехресно перевіряти результати для підтримки стандартів якості.

Армстронг зазначив, що з огляду на постійне зростання вартості провідних американських модельних сервісів, переваги китайських відкритих моделей у співвідношенні ціни та якості поступово змінюють стратегії впровадження ШІ глобальних технологічних компаній.

FAQ

Що Coinbase оголосила минулої п’ятниці (26-го) щодо моделей ШІ?
Генеральний директор Coinbase Браян Армстронг оголосив, що компанія встановила китайські відкриті моделі ШІ GLM 5.2 та Kimi 2.7 як великі мовні моделі за замовчуванням для внутрішніх інженерів. Армстронг заявив, що ця зміна разом з оптимізацією маршрутизації та покращенням кешування скоротила витрати на ШІ майже вдвічі, тоді як використання токенів зберігає експоненційне зростання.

Як Coinbase використовує китайські моделі ШІ у своїй діяльності?
Coinbase розгортає GLM 5.2 та Kimi 2.7 переважно для сценаріїв рутинних завдань, тоді як інженери можуть обирати передові моделі для завдань, що потребують складного планування. У перевірці коду компанія використовує багатомодельну паралельну стратегію, де різні моделі перехресно перевіряють результати для підтримки стандартів якості.