Coinbase принимает китайские модели ИИ GLM 5.2 и Kimi 2.7 в качестве стандартных для инженеров

Генеральный директор Coinbase Брайан Армстронг заявил в прошлую пятницу (26-го числа), что криптовалютная биржа установила китайские модели ИИ с открытым исходным кодом GLM 5.2 и Kimi 2.7 в качестве больших языковых моделей по умолчанию для внутренних инженеров. Армстронг сообщил, что Coinbase сократила расходы на ИИ почти вдвое за счёт оптимизации маршрутизации и улучшения кэширования, при этом использование токенов продолжает экспоненциальный рост. Это внедрение отражает более широкую тенденцию среди американских технологических компаний, которые незаметно интегрируют китайские модели ИИ с открытым исходным кодом в производственную инфраструктуру для снижения затрат и масштабирования приложений.

Coinbase внедряет трёхуровневую инфраструктуру для сокращения расходов на ИИ

Армстронг объяснил снижение затрат реорганизацией инфраструктуры на трёх уровнях. Первый уровень — «интеллектуальная маршрутизация»: система предварительно обрабатывает запросы и автоматически назначает задачи наиболее подходящей и экономичной модели на основе частоты попаданий в кэш и стоимости модели. Второй уровень — «агрессивное кэширование»: оно повысило частоту попаданий в кэш LibreChat с 5% до 60%, требуя, чтобы все запросы учитывали кэш. Третий уровень — «оптимизированный контекст»: рекомендуется открывать новые сеансы при переключении задач и сужать область файлов для уменьшения пустой траты токенов.

Армстронг подчеркнул, что такой подход направлен не на подавление использования, а на масштабирование внедрения ИИ. Он назвал этот метод ключом к устойчивому расширению использования ИИ, заявив, что любое предприятие может принять эту модель, позволяя инженерам свободно использовать любое количество токенов и моделей без установления верхнего предела затрат, привязывая использование к бизнес-показателям.

Китайские модели с открытым исходным кодом выполняют рутинные задачи в рамках мультимодельной стратегии

Две китайские модели с открытым исходным кодом в основном развёрнуты для сценариев рутинных задач. Для задач, требующих сложного планирования, инженеры по-прежнему могут выбирать передовые модели. В процессе проверки кода Coinbase использует параллельную стратегию нескольких моделей, позволяя различным моделям перекрёстно проверять выходные результаты для поддержания стандартов качества.

Армстронг отметил, что по мере того, как стоимость услуг ведущих американских моделей продолжает расти, преимущества китайских моделей с открытым исходным кодом в соотношении цена/качество постепенно меняют стратегии внедрения ИИ в глобальных технологических компаниях.

Часто задаваемые вопросы

Что объявила Coinbase в прошлую пятницу (26-го числа) в отношении моделей ИИ?
Генеральный директор Coinbase Брайан Армстронг объявил, что компания установила китайские модели ИИ с открытым исходным кодом GLM 5.2 и Kimi 2.7 в качестве больших языковых моделей по умолчанию для внутренних инженеров. Армстронг заявил, что это изменение в сочетании с оптимизацией маршрутизации и улучшением кэширования сократило расходы на ИИ почти вдвое, при этом использование токенов продолжает экспоненциальный рост.

Как Coinbase использует китайские модели ИИ в своей работе?
Coinbase развёртывает GLM 5.2 и Kimi 2.7 в основном для сценариев рутинных задач, в то время как инженеры по-прежнему могут выбирать передовые модели для задач, требующих сложного планирования. При проверке кода компания использует параллельную стратегию нескольких моделей, где различные модели перекрёстно проверяют выходные результаты для поддержания стандартов качества.