Coinbase сократил расходы на ИИ почти вдвое, пытаясь установить модели с открытым весом, такие как GLM 5.2, Kimi 2.7, в качестве опций по умолчанию.

BlockBeats сообщает, 27 июня, генеральный директор Coinbase Брайан Армстронг написал в блоге, что для поддержания стабильности расходов на ИИ при экспоненциальном росте использования токенов ключ не в установлении ограничений на использование или предупреждений о расходах, а в улучшении моделей по умолчанию, маршрутизации и механизмов кэширования. Coinbase через LLM-шлюз пробует по умолчанию использовать модели с открытым весом, такие как GLM 5.2, Kimi 2.7, при этом поощряя инженеров выбирать подходящую модель для каждой задачи. Он заявил, что 91% сотрудников никогда не достигали лимита использования, поэтому компания не стала снижать лимиты и добавлять предупреждения, а перешла на более дешевые модели по умолчанию.

Что касается маршрутизации моделей, Coinbase предварительно обрабатывает подсказки в пользовательских процессах и направляет задачи на наиболее подходящую модель в зависимости от процента попаданий в кэш и ценообразования модели. Например, на этапе планирования может потребоваться передовая модель, но на этапе выполнения ее использование может быть избыточным. Он считает, что в будущем выбор модели не должен делаться людьми, ИИ может автоматически выполнять эту задачу.

Армстронг также отметил, что промахи кэша — самый простой способ увеличить расходы. Все запросы Coinbase оснащены кэш-чувствительностью, чтобы максимально повторно использовать горячий кэш. Например, после правильной реализации кэширования коэффициент попаданий в кэш LibreChat вырос с 5% до 60%. Кроме того, Coinbase требует от инженеров поддерживать лаконичный контекст, включая открытие нового сеанса при переключении задач, сокращение контекста файлов, отключение неиспользуемых инструментов и т.д. Цель — не подавлять использование ИИ, а создать инфраструктуру, способную выдержать экспоненциальный рост. Благодаря этим практикам Coinbase сократила расходы на ИИ почти вдвое, при этом использование токенов продолжает расти.