PrismML выпускает Bonsai 27B — первую ИИ-модель на 27B, сжатую до 3,9 ГБ для iPhone

По данным PrismML, компания выпустила Bonsai 27B — ИИ-модель с 27 миллиардами параметров, сжатую до 3,9 ГБ — на этой неделе раньше. Её достаточно, чтобы запускать на iPhone 17 Pro Max со скоростью 11 токенов в секунду. Вариант с тернарным кодированием сохраняет 94,6% производительности бенчмарков при полной точности и обходит стандартные сборки Qwen с низким битрейтом: они почти вдвое больше, но при этом «проваливаются» на задачах по математике и программированию. Вариант с бинарным кодированием достигает 1,125 бита на вес, квантируя параметры модели до одиночных бинарных значений с общими коэффициентами масштабирования.

Apple, по данным CNBC, на ранних стадиях обсуждает с PrismML технологию сжатия. Генеральный директор PrismML Бабак Хасиби подтвердил, что компания оценивает технологию для потенциального использования на устройстве. Следующей в очереди стоит сжатая модель Gemma, после чего компания перейдёт к более крупным «фронтирным» моделям; Bonsai 27B в 1-битном варианте доступен для бесплатной загрузки по лицензии Apache 2.0.