Apple веде переговори з PrismML, стартапом, підтриманим Khosla Ventures, щоб оцінити технологію стиснення моделей ШІ, яка може дозволити потужним моделям ШІ працювати безпосередньо на iPhone. Про це CEO PrismML Бабак Хасі́бі розповів CNBC. У вівторок PrismML публічно випустила стиснені версії моделі Qwen від Alibaba, зменшивши обсяг моделі приблизно з 54 ГБ до менше ніж 4 ГБ, зберігши всі 27 мільярдів параметрів для пристроїв iPhone 15 або новіших. Переговори спрямовані на вирішення обмежень у стратегії Apple у сфері ШІ, адже компанія відкрила публічну бета-версію iOS 27 за день до цього, надаючи власникам iPhone доступ до оновленого Siri, водночас тримаючи більше обробки на пристрої. Хасі́бі назвав розмови «дуже ранніми», але сказав, що «усе просувається добре»: Apple та інші компанії оцінюють швидкість, енергоефективність і продуктивність технології. Вона може знизити витрати на хмарні обчислення та підсилити позицію Apple щодо приватності, дозволяючи функціям ШІ працювати без підключення до інтернету.
PrismML випустила стиснену модель Qwen зі скороченням з 54 ГБ до 4 ГБ
PrismML, спін-оф з Каліфорнійського технологічного інституту, у вівторок зменшила відкриту модель Qwen від Alibaba приблизно з 54 ГБ до менше ніж 4 ГБ. Стиснення дає змогу запустити всі 27 мільярдів параметрів на iPhone 15 або новішому пристрої. Стартап зменшує моделі ШІ, спрощуючи спосіб зберігання внутрішньої інформації: кожне значення — з 16 бітів до одного або трьох можливих значень. Хасі́бі порівняв підхід із переходом чипової індустрії від обчислень на вісім бітів до чотирьох.
За даними PrismML, стиснені моделі використовують на 10–15 разів менше пам’яті, генерують відповіді у 6–8 разів швидше та споживають у 3–6 разів менше енергії, ніж звичайні версії, що працюють на наявному обладнанні. Хасі́бі визнав, що моделі зазвичай втрачають кілька відсоткових пунктів загальної продуктивності: фактологічне відтворення слабшає раніше, ніж такі навички, як міркування, математика та кодування. PrismML випускає дві стиснені версії моделі безкоштовно — вони розраховані на роботу на iPhone, MacBook та ПК з Nvidia.
Apple оцінює обробку ШІ на пристрої, щоб зменшити залежність від хмари
«Зараз вони справді оцінюють нашу технологію», — сказав Хасі́бі про Apple. Куди саме це може призвести, поки неясно, але Хасі́бі сказав, що все прогресує. Apple може надсилати складні запити моделям у хмарі, але запуск більшої частини ШІ безпосередньо на iPhone зменшив би затримку, пов’язану з передаванням даних на віддалений сервер, знизив би витрати на хмарні обчислення та підтримав би заявлену Apple позицію щодо приватності. Такий підхід також дозволив би деяким функціям працювати без підключення до інтернету.
Кароліна Міланезі, президентка й провідна аналітикиня Creative Strategies, сказала, що менші моделі дозволили б Apple перенести на iPhone більш вимогливі функції, зокрема обчислювальну фотографію, генерацію відео та інструменти для здоров’я чи фітнесу, які спираються на чутливі персональні дані. «Чим більше ви можете робити на пристрої, тим краще», — сказала вона, вказавши на дані про здоров’я та медикаменти, які користувачі захочуть зберігати приватними. Apple уже локально запускає частину своєї системи ШІ, зокрема переклад, деяке підсумовування та функції, тісно пов’язані з особистою інформацією.
PrismML залучила $16,25 млн seed-раунду в березні
Технологія з’явилася в дослідницькій групі Хасі́бі в Caltech. Університет володіє базовими патентами та ліцензує їх ексклюзивно для PrismML. У березні компанія залучила seed-раунд на $16,25 млн за підтримки Khosla Ventures та інших інвесторів. Хасі́бі сказав, що наступною в черзі є open-source модель Gemma від Google, а далі — значно більші моделі, зокрема від frontier labs, які сьогодні зазвичай потребують обладнання дата-центру.
Згідно з PrismML, у перспективі технологія може вийти далеко за межі телефонів і ноутбуків — до робототехніки, автономних систем та інших продуктів, яким потрібно швидко ухвалювати рішення без опори на підключення до хмари. «Дуже важливо, щоб інтелект був локальним і щоб він міг працювати швидко», — сказав Хасі́бі. Горас Дедіу, засновник Asymco, зазначив, що Apple, ймовірно, намагається утримувати на пристрої левову частку типових взаємодій із Siri, залишаючи в хмарі найвимогливіші завдання.
Аналітики ставлять під сумнів вплив на батарею та продуктивність у реальному світі
Тарун Патхак, директор досліджень у Counterpoint Research, сказав, що критичними будуть продуктивність моделі на довгих промптах, споживання батареї під час багатозадачності та надійність у межах мільйонів запитів. «Кінцевим тестом буде мільйони запитів, тисячі комбінацій пристроїв і масштабне надійне тестування», — сказав Патхак. Філ Соліс, який очолює дослідження IDC щодо клієнтських процесорів, зазначив, що найбільше відкрите питання — споживання енергії. Модель, достатньо спроможна, щоб її часто або безперервно запускати у фоновому режимі для агентоподібних задач, може розряджати батарею телефону навіть якщо вона потребує менше пам’яті.
Гіл Лурія, аналітик D.A. Davidson, сказав, що зменшення моделей не усуне потребу в процесорах чи пам’яті. Це може лише перенести більше таких чипів із дата-центрів у телефони та інші пристрої. «Справа не в тому, що вам не потрібен чип, — сказав Лурія. — Вам усе одно потрібен GPU, і вам усе одно потрібна пам’ять». Він додав, що запуск ШІ на індивідуальних пристроях може насправді бути менш ефективним, ніж використання спільної інфраструктури дата-центрів, оскільки чипи в телефонах значну частину часу простоюють.
Morgan Stanley оцінює, що середня вартість динамічної оперативної пам’яті (DRAM) Apple за біт може зрости приблизно на 190% рік до року в фінансовому 2027 році, тоді як витрати на NAND зростуть приблизно на 180%. Компанія очікує, що Apple підвищить початкову ціну порівнянних моделей iPhone 18 приблизно на $200, щоб захистити маржу. Акції Micron різко впали в березні після того, як Google опублікувала матеріал TurboQuant про скорочення використання пам’яті без погіршення продуктивності моделей, однак згодом акції відновилися. Патхак сказав, що поєднання хмарного та на пристрої ШІ може забезпечити більш повний, ефективний і орієнтований на приватність досвід: складні завдання вивантажуються в хмару, а чутливі, критичні до затримки задачі виконуються на пристрої.
FAQ
Що PrismML випустила у вівторок?
У вівторок PrismML публічно випустила стиснені версії відкритої моделі Qwen від Alibaba. Компанія зменшила модель приблизно з 54 ГБ до менше ніж 4 ГБ, давши змогу запустити всі 27 мільярдів параметрів на iPhone 15 або новішому пристрої.
Як працює технологія стиснення PrismML?
PrismML стискає моделі ШІ, радикально спрощуючи спосіб зберігання внутрішньої інформації: кожне значення — з 16 бітів до одного або трьох можливих значень. За даними компанії, стиснені моделі використовують у 10–15 разів менше пам’яті, генерують відповіді у 6–8 разів швидше та споживають у 3–6 разів менше енергії, ніж звичайні версії.
Чому Apple оцінює обробку ШІ на пристрої?
Запуск більшої кількості ШІ безпосередньо на iPhone зменшив би затримку, пов’язану з передаванням даних на віддалений сервер, знизив би витрати на хмарні обчислення та підтримав би позицію Apple щодо приватності. Такий підхід також дозволив би певним функціям працювати без інтернет-з’єднання, повідомило джерело.
