Віталік Суперечить ідеї стандартизувати локальне обладнання для LLM навколо рівня пам’яті 96 ГБ

ETH-3,44%
Як повідомляє PANews, 28 травня співзасновник Ethereum Віталік Бутерін запропонував, щоб локальні розгортання великих мовних моделей (LLM) стандартизувалися навколо конкретних конфігурацій пам’яті, причому 96 ГБ визначено як одну здійсненну верхню межу для наявного на сьогодні обладнання. Бутерін навів як орієнтири RTX 6000 GPU з 96 ГБ VRAM та топові MacBook із 128 ГБ уніфікованої пам’яті, зазначивши, що приблизно 32 ГБ варто залишати для інших системних задач. Він запропонував екосистемі перейти на стандартизовані рівні ємності — 2 ГБ, 8 ГБ, 24 ГБ, 96 ГБ, 256 ГБ і 1 ТБ — щоб підвищити ефективність розгортання та сумісність між платформами для LLM і проєктування GPU.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів