Повідомлення Gate News від 24 квітня — Технічний звіт DeepSeek V4 розкриває, що V4-Flash і V4-Pro були попередньо натреновані на 32T і 33T токенів відповідно, удвічі більше приблизно 15T токенів, використаних для V3. У звіті визнається, що під час тренування вони зіткнулися з “значними проблемами нестабільності”, причому сплески loss неодноразово виникали через аномалії в шарі Mixture-of-Experts (MoE); сам механізм маршрутизації загострює ці аномалії, і простий rollback не може вирішити проблему.

DeepSeek упровадив два рішення, які тепер застосовуються до реального тренування: Anticipatory Routing, що відокремлює обчислення індексу маршрутизації від оновлень backbone-мережі та автоматично запускає перемикання лише тоді, коли виявляються сплески loss (додаючи приблизно 20% накладних витрат), і SwiGLU Clamping, який безпосередньо пригнічує аномалії шляхом обмеження значень активацій фіксованим діапазоном. У звіті зазначено, що обидва підходи є ефективними, але визнається, що “базові принципи досі недостатньо вивчені”.

Сьюзан Чжан, дослідниця Google DeepMind, яка раніше працювала в Meta AI та OpenAI, прокоментувала, що нестабільність, спричинена подвоєнням даних для тренування, “пояснює затримку”. Вона описала два рішення як “тимчасові латки” та водночас визнала технічну прозорість DeepSeek.

Переглянути джерело

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.