Rebellions запускає модель ШІ A.X K1 від SK Telecom на внутрішніх серверах NPU

Повстання (Rebellions), південнокорейська компанія зі ШІ-напівпровідників, успішно розгорнула надвелику ШІ-модель A.X K1 від SK Telecom на внутрішніх серверах із модулем нейронної обробки (NPU), повідомила компанія 23-го числа. Використовуючи власний ШІ-сервер «Rebel Server», Rebellions стабільно виконувала модель із понад 500 мільярдів параметрів і продемонструвала сервіс AI agent, який одночасно обробляє запити кількох користувачів. Досягнення свідчить про життєздатність великомасштабних ШІ-сервісів лише на базі вітчизняних ШІ-моделей і NPU-інфраструктури, позиціонуючи це як практичний приклад суверенних можливостей у сфері ШІ. Rebellions є членом консорціуму разом із SK Telecom у незалежному проєкті Міністерства науки та ІКТ зі створення фундаментальних моделей ШІ, відповідаючи за демонстрацію AI-інфраструктури на основі вітчизняних NPU.

Rebellions оптимізує програмне забезпечення для архітектури MoE та паралельної обробки

A.X K1 використовує архітектуру Mixture of Experts (MoE), яка вибірково задіює лише необхідні спеціалізовані моделі для підвищення обчислювальної ефективності великомасштабних моделей. Rebellions оптимізувала спеціалізоване програмне забезпечення для MoE-моделі та застосувала технологію розподілу різних операцій між NPU для паралельної обробки. Це дало змогу одному серверу обробляти кілька запитів користувачів у реальному часі. Компанія заявила, що один Rebel Server забезпечує продуктивність інфраструктури на рівні глобальних серверів із високопродуктивними графічними процесорами (GPU), зменшуючи витрати на будівництво дата-центрів та операційне навантаження.

Rebel Server демонструє сервіс AI agent для багатьох користувачів у реальному часі

У демонстрації Rebellions показала агентний сервіс, де користувачі могли ставити запитання на кшталт «які аптеки доступні у вихідні» та отримувати результати, відображені на карті. Система обробляла відповіді в реальному часі навіть у сценаріях, коли кілька користувачів одночасно вводили різні запитання. Демонстрація підтвердила здатність сервера обробляти паралельні багатокористувацькі навантаження зі стабільною продуктивністю.

Rebellions бере участь у державному проєкті фундаментальних моделей ШІ

Пак Сон Хьон (Park Sung-hyun), CEO Rebellions, заявив: «Це практичний приклад суверенного ШІ, який показує, що великомасштабні ШІ-сервіси можна запускати, використовуючи лише вітчизняні ультра-великі моделі та вітчизняні NPU». Rebellions бере участь як член консорціуму разом із SK Telecom у незалежному проєкті Міністерства науки та ІКТ зі створення фундаментальних моделей ШІ, де вона відповідає за демонстрацію AI-інфраструктури на основі вітчизняних NPU.

FAQ

Щого досягли Rebellions разом із моделлю A.X K1 від SK Telecom?

Rebellions успішно розгорнула AI-модель SK Telecom A.X K1, яка має понад 500 мільярдів параметрів, на власному внутрішньому Rebel Server на основі NPU. Компанія продемонструвала сервіс AI agent, який обробляв кілька запитів користувачів одночасно в реальному часі.

Як Rebel Server Rebellions ефективно обробляє великі ШІ-моделі?

Rebel Server оптимізує програмне забезпечення для архітектури Mixture of Experts (MoE), що використовується в A.X K1, розподіляючи різні операції між NPU для паралельної обробки. Це дає змогу одному серверу забезпечувати продуктивність інфраструктури, порівнювану з глобальними високопродуктивними GPU-серверами, одночасно обробляючи кілька запитів користувачів у реальному часі.