Tether випускає open-source рушій «мозок-до-тексту» BrainWhisperer

Tether випустив BrainWhisperer — двигун «мозок-до-тексту» з відкритим кодом, який розшифровує нейронні сигнали в письмову мову повністю на локальних пристроях. CEO Паоло Ардойніно оголосив, що система тепер повністю інтегрована в QVAC — відкриту вихідну «on-device» AI-інфраструктуру компанії, і доступна розробникам у всьому світі як прототипна можливість. BrainWhisperer, розроблений Tether Evo — дослідницьким підрозділом фірми, був створений, щоб прокласти шлях до комунікації людям, які втратили здатність говорити через нейродегенеративні стани, зокрема аміотрофічний бічний склероз (ALS). Він має на меті подолати обмеження наявних рішень, зокрема дощок для складання літер за допомогою стеження очима, що вимагають кількох хвилин, щоб скласти одне речення.

BrainWhisperer досягає 8,7% частки помилок слова в тестах валідації

BrainWhisperer — це перероблений варіант моделі розпізнавання мовлення Whisper. Замість обробки аудіо система приймає електричну активність, записану з моторної мовленнєвої кори головного мозку — яку фіксують за допомогою імплантованих масивів електродів — і перетворює ці сигнали безпосередньо на текст. Такий підхід усуває потребу в фізичному русі або продукуванні звуку.

Версія SDK працює менш ніж у 2 гігабайти пам’яті та має приблизно 50 мілісекунд затримки. У тестах валідації з реальними нейронними записами одного учасника вона досягла 8,7% частки помилок слова, опустившись нижче порогу в 10%, який дослідники вважають орієнтиром для практичної корисності в реальному світі. Більш складний варіант тієї ж архітектури посів четверте місце серед 466 конкуруючих команд у міжнародному змаганні «мозок-до-тексту», хоча цей варіант не є наскрізним (end-to-end) і тому не був включений у реліз SDK.

Tether робить акцент на локальному виконанні та захисті приватності

Tether наголошує, що локальне виконання є центральним у дизайні технології. Оскільки розшифрування відбувається повністю на пристрої користувача через QVAC, жодні нейронні дані не передаються на зовнішні сервери — це важливо для системи, яка зчитує наміри безпосередньо з мозку. Компанія зазначає, що рушій обробляє лише мовлення, яке користувач активно намагається продукувати, а майбутні запобіжники на кшталт ментальної автентифікації можуть додатково посилити контроль користувача.

Технологія лишається експериментальною та вимагає хірургічного імпланта

BrainWhisperer залишається експериментальним. Модель навчали на даних лише чотирьох учасників, а версію SDK калібрували на основі однієї людини. Адаптація системи під нового користувача вимагатиме і хірургічного імпланта, і персоналізованого періоду калібрування, що створює медичні, безпекові та регуляторні виклики. Tether описує реліз як фундаментальний будівельний елемент для майбутніх асистивних продуктів, а не як готове для споживачів рішення.

Дослідницька команда вказує, що базова методологія в майбутньому може поширитися за межі мовлення — щоб розшифровувати уявні зображення, звуки і потенційно задуманий рух. Наразі відкритий реліз з відкритим кодом дає розробникам робочий on-device-двигун, який демонструє і здійсненність точного нейророзшифрування, і практичність запуску таких систем на звичайному обладнанні без залежності від хмари.

Поширені запитання

Що випустив Tether?

Tether випустив BrainWhisperer — двигун «мозок-до-тексту» з відкритим кодом, який розшифровує нейронні сигнали в письмову мову повністю на локальних пристроях. CEO Паоло Ардойніно оголосив, що система тепер повністю інтегрована в QVAC — відкриту вихідну «on-device» AI-інфраструктуру компанії.

Наскільки точний BrainWhisperer у тестах валідації?

У тестах валідації з реальними нейронними записами одного учасника BrainWhisperer досяг 8,7% частки помилок слова. Більш складний варіант тієї ж архітектури посів четверте місце серед 466 конкуруючих команд у міжнародному змаганні «мозок-до-тексту».

Які поточні обмеження BrainWhisperer?

BrainWhisperer залишається експериментальним. Модель навчали на даних лише чотирьох учасників, а версію SDK калібрували на основі однієї людини. Адаптація системи під нового користувача вимагатиме і хірургічного імпланта, і персоналізованого періоду калібрування.