Читання думок 2.0 від Meta: компанія випустила Brain2Qwerty v2

У компанії створили модель, яка може з великою точністю відновлювати текст, який людина мовчки друкує на клавіатурі. Здається, вони вперше довели, що неінвазивні методи можуть наближатися до якості, яка раніше вважалася досяжною лише після операції на мозку, як у Neuralink.

Отже, Brain2Qwerty v2:

– Система базується на Brain2Qwerty v1. Але, на відміну від першої версії, v2 відновлює текст без знання моменту кожного натискання клавіші. Вона отримує безперервний потік мозкової активності і одразу генерує речення цілком.

– Внутрішня задача розбита на три рівні: є енкодер, який перетворює сирі сигнали MEG на окремі символи. Далі цю послідовність обробляє Aligner, який намагається зрозуміти, де починаються і закінчуються слова, і будує їх ембеддинги. Далі ці ембеддинги разом з вихідними сигналами відправляються в LLM, яка вже формує фінальний вигляд.

– Виглядає це все як величезна установка вартістю в мільйони доларів.

Точність у порівнянні з попередніми методами, можна сказати, зашкалює. Заявляється 61% точності слів в середньому (близько 70% у найкращих учасників). При цьому система може допускати більше символічних помилок, ніж перша версія, але сенс виявляється набагато ближчим до оригіналу.

facebookresearch.github.io/brain2qwerty/