Чтение мыслей 2.0 от Meta: компания выпустила Brain2Qwerty v2

В компании создали модель, которая может с большой точностью восстанавливать текст, который человек молча печатает на клавиатуре. Кажется, они впервые доказали, что неинвазивные методы могут приближаться к качеству, которое ранее считалось достижимым только после операции на мозге, как у Neuralink.

Итак, Brain2Qwerty v2:

– Система основана на Brain2Qwerty v1. Но, в отличие от первой версии, v2 восстанавливает текст без знания момента каждого нажатия клавиши. Она получает непрерывный поток мозговой активности и сразу генерирует предложения целиком.

– Внутренняя задача разбита на три уровня: есть энкодер, который преобразует сырые сигналы MEG в отдельные символы. Далее эту последовательность обрабатывает Aligner, который пытается понять, где начинаются и заканчиваются слова, и строит их эмбеддинги. Далее эти эмбеддинги вместе с выходными сигналами отправляются в LLM, которая уже формирует финальный вид.

– Выглядит это все как огромная установка стоимостью в миллионы долларов.

Точность в сравнении с предыдущими методами, можно сказать, зашкаливает. Заявляется 61% точности слов в среднем (около 70% у лучших участников). При этом система может допускать больше символических ошибок, чем первая версия, но смысл оказывается намного ближе к оригиналу.

facebookresearch.github.io/brain2qwerty/