Ученые из Университета Техаса в Остине разработали систему, которую назвали семантическим декодером. Он может переводить мозговую активность человека в непрерывный поток текста. Это поможет людям, которые могут мыслить, но не могут говорить, например, из-за инсульта.
Что известно
Работа опирается на модель (трансформенная технология), подобную той, что используются в системах ChatGPT компании Open AI и Bard компании Google.
В отличие от других систем декодирования, эта система не требует установки имплантатов в мозг, то есть она является неинвазивной. Система восстанавливает непрерывный язык из семантических представлений коры головного мозга, записанных с помощью функциональной магнитно-резонансной томографии (фМРТ). Учитывая новые записи мозга, этот декодер генерирует разборчивые последовательности слов, которые восстанавливают смысл воспринимаемой речи, воображаемой речи и даже немого видео. Это демонстрирует, что один декодер может быть применен к целому ряду задач.
Почему это важно
Интерфейс мозг-компьютер, декодирующий непрерывный язык с неинвазивных записей, имел бы множество научных и практических применений. Однако до описанного выше устройства неинвазивные декодеры языка могли идентифицировать стимулы только среди небольшого набора слов или фраз. Теперь создана система, которая восстанавливает непрерывный язык из семантических представлений коры головного мозга. Разработка поможет людям, которые могут мыслить, но не могут говорить, например, из-за инсульта.