Исследователи из Калифорнийского университета в Сан-Франциско успешно разработали «речевой нейропротез», который позволил человеку с тяжелым параличом общаться предложениями, переводя сигналы из своего мозга в речевой тракт непосредственно в слова, которые отображаются в виде текста на экране.

Достижение, которое было разработано в сотрудничестве с первым участником клинического исследования, основано на более чем десятилетних усилиях нейрохирурга UCSF Эдварда Чанга, доктора медицины, по разработке технологии, которая позволяет людям с параличом общаться, даже если они не могут говорить самостоятельно. Исследование появилось 15 июля в Медицинском журнале Новой Англии .

«Насколько нам известно, это первая успешная демонстрация прямого декодирования полных слов из мозговой активности человека, который парализован и не может говорить», — сказала Чанг, заведующая кафедрой неврологической хирургии Университета Джоан и Сэнфорд Вейл в UCSF, заслуженный профессор Джин Робертсон , и старший автор исследования. «Это дает большие надежды на восстановление коммуникации, задействовав естественные речевые механизмы мозга».

Каждый год тысячи людей теряют способность говорить из-за инсульта, несчастного случая или болезни. При дальнейшем развитии подход, описанный в этом исследовании, однажды сможет позволить этим людям полноценно общаться.

Перевод сигналов мозга в речь

Ранее работа в области коммуникативного нейропротезирования была сосредоточена на восстановлении коммуникации с помощью орфографических подходов, позволяющих печатать буквы в тексте одну за другой. Исследование Чанга критически отличается от этих усилий: его команда переводит сигналы, предназначенные для управления мускулами голосовой системы для произнесения слов, а не сигналы для движения руки или кисти, позволяющие печатать. Чанг сказал, что этот подход задействует естественные и плавные аспекты речи и обещает более быстрое и органичное общение.

«С помощью речи мы обычно передаем информацию с очень высокой скоростью, до 150 или 200 слов в минуту», — сказал он, отметив, что подходы на основе правописания с использованием набора текста, письма и управления курсором значительно медленнее и труднее. «Переход прямо к словам, как мы делаем здесь, имеет большие преимущества, потому что он ближе к тому, как мы обычно говорим».

За последнее десятилетие прогрессу Чанга в достижении этой цели способствовали пациенты из центра эпилепсии UCSF, которые перенесли нейрохирургию, чтобы определить происхождение своих припадков с помощью электродов, размещенных на поверхности их мозга. Эти пациенты, все из которых имели нормальную речь, вызвались проанализировать записи своего мозга на предмет активности, связанной с речью. Ранний успех с этими пациентами-добровольцами проложил путь для текущих испытаний на людях с параличом.

Ранее Чанг и его коллеги из Института нейробиологии UCSF Weill нанесли на карту паттерны корковой активности, связанные с движениями речевого тракта, которые производят каждую согласную и гласную. Чтобы преобразовать эти результаты в распознавание полных слов, Дэвид Мозес, доктор философии, доктор наук, инженер лаборатории Чанга и один из ведущих авторов нового исследования, разработал новые методы декодирования этих шаблонов в реальном времени и статистические языковые модели для повысить точность.

Но их успех в декодировании речи участников, которые могли говорить, не гарантировал, что технология будет работать у человека, чей речевой тракт парализован. «Нашим моделям необходимо было изучить соответствие между сложными паттернами мозговой активности и предполагаемой речью», — сказал Мозес. «Это создает серьезную проблему, когда участник не может говорить».

Кроме того, команда не знала, останутся ли сигналы мозга, управляющие речевым трактом, нетронутыми для людей, которые не могли двигать голосовыми мышцами в течение многих лет. «Лучший способ узнать, может ли это сработать, — это попробовать», — сказал Моисей.

Первые 50 слов

Чтобы изучить потенциал этой технологии у пациентов с параличом, Чанг в партнерстве с коллегой Карунешом Гангули, доктором медицины, доктором наук, доцентом неврологии, запустил исследование, известное как «BRAVO» (Восстановление интерфейса мозг-компьютер руки и голоса). Первым участником испытания стал мужчина в возрасте около 30 лет, перенесший разрушительный инсульт ствола мозга более 15 лет назад, серьезно повредивший связь между его мозгом, голосовым трактом и конечностями. После травмы у него были крайне ограниченные движения головы, шеи и конечностей, и он общался с помощью указателя, прикрепленного к бейсболке, чтобы высовывать буквы на экране.

Участник, попросивший называть его BRAVO1, работал с исследователями над созданием словаря из 50 слов, который команда Чанга могла распознать по активности мозга с помощью передовых компьютерных алгоритмов. Словарного запаса, который включает такие слова, как «вода», «семья» и «хороший», было достаточно для создания сотен предложений, выражающих концепции, применимые к повседневной жизни BRAVO1.

Для исследования Чанг хирургическим путем имплантировал электродную решетку высокой плотности над речевой моторной корой BRAVO1. После полного выздоровления участника его команда записала 22 часа нейронной активности в этой области мозга за 48 сеансов и несколько месяцев. На каждом сеансе BRAVO1 пытался произнести каждое из 50 словарных слов много раз, в то время как электроды записывали сигналы мозга от его речевой коры.

Перевод попытки речи в текст

Чтобы преобразовать модели записанной нейронной активности в конкретные заданные слова, два других ведущих автора исследования, Шон Мецгер, MS и Джесси Лю, BS, оба докторанты биоинженерии в Chang Lab использовали пользовательские модели нейронных сетей, которые являются формами искусственный интеллект. Когда участник пытался говорить, эти сети распознавали тонкие паттерны мозговой активности, чтобы обнаружить попытки речи и определить, какие слова он пытался сказать.

Чтобы проверить свой подход, команда сначала представила BRAVO1 короткие предложения, составленные из 50 словарных слов, и попросила его повторить их несколько раз. По мере того, как он делал свои попытки, слова одно за другим декодировались на основе его мозговой активности на экране.

Затем команда переключилась на подсказку ему такими вопросами, как «Как дела?» и «Хочешь воды?» Как и прежде, на экране появилась попытка выступления BRAVO1. «Я очень хорош» и «Нет, я не хочу пить».

Команда обнаружила, что система способна декодировать слова, исходя из активности мозга, со скоростью до 18 слов в минуту с точностью до 93 процентов (медиана 75 процентов). Успеху способствовала языковая модель, которую применил Моисей, в которой реализована функция «автокоррекции», аналогичная той, что используется в программном обеспечении для текстовых сообщений и распознавания речи.

Моисей охарактеризовал первые результаты испытаний как доказательство принципа. «Мы были взволнованы, увидев точную расшифровку множества значимых предложений», — сказал он. «Мы показали, что на самом деле можно облегчить общение таким образом, и что он имеет потенциал для использования в разговорной среде».

Заглядывая вперед, Чанг и Мозес заявили, что они расширят испытание, включив в него большее количество участников, страдающих тяжелым параличом и дефицитом общения. В настоящее время команда работает над увеличением количества слов в доступном словарном запасе, а также над улучшением скорости речи.

Оба заявили, что, хотя исследование было сосредоточено на одном участнике и ограниченном словарном запасе, эти ограничения не умаляют достижения. «Это важная технологическая веха для человека, который не может общаться естественным путем, — сказал Моисей, — и он демонстрирует потенциал этого подхода, чтобы дать голос людям с тяжелым параличом и потерей речи».

Соавторы статьи: Шон Л. Мецгер, MS; Джесси Р. Лю; Гопала К. Ануманчипалли, доктор философии; Джозеф Г. Макин, доктор философии; Пэнфэй Ф. Сунь, доктор философии; Джош Чартье, доктор философии; Максимилиан Э. Догерти; Патрисия М. Лю, Массачусетс; Гэри М. Абрамс, доктор медицины; и Аделин Ту-Чан, DO, все из UCSF. Источники финансирования включали национальные институты здравоохранения (U01 NS098971-01), благотворительность и спонсируемое исследовательское соглашение с Facebook Reality Labs (FRL), которое было завершено в начале 2021 года.

Исследователи UCSF занимались дизайном, проведением, анализом данных и составлением отчетов для всех клинических испытаний. Данные участников исследования были собраны исключительно UCSF, хранятся конфиденциально и не передаются третьим лицам. FRL предоставил высокоуровневую обратную связь и рекомендации по машинному обучению.