Исследователи успешно использовали мозговой имплант и искусственный интеллект для расшифровки и передачи мыслей человека, который не может говорить, переводя активность мозга на испанский и английский языки в режиме реального времени.
Эта система в реальном времени расшифровывает то, что пациент пытается сказать на испанском или английском языке, просто считывая активность его мозга. Это замечательное достижение представляет собой значительный шаг вперед в технологии интерфейса «мозг-компьютер» (BCI).
Исследование было сосредоточено на двуязычном пациенте по имени Панчо, который в молодом возрасте перенес инсульт, в результате которого он был парализован и не мог четко говорить. Мужчина может только стонать или мычать, но сформулировать даже самые простые слова практически невозможно.
Сотрудничая с командой Калифорнийского университета в Сан-Франциско под руководством доктора Эдварда Чанга, Панчо перенес операцию на головном мозге с имплантацией электродов, записывающих его нервную активность.
В то время как более ранняя версия этой технологии позволяла Панчо общаться на английском языке, эта новая версия включает в себя систему искусственного интеллекта, специально разработанную для расшифровки его мыслей как на испанском (его родном языке), так и на английском языке, который он выучил гораздо позже, когда ему было двадцать с небольшим.
Система искусственного интеллекта работает, анализируя различные нейронные паттерны, генерируемые попытками Панчо заговорить. Учебная часть была самой сложной. Панчо пришлось с трудом произнести около 200 слов из списка, предоставленного ему исследователями. Хотя он не мог говорить, умственные усилия, направленные на произнесение слова, сформировали отчетливый нейронный паттерн, который мог быть прочитан электродами, имплантированными в его мозг, а затем интерпретирован ИИ.
Система искусственного интеллекта, состоящая из отдельных модулей для испанского и английского языков, назначает вероятности потенциальным словам на основе активности нейронов и их логической последовательности в предложении. Например, «Я есть» в этой последовательности встречается гораздо чаще, чем «Я не». В конечном результате на экране отображается предложение с наивысшим общим показателем вероятности, что позволяет Панчо эффективно общаться на любом языке.
«Декодирование речи в первую очередь было показано для одноязычных людей, но половина мира двуязычна, и каждый язык вносит свой вклад в личность и мировоззрение человека», — заявила исследовательская группа Чанга. «Необходимо разработать декодеры, которые позволят билингвам общаться на обоих языках».
В ходе одного эксперимента модули смогли различать английский и испанский языки по первому слову с точностью 88%. Правильное предложение было расшифровано с точностью 75%. По мнению исследователей, Панчо теперь может использовать эту систему для формирования фраз (хотя и медленно) и ведения разговоров без сценария.
Это исследование не только предлагает многообещающие возможности для восстановления речи у людей с коммуникативными нарушениями, но также проливает свет на механизмы обработки речи в мозге. В отличие от того, что предполагали предыдущие исследования, новые результаты показывают, что испанский и английский языки использовали в основном одну и ту же область коры мозга Панчо. Это означает, что может существовать общая нейронная основа двуязычия, что бросает вызов предыдущим предположениям об отдельных участках мозга для разных языков.
Хотя в исследовании участвовал один участник, ученые с оптимизмом смотрят на потенциал более широкого применения этой технологии. Будущие шаги включают привлечение дополнительных участников и изучение языков с совершенно разной структурой, таких как китайский или японский. В конечном итоге цель состоит в том, чтобы усовершенствовать эту технологию BCI, чтобы обеспечить естественное и неограниченное общение для людей, потерявших способность говорить.
ZMEScience
