Ученые приблизились к расшифровке речи напрямую из мозга

Инсульт, боковой амиотрофический склероз (которым был болен Стивен Хокинг) и другие заболевания могут лишить людей способности говорить

Ученые приблизились к расшифровке речи напрямую из мозга

Их общение будет ограничено скоростью, с которой они могут перемещать курсор глазами (обычно это всего от 8 до 10 слов в минуту), в отличие от естественного темпа разговора от 120 до 150 слов в минуту.

Однако, хотя до восстановления естественной речи еще далеко, исследователи из Калифорнийского университета в Сан-Франциско (UCSF) смогли создавать внятные предложения из мыслей людей, у которых нет проблем с речью, сообщает internetua.

Эта работа является доказательством того, что когда-нибудь станет возможным превратить воображаемые слова в понятную речь в реальном времени, без использования речевого аппарата, сказал на пресс-конференции Эдвард Чанг, нейрохирург из UCSF и соавтор исследования, опубликованного 24 апреля в журнале Nature. «Очень немногие из нас имеют реальное представление о том, что происходит во рту, когда мы говорим», — сказал он. «Мозг переводит ваши мысли о том, что вы хотите сказать, в движения голосового тракта, и это то, что мы хотим расшифровать».

Но Чанг предупреждает, что технология, которая была протестирована только на людях без проблем с речью, может работать иначе для тех, кто не может говорить, и особенно для людей, которые никогда не могли говорить из-за расстройства двигательной системы, такого как церебральный паралич.

Чанг также подчеркнул, что его подход не может использоваться для чтения чьих-либо мыслей — только для перевода слов, которые человек хочет сказать, в слышимые звуки. «Другие исследователи пытались выяснить, есть ли возможность на самом деле расшифровать только мысли», — говорит он. «Оказывается, это очень сложная и запутанная задача. И это только одна из многих причин, по которым мы концентрируемся только на том, чтобы озвучивать мысли».

Чанг и его коллеги разработали двухступенчатый метод перевода мыслей в речь. В начале они обратились за помощью к пяти эпилептикам, чья нервная активность измерялась электродами на поверхности их мозга. Исследователи просили их произносить различные предложения и регистрировали сигналы от областей мозга, которые контролируют язык, губы и мышцы горла. Позже, используя компьютерные алгоритмы глубокого обучения, они перевели эти команды в понятный для компьютера язык.

На этом этапе система декодирования должна быть обучена на головном мозге каждого человека, но перевод в звуки может быть обобщен для всех людей, сказал соавтор исследования Гопала Ануманчипалли, также из Калифорнийского университета. «Нейронная активность у каждого человека своя, но дальнейшее получение звуков является общим для всех, и это то, что мы исследуем», — сказал он.

В дальнейшем, используя полученные данные и нейросеть, ученые из UCSF создали программу, которая является виртуальным аналогом голосовых связок, способную преобразовывать эти сигналы в обычную речь.

Ученые попросили носителей английского языка на краудсорсинговой площадке Amazon Mechanical Turk прослушать полученные таким образом предложения. По результатам исследования, слушатели точно слышали предложения в 43 процентах случаев при выборе набора из 25 возможных слов и в 21 процентах случаев при выборе 50 слов.

Хотя уровень точности остается низким, его все равно достаточно, чтобы иметь существенное значение для «запертого в себе» человека, который почти полностью парализован и не может говорить. «Для кого-то, кто заперт в себе и вообще не может общаться, допустимы несколько незначительных ошибок», — говорит Марк Слуцки, невролог и нейронный инженер из медицинской школы Северо-Западного университета им. Файнберга, который опубликовал соответствующее исследование, но не принимал в нем участия. «Даже возможность произносить несколько сотен слов будет огромным улучшением», — говорит он. «Очевидно, что вы хотели бы [быть в состоянии] произнести любое слово, которое захотите, но все равно возможность произнести хотя бы самые распространенные слова уже намного лучше, чем набирать их по одной букве за раз, что является чуть ли не одним из видов современного искусства».

Даже когда добровольцы не слышали составленные нейросеткой предложения совершенно ясно, они зачастую додумывали их по смыслу и схожему звучанию. Например, таким образом «кролик» («rabbit») мог превратиться в «грызуна» («rodent»), сказал на пресс-конференции Джош Чартье из UCSF, еще один соавтор исследования. Звуки, подобные «ш» в слове «шип», создаваемые «виртуальным голосом», расшифровывались большинством людей без проблем, а вот звуки типа «th» в артикле «the» (в русском языке нет аналога этому звуку, однако в начальной школе, думаю, многие учились его произносить — прим. перев.) были особенно сложными, добавил Чартье. При этом такая программа хорошо отражала ритм и интонацию речи, правильно определяя пол и личные характеристики человека.

Несколько других исследовательских групп в Соединенных Штатах и ​​других странах также делают значительные успехи в расшифровке речи, но новое исследование является первым, когда полные предложения были правильно интерпретированы, по словам Слуцки и других ученых, не вовлеченных в работу.

«Я думаю, что это исследование является примером возможности, которая открывается при объединении биологии и машинного обучения», — говорит Ли Хохберг, невролог из Массачусетской больницы общего профиля в Бостоне и нейробиолог из Университета Брауна.

Исследование вызывает некоторое волнение по поводу этики, но ученые говорят, что технология еще не готова даже к клиническим испытаниям. «Я думаю, что в течение следующих 10 лет мы увидим системы, которые улучшат способность людей общаться», — говорит Джейми Хендерсон, профессор нейрохирургии в Стэнфордском университете, который не участвовал в новом исследовании. Он говорит, что оставшиеся проблемы включают исследование того, улучшит ли декодирование речи использование более детального анализа мозговой деятельности. Также нужно разработать нейрочип, который можно имплантировать в мозг и декодировать речь в режиме реального времени, и проверить, распространяется ли такое преимущество на людей, которые вообще никогда не говорили и чей мозг не умеет управлять голосовыми связками.

Хохберг говорит, что напоминает ему о том, что поставлено на карту в такого рода исследованиях: «каждый раз, когда я нахожусь в отделении нейроинтенсивной терапии, и я вижу кого-то, кто, возможно, без труда ходил и говорил вчера, но сегодня у него был инсульт, и теперь он больше не может ни двигаться, ни говорить». Хотя он хотел бы, чтобы работа двигалась быстрее, по словам Хохберга, он доволен прогрессом в этой области: «я думаю, что интерфейсы мозг-компьютер будут иметь много возможностей, чтобы помочь людям, и, надеюсь, сделать это уже скоро».

Подписывайтесь на канал «Хвилі» в Telegram, на канал «Хвилі» вYoutube, страницу «Хвилі» в Facebook

Последние новости
Названы самые продаваемые кроссоверы в Украине с ценой до $20 тыс.

Названы самые продаваемые кроссоверы в Украине с ценой до $20…

Лидером продаж стал кроссовер Suzuki Vitara.
Xiaomi представила сверхмощный флагман Redmi K30

Xiaomi представила сверхмощный флагман Redmi K30

Он поддерживает работу в сетях пятого поколения
ЕС и Украина обсудили санкционную политику по Крыму

ЕС и Украина обсудили санкционную политику по Крыму

Украина и ЕС обсудили последствия аннексии Крыма.
Полиция назвала новую версию пожара в Одессе

Полиция назвала новую версию пожара в Одессе

В полиции начали рассматривать новую версию пожара в одесском колледже
Лавров опроверг слова Трампа о содержании встречи

Лавров опроверг слова Трампа о содержании встречи

Президент США и глава МИД России встретились в Вашингтоне. В сообщении Белого дома сказано, что Трамп предостерег Лаврова от вмешательства в выборы. Но сам Лавров такого не помнит.
«Лаборатория Касперского» выпустит смартфон

«Лаборатория Касперского» выпустит смартфон

Смартфон будет ориентирован на корпоративный сектор.
Потепление отменяется: синоптики резко изменили прогноз

Потепление отменяется: синоптики резко изменили прогноз

11 декабря в Украине похолодает еще сильнее
Предупреждение России: армия США проведет в Европе крупнейшие учения после «холодной войны»

Предупреждение России: армия США проведет в Европе крупнейшие учения после…

Весной 2020 года 20 тысяч американских солдат высадятся в Европе и будут переброшены на восточную границу НАТО.
Сериал с Зеленским в главной роли покажут в России

Сериал с Зеленским в главной роли покажут в России

"Слугу народа", где сыграл президент, на канале ТНТ назвали "оригинальной сатирой".
Лавров прокомментировал санкции против «Северного потока-2»

Лавров прокомментировал санкции против «Северного потока-2»

Строительство российских газопроводов не будет остановлено, заявил глава МИД РФ.
Ермак сомневается в показаниях ключевого свидетеля по импичменту Трампа — Time

Ермак сомневается в показаниях ключевого свидетеля по импичменту Трампа -…

Ермак отрицает, что вел личные переговоры с Сондлендом.
У Меркель запели под дудку Путина из-за газовых санкций США

У Меркель запели под дудку Путина из-за газовых санкций США

В Германии отреагировали на американские санкции против "Северного потока-2"
Нацбанк объяснил укрепление гривны в комиксах

Нацбанк объяснил укрепление гривны в комиксах

Курс гривны соответствует реальному состоянии экономики
Денисова рассказала о тысячах украинцев в российских тюрьмах

Денисова рассказала о тысячах украинцев в российских тюрьмах

Омбудсмен озвучила количество заключенных украинцев, находящихся в Российской Федерации
Нефьодов назвал зарплаты таможенников: «честных набрать невозможно»

Нефьодов назвал зарплаты таможенников: «честных набрать невозможно»

"Таможня должна работать лучше"
У Зеленского раскрыли подробности будущей реформы армии

У Зеленского раскрыли подробности будущей реформы армии

Фролова рассказала, как изменится украинская армия через 2-3 года
В сеть попало раритетное фото Меган Маркл в роли волонтера

В сеть попало раритетное фото Меган Маркл в роли волонтера

Супругу принца Гарри засветила благотворительная организация
Пенсионный стаж увеличится в 2020 году: кто сможет выйти на пенсию

Пенсионный стаж увеличится в 2020 году: кто сможет выйти на…

С 2020 года «льготный период» подходит к концу
Эрдоган выразил восхищение Путину и Трампу

Эрдоган выразил восхищение Путину и Трампу

Он заявил, что эти лидеры его восхищают больше всех остальных
В Европе объяснили, почему Путин никогда не отпустит Украину

В Европе объяснили, почему Путин никогда не отпустит Украину

Амбиции Украины вступить в ЕС реализованы никогда не будут
Археологи нашли «глаз» бога Гора

Археологи нашли «глаз» бога Гора

В Омане в древнеегипетском склепе найден важный артефакт
Ткаченко «разгромил» инициативу Бужанского об отмене языкового закона

Ткаченко «разгромил» инициативу Бужанского об отмене языкового закона

Нардеп не поддерживает инициативу Максима Бужанского
Xiaomi представила «умный» домофон с функцией распознавания

Xiaomi представила «умный» домофон с функцией распознавания

Xiaomi анонсировала выпуск нового "умного гаджета"
Гончарук допустил новую «газовую войну» с Россией

Гончарук допустил новую «газовую войну» с Россией

Гончарук заявил, что Украина полностью готова к возможной "газовой войне" с Россией
ГБР изъяло у Пашинского пистолет, из которого он стрелял в человека

ГБР изъяло у Пашинского пистолет, из которого он стрелял в…

Пашинскому грозит от 5 до 8 лет лишения свободы
Милованов рассказал, когда в Украине будут зарплаты европейского уровня

Милованов рассказал, когда в Украине будут зарплаты европейского уровня

Сейчас в Польше зарплаты в 3,5 раза выше, чем в Украине
Маркарова озвучила позицию Украины по «долгу Януковича»

Маркарова озвучила позицию Украины по «долгу Януковича»

Украина готова к суду по «долгу Януковича»
Ярош заявил, что у Путина есть «план ликвидации Украины»

Ярош заявил, что у Путина есть «план ликвидации Украины»

По его словам, минские соглашения являются путем в никуда
Погибший на Донбассе спецназовец «Альфы» был засекреченным свидетелем в деле о Майдане

Погибший на Донбассе спецназовец «Альфы» был засекреченным свидетелем в деле…

Полковник СБУ Каплунов, который погиб на Донбассе, был засекреченным свидетелем в деле экс -"беркутовцев"
Новый формат пенсий в электронном виде: что нужно знать

Новый формат пенсий в электронном виде: что нужно знать

Новая система позволит подавать документы и назначать пенсии в электронном формате
Читай также
Последние новости

Названы самые продаваемые кроссоверы в Украине с ценой…

Xiaomi представила сверхмощный флагман Redmi K30

ЕС и Украина обсудили санкционную политику по Крыму

Полиция назвала новую версию пожара в Одессе

Лавров опроверг слова Трампа о содержании встречи

«Лаборатория Касперского» выпустит смартфон

Потепление отменяется: синоптики резко изменили прогноз

Предупреждение России: армия США проведет в Европе крупнейшие…

Сериал с Зеленским в главной роли покажут в…

Лавров прокомментировал санкции против «Северного потока-2»

Ермак сомневается в показаниях ключевого свидетеля по импичменту…

У Меркель запели под дудку Путина из-за газовых…

Нацбанк объяснил укрепление гривны в комиксах

Денисова рассказала о тысячах украинцев в российских тюрьмах

Нефьодов назвал зарплаты таможенников: «честных набрать невозможно»