Ученые приблизились к расшифровке речи напрямую из мозга

Инсульт, боковой амиотрофический склероз (которым был болен Стивен Хокинг) и другие заболевания могут лишить людей способности говорить

Ученые приблизились к расшифровке речи напрямую из мозга

Их общение будет ограничено скоростью, с которой они могут перемещать курсор глазами (обычно это всего от 8 до 10 слов в минуту), в отличие от естественного темпа разговора от 120 до 150 слов в минуту.

Однако, хотя до восстановления естественной речи еще далеко, исследователи из Калифорнийского университета в Сан-Франциско (UCSF) смогли создавать внятные предложения из мыслей людей, у которых нет проблем с речью, сообщает internetua.

Эта работа является доказательством того, что когда-нибудь станет возможным превратить воображаемые слова в понятную речь в реальном времени, без использования речевого аппарата, сказал на пресс-конференции Эдвард Чанг, нейрохирург из UCSF и соавтор исследования, опубликованного 24 апреля в журнале Nature. «Очень немногие из нас имеют реальное представление о том, что происходит во рту, когда мы говорим», — сказал он. «Мозг переводит ваши мысли о том, что вы хотите сказать, в движения голосового тракта, и это то, что мы хотим расшифровать».

Но Чанг предупреждает, что технология, которая была протестирована только на людях без проблем с речью, может работать иначе для тех, кто не может говорить, и особенно для людей, которые никогда не могли говорить из-за расстройства двигательной системы, такого как церебральный паралич.

Чанг также подчеркнул, что его подход не может использоваться для чтения чьих-либо мыслей — только для перевода слов, которые человек хочет сказать, в слышимые звуки. «Другие исследователи пытались выяснить, есть ли возможность на самом деле расшифровать только мысли», — говорит он. «Оказывается, это очень сложная и запутанная задача. И это только одна из многих причин, по которым мы концентрируемся только на том, чтобы озвучивать мысли».

Чанг и его коллеги разработали двухступенчатый метод перевода мыслей в речь. В начале они обратились за помощью к пяти эпилептикам, чья нервная активность измерялась электродами на поверхности их мозга. Исследователи просили их произносить различные предложения и регистрировали сигналы от областей мозга, которые контролируют язык, губы и мышцы горла. Позже, используя компьютерные алгоритмы глубокого обучения, они перевели эти команды в понятный для компьютера язык.

На этом этапе система декодирования должна быть обучена на головном мозге каждого человека, но перевод в звуки может быть обобщен для всех людей, сказал соавтор исследования Гопала Ануманчипалли, также из Калифорнийского университета. «Нейронная активность у каждого человека своя, но дальнейшее получение звуков является общим для всех, и это то, что мы исследуем», — сказал он.

В дальнейшем, используя полученные данные и нейросеть, ученые из UCSF создали программу, которая является виртуальным аналогом голосовых связок, способную преобразовывать эти сигналы в обычную речь.

Ученые попросили носителей английского языка на краудсорсинговой площадке Amazon Mechanical Turk прослушать полученные таким образом предложения. По результатам исследования, слушатели точно слышали предложения в 43 процентах случаев при выборе набора из 25 возможных слов и в 21 процентах случаев при выборе 50 слов.

Хотя уровень точности остается низким, его все равно достаточно, чтобы иметь существенное значение для «запертого в себе» человека, который почти полностью парализован и не может говорить. «Для кого-то, кто заперт в себе и вообще не может общаться, допустимы несколько незначительных ошибок», — говорит Марк Слуцки, невролог и нейронный инженер из медицинской школы Северо-Западного университета им. Файнберга, который опубликовал соответствующее исследование, но не принимал в нем участия. «Даже возможность произносить несколько сотен слов будет огромным улучшением», — говорит он. «Очевидно, что вы хотели бы [быть в состоянии] произнести любое слово, которое захотите, но все равно возможность произнести хотя бы самые распространенные слова уже намного лучше, чем набирать их по одной букве за раз, что является чуть ли не одним из видов современного искусства».

Даже когда добровольцы не слышали составленные нейросеткой предложения совершенно ясно, они зачастую додумывали их по смыслу и схожему звучанию. Например, таким образом «кролик» («rabbit») мог превратиться в «грызуна» («rodent»), сказал на пресс-конференции Джош Чартье из UCSF, еще один соавтор исследования. Звуки, подобные «ш» в слове «шип», создаваемые «виртуальным голосом», расшифровывались большинством людей без проблем, а вот звуки типа «th» в артикле «the» (в русском языке нет аналога этому звуку, однако в начальной школе, думаю, многие учились его произносить — прим. перев.) были особенно сложными, добавил Чартье. При этом такая программа хорошо отражала ритм и интонацию речи, правильно определяя пол и личные характеристики человека.

Несколько других исследовательских групп в Соединенных Штатах и ​​других странах также делают значительные успехи в расшифровке речи, но новое исследование является первым, когда полные предложения были правильно интерпретированы, по словам Слуцки и других ученых, не вовлеченных в работу.

«Я думаю, что это исследование является примером возможности, которая открывается при объединении биологии и машинного обучения», — говорит Ли Хохберг, невролог из Массачусетской больницы общего профиля в Бостоне и нейробиолог из Университета Брауна.

Исследование вызывает некоторое волнение по поводу этики, но ученые говорят, что технология еще не готова даже к клиническим испытаниям. «Я думаю, что в течение следующих 10 лет мы увидим системы, которые улучшат способность людей общаться», — говорит Джейми Хендерсон, профессор нейрохирургии в Стэнфордском университете, который не участвовал в новом исследовании. Он говорит, что оставшиеся проблемы включают исследование того, улучшит ли декодирование речи использование более детального анализа мозговой деятельности. Также нужно разработать нейрочип, который можно имплантировать в мозг и декодировать речь в режиме реального времени, и проверить, распространяется ли такое преимущество на людей, которые вообще никогда не говорили и чей мозг не умеет управлять голосовыми связками.

Хохберг говорит, что напоминает ему о том, что поставлено на карту в такого рода исследованиях: «каждый раз, когда я нахожусь в отделении нейроинтенсивной терапии, и я вижу кого-то, кто, возможно, без труда ходил и говорил вчера, но сегодня у него был инсульт, и теперь он больше не может ни двигаться, ни говорить». Хотя он хотел бы, чтобы работа двигалась быстрее, по словам Хохберга, он доволен прогрессом в этой области: «я думаю, что интерфейсы мозг-компьютер будут иметь много возможностей, чтобы помочь людям, и, надеюсь, сделать это уже скоро».

Подписывайтесь на канал «Хвилі» в Telegram, на канал «Хвилі» вYoutube, страницу «Хвилі» в Facebook

Последние новости
За полярным кругом установлен температурный рекорд

За полярным кругом установлен температурный рекорд

В Арктике зафиксирована максимальная в истории температура - 34,8 градусов тепла.
В Украине подешевел доллар, а курс евро упал ниже психологической отметки

В Украине подешевел доллар, а курс евро упал ниже психологической…

Национальный банк установил официальную стоимость украинской валюты.
Трамп подтвердил интерес США к покупке Гренландии

Трамп подтвердил интерес США к покупке Гренландии

Трамп заявил, что Дания теряет деньги, контролируя Гренландию.
Архив США обнародовал отчет разведки о катастрофе на Чернобыльской АЭС

Архив США обнародовал отчет разведки о катастрофе на Чернобыльской АЭС

В отчете указано, что на момент взрыва вблизи ядерного реактора находились около 100 человек.
Подавление Пекином протестов в Гонконге может сорвать торговые переговоры — Трамп

Подавление Пекином протестов в Гонконге может сорвать торговые переговоры —…

Повторение в Гонконге событий 1989 года на площади Тяньаньмэнь грозит срывом торговых переговоров между Китаем и США, заявил Дональд Трамп.
Суд арестовал «блогера», на камеру избившего ветерана АТО

Суд арестовал «блогера», на камеру избившего ветерана АТО

Суд арестовал до 1 октября Артура Сороченко, подозреваемого в избиении ветерана АТО.
Нетаньяху рассказал о целях визита в Украину

Нетаньяху рассказал о целях визита в Украину

Премьер-министр Израиля Биньямин Нетаньяху рассказал о повестке встречи с президентом Украины Владимиром Зеленским.
Появились новые доказательства агрессии России против Украины

Появились новые доказательства агрессии России против Украины

Новые доказательства, подтверждающие участие российских военных в конфликте в Украине, будут использованы для подкрепления судебных исков против российского государства.
Грымчака поместили в СИЗО законно, — прокурор

Грымчака поместили в СИЗО законно, — прокурор

Прокурор Денис Иванов утверждает, что Юрия Грымчака поместили в СИЗО законно.
Звільнення Романа Безсмертного — це поступка Росії

Звільнення Романа Безсмертного — це поступка Росії

Звільнення Романа Безсмертного з Тристоронньої контактної групи щодо врегулювання ситуації на Донбасі, свідчить про використання Офісом президента тактики малих поступок агресору.
Состояние главной реки Украины критическое, — экологи

Состояние главной реки Украины критическое, — экологи

Состояние главной реки Украины критическое. Днепр уже не «ревёт», он только стонет… река умирает!
Калифорнийский стартап продает футболки из коровьего молока

Калифорнийский стартап продает футболки из коровьего молока

Разработчики уверяют, что футболки Limitless Milk Shirt «втрое мягче» изготовленных из обычного хлопка.
Разумков признался, что переписал бизнес на жену

Разумков признался, что переписал бизнес на жену

Лидер партии «Слуга народа» и будущий спикер Верховной Рады Дмитрий Разумков признался, что переписал свой бизнес на жену.
Британский Генштаб заявил о готовности бросить вызов «группе Вагнера»

Британский Генштаб заявил о готовности бросить вызов «группе Вагнера»

Глава Генштаба Великобритании Ник Картер в интервью газете The Times заявил о том, что Лондон необходимо усиливать военное присутствие в Африке
Продюсер «Ласкового мая» просит Зеленского разрешить на въезд в Украину

Продюсер «Ласкового мая» просит Зеленского разрешить на въезд в Украину

Продюсер группы "Ласковый май" Андрей Разин попросил президента Украины Владимира Зеленского разрешить ему посетить Украину.
У Зеленского высмеяли Омеляна за проект Hyperloop

У Зеленского высмеяли Омеляна за проект Hyperloop

В "Слуге народа" считают, что «Hyperloop – это очевидный вздор».
Мир досуга тоже оказывается политически и идеологически верным

Мир досуга тоже оказывается политически и идеологически верным

Мир досуга может иметь как прямую, так и скрытую идеологию. Но она обязательно будет, поскольку модель мира в голове режиссера, сценариста и продюсера всегда есть.
Субсидия: кто из украинцев не получит госпомощь

Субсидия: кто из украинцев не получит госпомощь

Государственная помощь не положена некоторым гражданам.
Команда Зеленского ведет подготовку к встрече с Путиным

Команда Зеленского ведет подготовку к встрече с Путиным

У Зеленского готовят встречу с Путиным — различные источники информации пока говорят неутвердительно о сроках,
Специалисты назвали самые грязные места в салоне авто

Специалисты назвали самые грязные места в салоне авто

Ученые США рассказали о том, какие инфекции можно подхватить в салоне чужого авто.
Спецназ поймал скандального блогера, избившего ветерана АТО

Спецназ поймал скандального блогера, избившего ветерана АТО

Полиция поймала блогера Артура Сороченко, который недавно под камеру избил атошника
Пенсия в Украине вырастет: кому повезет больше всех

Пенсия в Украине вырастет: кому повезет больше всех

В Украине в ближайшее время пересчитают отдельные пенсии, так как ранее в законодательство внесли ряд изменений.
В Украину вернется жара до +37

В Украину вернется жара до +37

С понедельника, 19 августа, на территорию Украины возвращается жаркая погода
Россия назвала условия развертывания новых ракет

Россия назвала условия развертывания новых ракет

Шойгу заявил, что российские ракеты будут развертывать в ответ на действия США
В США рассекретили доклад разведки о Чернобыльской катастрофе

В США рассекретили доклад разведки о Чернобыльской катастрофе

Американская неправительственная организация Национальный архив безопасности опубликовала первый отчет разведки США по событиям с конца апреля по начало мая 1986 года в Припяти.
Назван овощ, который выводит желчь и чистит кровь

Назван овощ, который выводит желчь и чистит кровь

Ученые утверждают, что тыква является овощем, который позволяет продлевать молодость.
Колоссальные штрафы: какие новые неприятности ждут украинских водителей

Колоссальные штрафы: какие новые неприятности ждут украинских водителей

Карательные меры начнут действовать с 24 августа
У Зеленского сказали, что сформируют новое правительство за двое суток

У Зеленского сказали, что сформируют новое правительство за двое суток

Представитель президента в Кабмине считает, что новый парламент в первые дни своей работы сформирует новую исполнительную власть
Дипломат назвал главное оружие Украины против России

Дипломат назвал главное оружие Украины против России

Самое главное оружие Украины против России - это ее внутреннее развитие.
Цена на газ изменится: сколько заплатят украинцы

Цена на газ изменится: сколько заплатят украинцы

Если евро подорожает, возможно незначительное подорожание до 10%.
Читай также
Последние новости

За полярным кругом установлен температурный рекорд

В Украине подешевел доллар, а курс евро упал…

Трамп подтвердил интерес США к покупке Гренландии

Архив США обнародовал отчет разведки о катастрофе на…

Подавление Пекином протестов в Гонконге может сорвать торговые…

Суд арестовал «блогера», на камеру избившего ветерана АТО

Нетаньяху рассказал о целях визита в Украину

Появились новые доказательства агрессии России против Украины

Грымчака поместили в СИЗО законно, — прокурор

Звільнення Романа Безсмертного — це поступка Росії

Состояние главной реки Украины критическое, — экологи

Разумков признался, что переписал бизнес на жену

Британский Генштаб заявил о готовности бросить вызов «группе…

Продюсер «Ласкового мая» просит Зеленского разрешить на въезд…

У Зеленского высмеяли Омеляна за проект Hyperloop