В Google научили алгоритм прямому переводу устной речи

Разработчики из Google под руководством Юнхуэя У (Yonghui Wu) создали алгоритм, переводящий речь с одного языка на другой без использования промежуточного перевода речи в текстовое представление.

В Google научили алгоритм прямому переводу устной речи

Компания Google разработала алгоритм, способный напрямую переводить речь на другой язык, не используя текстовое представление сказанных слов.

Кроме того, алгоритм может сохранять характеристики голоса человека на переведенной записи. Описание разработки опубликовано в блоге Google AI, а также в статье на arXiv.org.

Современные смартфоны и умные колонки умеют переводить на другие языки не только текст, но и речь. К примеру, недавно Google добавила такую функцию в голосовой помощник Assistant. Подобные системы имеют технические различия, но в целом устроены похоже и перевод в них проходит в три этапа. Сначала алгоритм распознает слова на аудиозаписи и создает текстовое представление речи. Затем происходит перевод текста на исходном языке в текст на требуемом языке. На последнем этапе используется система синтеза речи, превращающая переведенный текст в аудиозапись. Такой подход работает достаточно хорошо, но он имеет и недостатки. К примеру, из-за отсутствия прямой связи между исходной и синтезированной записью речи алгоритм может некорректно передавать интонации и паузы.

Разработчики из Google под руководством Юнхуэя У (Yonghui Wu) создали алгоритм, переводящий речь с одного языка на другой без использования промежуточного перевода речи в текстовое представление. Созданный разработчиками алгоритм представляет собой набор из нескольких отдельных алгоритмов, часть из которых использует архитектуру нейросети с долгой краткосрочной памятью (LSTM). В целом алгоритм можно представить в виде трех модулей, центральный из которых принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму для записи речи на другом языке. После получения новой спектрограммы она отдается алгоритму для синтеза аудиофайлов. Третий модуль представляет собой кодировщик, данные с которого используются, если необходимо сохранить голос с оригинальной речи.

Для обучения исследователи использовали два больших датасета, содержащих записи разговоров на английском и испанском, а также их текстовое представление. Во время обучения алгоритм выполнял еще одну задачу, которую разработчики называют критически важной для того, чтобы научить его переводить не только отдельные простые слова, но и целые предложения. Алгоритм предсказывал текстовые последовательности фонем на обоих языках. Во время работы эта часть алгоритма не используется и лишь помогает обучить нейросеть корректному созданию спектрограмм.
Авторы работы продемонстрировали пример работы алгоритма при переводе с испанского на английский язык. Остальные примеры доступны на сайте исследовательской группы.

Разработчики проверили качество работы алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком. Оказалось, что классический подход с промежуточным преобразованием речи в текст дает лучший результат. Вместе с этим они отмечают, что это первый пример алгоритма для прямого перевода устной речи, обученного на полноценном корпусе языка. Ранее другие исследователи показывали принципиальную возможность такого подхода, но использовали датасет из 100 слов.

Источник: N+1

Подписывайтесь на канал «Хвилі» в Telegram, на канал «Хвилі» вYoutube, страницу «Хвилі» в Facebook

Последние новости
Зеленский в Париже удивил европейцев

Зеленский в Париже удивил европейцев

Президент Украины Владимир Зеленский удивил лидеров стран "нормандской четверки" на переговорах, изменив повестку
Медики назвали пять главных продуктов для щитовидной железы

Медики назвали пять главных продуктов для щитовидной железы

Эти продукты доступны каждому
В Украине по-новому заработает лицензирование бизнеса

В Украине по-новому заработает лицензирование бизнеса

Теперь лицензии не будут аннулированы полностью, а приостановлены в полной мере или частично
Аваков назвал город с самым низким уровнем преступности

Аваков назвал город с самым низким уровнем преступности

Оказалось, что Мариуполь считается городом с самым низким уровнем преступности
Эксперт объяснил, на каких условиях могут заморозить конфликт на Донбассе

Эксперт объяснил, на каких условиях могут заморозить конфликт на Донбассе

Большинство людей поддерживают заморозку конфликта на Донбассе
Украина погрузится в туман: синоптики предупредили об опасности

Украина погрузится в туман: синоптики предупредили об опасности

Водителям рекомендуют быть внимательными на дороге и не превышать допустимую скорость
Немецкий врач назвал продукты, которые заменяют лекарства

Немецкий врач назвал продукты, которые заменяют лекарства

С помощью этих продуктов можно избавиться от многих заболеваний
Судья «МастерШеф» показал утреннее фото с Зеленским в тренажерном зале

Судья «МастерШеф» показал утреннее фото с Зеленским в тренажерном зале

Эктор Хименес-Браво отметил, что Владимир Зеленский любит спортзал
Резников объяснил, почему Зеленский не говорил с Путиным про Крым

Резников объяснил, почему Зеленский не говорил с Путиным про Крым

В Париже президент Украины расставлял приоритеты по их важности
Медики назвали первые признаки тромбоза

Медики назвали первые признаки тромбоза

На эти признаки часто не обращаются внимания
Резников заявил, что «формула Штайнмайера» включена в закон об особом статусе Донбасса

Резников заявил, что «формула Штайнмайера» включена в закон об особом…

"Формула Штайнмайера" в законопроекте об особом статусе Донбасса просто сформулирована по-другому
Кравчук озвучил несколько условий Зеленскому по земельной реформе

Кравчук озвучил несколько условий Зеленскому по земельной реформе

Леонид Кравчук назвал слабые стороны земельной реформы
Метеорный поток Геминиды: украинцы увидят сотни «падающих звезд»

Метеорный поток Геминиды: украинцы увидят сотни «падающих звезд»

Украинцев предупредили
Пальчевский подвел итоги «нормандского саммита»

Пальчевский подвел итоги «нормандского саммита»

Андрей Пальчевский считает результат положительным
Названы самые коррумпированные города Украины: статистика

Названы самые коррумпированные города Украины: статистика

Украинцы ответили, сколько раз им приходилось сталкиваться с коррупцией за последние два года
Facebook внедрит «черные метки» для фейковых новостей в Украине

Facebook внедрит «черные метки» для фейковых новостей в Украине

Данные, которые относятся к разряду «фейк» будут выделены графически
Леся Никитюк поразила соблазнительным фото в белье

Леся Никитюк поразила соблазнительным фото в белье

В своем Instagram Никитюк разместила фото в одном белье
Украина и Польша начнут тесное сотрудничество по газу

Украина и Польша начнут тесное сотрудничество по газу

PGNiG и ERU Management Service подписали договор о совместной добыче газа на Львовщине
Эксперт доступно объяснил позицию Путина по поводу Минских соглашений

Эксперт доступно объяснил позицию Путина по поводу Минских соглашений

России нужен конфликт на Донбассе для давления на любую украинскую власть
В Финляндии назвали рекордное число украинских заробитчан

В Финляндии назвали рекордное число украинских заробитчан

Украинцы стали лидерами по трудовой миграции
Врачи назвали 5 способов для борьбы с изжогой

Врачи назвали 5 способов для борьбы с изжогой

Важно не игнорировать первые симптомы и вовремя обращаться к специалисту
Зеленский посадит Порошенко при одном условии, — эксперт

Зеленский посадит Порошенко при одном условии, — эксперт

Чем ниже опустится рейтинг президента Владимира Зеленского, тем выше вероятность, что посадят нардепа Петра Порошенко
NASA назвало причины смещения земной оси

NASA назвало причины смещения земной оси

Ученые NASA рассказали, что влияет на особенности вращения Земли вокруг своей оси
Трюдо обратился к новому МИД по поводу Украины

Трюдо обратился к новому МИД по поводу Украины

Трюдо поручил главе МИД Канады поддерживать Украину
Корчилава назвал сильные и слабые стороны «нормандской встречи» в Париже

Корчилава назвал сильные и слабые стороны «нормандской встречи» в Париже

Европейские лидеры питаются «умиротворить агрессора»
США пригрозили Германии санкциями из-за «Северного потока-2»

США пригрозили Германии санкциями из-за «Северного потока-2»

Возможно назревание торгового конфликта
Данилов назвал главную угрозу для Украины и мира

Данилов назвал главную угрозу для Украины и мира

Данилов назвал кибербезопасность приоритетной сферой деятельности СНБО
У Путина отреагировали на «судьбоносный» прорыв в переговорах с Зеленским

У Путина отреагировали на «судьбоносный» прорыв в переговорах с Зеленским

По словам спикера Кремля Дмитрия Пескова, диалог продолжается
Российскую журналистку не пустили в Украину из-за компрометирующего фото

Российскую журналистку не пустили в Украину из-за компрометирующего фото

Девушка отрицала пребывание в Крыму, однако фото в социальных сетях опровергли ее слова
После драки в Верховной Раде «свободовца» Леонова госпитализировали

После драки в Верховной Раде «свободовца» Леонова госпитализировали

У пострадавшего врачи подозревают сотрясение мозга
Читай также
Последние новости

Зеленский в Париже удивил европейцев

Медики назвали пять главных продуктов для щитовидной железы

В Украине по-новому заработает лицензирование бизнеса

Аваков назвал город с самым низким уровнем преступности

Эксперт объяснил, на каких условиях могут заморозить конфликт…

Украина погрузится в туман: синоптики предупредили об опасности

Немецкий врач назвал продукты, которые заменяют лекарства

Судья «МастерШеф» показал утреннее фото с Зеленским в…

Резников объяснил, почему Зеленский не говорил с Путиным…

Медики назвали первые признаки тромбоза

Резников заявил, что «формула Штайнмайера» включена в закон…

Кравчук озвучил несколько условий Зеленскому по земельной реформе

Метеорный поток Геминиды: украинцы увидят сотни «падающих звезд»

Пальчевский подвел итоги «нормандского саммита»

Названы самые коррумпированные города Украины: статистика