Новый алгоритм OpenAI умеет создавать осмысленные тексты

Новый алгоритм OpenAI умеет создавать осмысленные тексты

Исследователи из OpenAI создали алгоритм, который умеет создавать правдоподобные тексты и отвечать на вопросы без спецификации необходимой задачи в процессе обучения.

Единственное умение GPT-2, обученного на восьми миллионах текстовых веб-страниц, — предсказывать последующее слово. Описание работы алгоритма доступно на официальном сайте проекта.

В последние годы машинное обучение все чаще и эффективнее применяют в решении задач автоматической обработки языка. В зависимости от задачи архитектура обучаемой модели и используемый для обучения датасеты должны быть разными, что может сильно ограничить их возможности и усложнить процесс разработки.

Команда из OpenAI под руководством Алека Рэдфорда (Alec Radford) решила создать алгоритм, который бы умел решать множество различных задач по обработке текста без спецификации этих задач при обучении. Для этого исследователи собрали датасет WebText, который содержит 40 гигабайт текста, взятого с восьми миллионов страниц в интернете. В отличие от большинства подобных датасетов, для которых берутся тексты с сайта Википедии или же исключительно новостные заметки, в WebText попали самые разные материалы.

Авторы утверждают, что единственная способность их алгоритма, — генерировать новые слова на основании прочитанного. Сравнительно простое решение задачи автоматической обработки языка позволило ученым создать алгоритм, который может не только дописывать отрывки, представленные людьми, но также и писать эссе на заданные темы и новости на основании заголовков.

У созданного алгоритма есть и свои ограничения. Например, наиболее удачный пример его работы — эссе на тему того, почему переработка мусора — это плохо, получилось убедительным только с 25 попытки, и при этом все равно содержало мелкие ошибки вроде необязательного повтора слов. Также среди недостатков алгоритма разработчики отметили семантические трудности и быстрые и порой неуместные смены тем. При этом тексты, которые широко представлены в обучающей выборке (например, новостные заметки) даются алгоритму лучше: правдоподобные образцы он выдает уже со второй попытки.

Также разработчики опробовали алгоритм на других задачах: ответе на случайные вопросы, переводе текста и вопросах на понимание прочитанного. Несмотря на это, что эффективность алгоритма для этих задач значительно ниже алгоритмов, настроенных на определенные задачи, GPT-2, к примеру, удалось добиться максимальной средней точности при ответе на вопрос в 63,5 процента. При этом ни один из вопросов и ответ на него не были использованы в обучающей выборке. При этом ему также удалось перевести несколько отдельных слов и ответить на большинство вопросов по прочитанным текстам. Разработчики считают, что эффективность GPT-2 в выполнении этих задач можно повысить с расширением датасета и увеличением вычислительной мощности компьютеров, который используется для обучения.

Разработчики не выложили программный код обученной модели целиком, опасаясь «недобросовестных использований»: вместо этого они предоставили упрощенную модель для других исследователей, а также описали проделанную работу в препринте.

Помимо нового алгоритма, который производит правдоподобные текстовые отрывки, у OpenAI также есть бот, который умеет играть в Dota 2: в 2017 году он выступил против сильнейших игроков и победил.

Источник: N+1

Подписывайтесь на канал «Хвилі» в Telegram, на канал «Хвилі» в Youtube, страницу «Хвилі» в Facebook

Последние новости
У Трампа готовят наказание Путину из-за Украины

У Трампа готовят наказание Путину из-за Украины

Конгресс США встал на защиту украинцев, проживающих на временно оккупированных территориях
Названы популярные в Украине профессии с самым высоким заработком

Названы популярные в Украине профессии с самым высоким заработком

Лидируют специалисты в сфере транспорта и логистики
Зеленский нанял лоббистов, чтобы подружиться с Трампом, — NYT

Зеленский нанял лоббистов, чтобы подружиться с Трампом, — NYT

В американском издании заявили, что Зеленский прибегает к услугам лоббистских компаний США, чтобы вернуть расположение Трампа
Известный диетолог рассказала, как выбрать полезный хлеб

Известный диетолог рассказала, как выбрать полезный хлеб

В состав хлеба не должно входить более 10 ингредиентов и большое количество соли
Xiaomi представила компактный пылесос по самой низкой цене

Xiaomi представила компактный пылесос по самой низкой цене

Цена Roidmi Nano около $35
Климкин назвал города Украины, которые нужны Путину

Климкин назвал города Украины, которые нужны Путину

Путин планирует открыть пути ко всем сухопутным коридорам
«Слугу народа» избили по дороге домой двое неизвестных

«Слугу народа» избили по дороге домой двое неизвестных

Нардеп Михаила Ананченко написал об этом в Facebook и приложил фото с побоями
Германия задерживает запуск «Северного потока-2»

Германия задерживает запуск «Северного потока-2»

Газопровод уже считают прямой угрозой для энергетической безопасности Европейского Союза
Джулиани опубликовал материалы о невиновности Трампа, которые собрал в Украине

Джулиани опубликовал материалы о невиновности Трампа, которые собрал в Украине

Адвокат Джулиани утверждает, что есть все доказательства, указывающие на то, что Трамп "ничего плохого не сделал"
«ЛНР» требует согласовать поправки Зеленского в Конституцию Украины

«ЛНР» требует согласовать поправки Зеленского в Конституцию Украины

Главарь "ЛНР" заявил, что поправки Зеленского в Конституцию Украины необходимо согласовать в Минске 18 декабря
Зеленский впервые посетил концерт «95 квартала» как зритель

Зеленский впервые посетил концерт «95 квартала» как зритель

Зеленский "заглянул на огонек" к бывшим коллегам
Мадонну застукали с 26-летним бойфрендом

Мадонну застукали с 26-летним бойфрендом

Мадонна "засветила" молодого любовника
Вифлеемский огонь мира передали украинцам

Вифлеемский огонь мира передали украинцам

Церемония прошла в Михайловском соборе в столице Украины
У Путина оконфузились с логотипом ко Дню победы

У Путина оконфузились с логотипом ко Дню победы

Логотип оказался неправильным, на что сразу обратили внимание пользователи сети
Россия не остановится на Донбассе: итоги нормандского саммита

Россия не остановится на Донбассе: итоги нормандского саммита

Украине не стоит обнадеживаться результатами нормандского саммита в Париже. Минск-2 все равно приведет Киев в ловушку Кремля.
Экс-депутат Госдумы Пономарев ответил, почему Путин боится Зеленского

Экс-депутат Госдумы Пономарев ответил, почему Путин боится Зеленского

Пономарев назвал три качества, которых боится в людях Путин
В России показали обещанное интервью с Зеленским

В России показали обещанное интервью с Зеленским

Российские СМИ отметили, что это первое «нормальное» интервью для них от Зеленского за последние 6 лет
У Путина назвали условия для транзита газа через Украину

У Путина назвали условия для транзита газа через Украину

Президент РФ не против продления договора о транзите газа, но при одном условии
Ахметов решительно настроен кинуть государство

Ахметов решительно настроен кинуть государство

Олигарх Ринат Ахметов решительно настроен «кинуть» державу по взятым им на себя обязательствам на несколько миллиардов гривен.
Названы даты второго тура, когда к украинцам придут переписчики

Названы даты второго тура, когда к украинцам придут переписчики

Второй тур пробной переписи населения уже стартовал
Обнаружена загадочная галактика на самом краю Вселенной

Обнаружена загадочная галактика на самом краю Вселенной

Галактика находится от Земли на расстоянии 13 млрд световых лет
Джулиани призвали раскрыть детали поездки в Украину за информацией

Джулиани призвали раскрыть детали поездки в Украину за информацией

В Сенате хотят узнать подробности поездки Джулиани в Украину
Зеленский поделился результатом переговоров с Грузией

Зеленский поделился результатом переговоров с Грузией

Владимир Зеленский провел встречу с премьер-министром Грузии Георгием Гахарией
У Путина прокомментировали попытку Зеленского изменить коммюнике во время «нормандской встречи»

У Путина прокомментировали попытку Зеленского изменить коммюнике во время «нормандской…

Песков подтвердил попытки Киева изменить коммюнике Нормандского саммита
Каменских перевоплотилась в Йовович из «Пятого элемента»

Каменских перевоплотилась в Йовович из «Пятого элемента»

Звезда Настя Каменских предстала в образе Лилу из "Пятого элемента" в новом выпуске шоу "Х-фактор"
В начале недели украинцев ждет потепление до +16

В начале недели украинцев ждет потепление до +16

Начало второй половины декабря будет отличаться сухой и относительно теплой погодой
Врач рассказал, чем после 40 лет заменить чай и кофе

Врач рассказал, чем после 40 лет заменить чай и кофе

Чай и кофе после 40 лет нужно заменить на кефир с куркумой
Названы самые высокооплачиваемые профессии в Украине: цифры

Названы самые высокооплачиваемые профессии в Украине: цифры

Вакансии, за которые вам заплатят от 50 000 гривен
У Путина отреагировали на желание Зеленского закончить войну на Донбассе

У Путина отреагировали на желание Зеленского закончить войну на Донбассе

У Путина ответили, что не дает Зеленскому решить конфликт на Донбассе
Самое глубокое место на суше обнаружено в Антарктиде

Самое глубокое место на суше обнаружено в Антарктиде

Новые результаты помогут ученым предсказать влияние изменения климата на замерзший континент
Читай также
Последние новости

У Трампа готовят наказание Путину из-за Украины

Названы популярные в Украине профессии с самым высоким…

Зеленский нанял лоббистов, чтобы подружиться с Трампом, -…

Известный диетолог рассказала, как выбрать полезный хлеб

Xiaomi представила компактный пылесос по самой низкой цене

Климкин назвал города Украины, которые нужны Путину

«Слугу народа» избили по дороге домой двое неизвестных

Германия задерживает запуск «Северного потока-2»

Джулиани опубликовал материалы о невиновности Трампа, которые собрал…

«ЛНР» требует согласовать поправки Зеленского в Конституцию Украины

Зеленский впервые посетил концерт «95 квартала» как зритель

Мадонну застукали с 26-летним бойфрендом

Вифлеемский огонь мира передали украинцам

У Путина оконфузились с логотипом ко Дню победы

Россия не остановится на Донбассе: итоги нормандского саммита