В Disney научили алгоритм читать сценарий и «снимать» по нему видео

Алгоритм упрощает исходные предложения, а затем сопоставляет каждый объект или действие с аналогами, имеющимися в его библиотеке, и создает на их основе 3D-анимацию

В Disney научили алгоритм читать сценарий и «снимать» по нему видео

Исследователи из Disney Research разработали алгоритм, способный создавать короткие анимационные ролики на основе сценария, написанного естественным языком.

Во время работы алгоритм упрощает исходные предложения, а затем сопоставляет каждый объект или действие с аналогами, имеющимися в его библиотеке, и создает на их основе 3D-анимацию, рассказывают авторы статьи, опубликованной на arXiv.org.

Ученые начали решать проблему синтеза изображений или видеозаписей на основе текстового описания достаточно давно, однако пока эта технология находится на начальном этапе развития и ее реализации обладают множеством недостатков. Эту проблему можно разбить на две основные части: обработка естественного языка, позволяющая компьютеру понимать смысл сказанного человеком, а также создание кадров. При обработке речевой последовательности от человека компьютер пытается понять структуру предложений, а также соотношение между словами в нем, а затем на основе этих знаний выполнить следующую задачу. В данном случае такой задачей является синтез реалистичного изображения или видеоролика, в котором объекты действуют в соответствии с исходным сценарием.

Алгоритмы, создающие ролики на основе текстового описания, уже существуют. Однако они обладают несколькими недостатками, главный из которых заключается в том, что им требуется не обычный текст на естественном языке (к примеру, сценарий фильма), а максимально простые, хотя и грамматически корректные, предложения. Ашутош Моди (Ashutosh Modi) и его коллеги из DIsney Research разработали алгоритм, способный работать с реальными сценариями фильмов и спектаклей. Обычно сценарии имеют четкую структуру, в которой можно выделить описание сцены с действиями персонажей, диалоги, техническую информацию для операторов и другие элементы. В своей работе исследователи сконцентрировались только на основном элементе, в котором происходит общее описание сцены и перечисляются действия действующих лиц.

Созданную разработчиками программу можно разделить на несколько модулей, выполняющих определенную функцию. Сначала исходный текст сценария получает модуль, отвечающий за предварительную обработку. Он распознает элементы сценария, к примеру, описание сцены, и создает пары типа «абзац текста — название элемента». Затем эти данные передаются модулю обработки языка. Изначально он упрощает предложения, по возможности разбивая каждое из них на два или больше, которые описывает по одному действию. Это происходит благодаря набору правил, по которым алгоритм распознает типы слов и их соотношения между собой.

Кроме того, модуль упрощает предложения не только структурно, но и лексически, заменяя слова на синонимы. Это необходимо для того, чтобы на последнем этапе алгоритм смог подобрать для каждого слова в сценарии соответствующую 3D-модель или анимацию из библиотеки, собранной авторами. После получения упрощенного сценария алгоритм размечает технические данные, такие время начала действия, эмоции действующих персонажей и другие, и отдает эти данные модулю, создающему итоговую 3D-анимацию на основе этих данных.

Разработчики проверили эффективность алгоритма с помощью BLEU-метода. Во время оценки три человека проводили такое же преобразование сценариев, как и алгоритм, а затем исследователи измеряли различия в преобразованиях, выполненных людьми и алгоритмом. Выяснилось, что качество преобразования (близость к преобразованию, сделанному человеком) достаточно сильно варьируются в зависимости от типа слова в предложении, к примеру, ближе всего к человеку алгоритм описывал манеры, с которыми делаются те или иные действия. Сравнение с другими алгоритмами обработки естественного языка показало, что новый алгоритм дает более близкий к человеческому результат.

Наконец, авторы провели оценку на добровольцах, которых просили оценить качество работы алгоритма. В общем случае при оценке по пятибалльной шкале от «Полностью несогласен» до «Полностью согласен» 45,23 процента добровольцев согласились с утверждением, что алгоритм корректно визуализирует текст. Кроме того, почти 60 процентов добровольцев согласились с тем, что алгоритм не добавляет в визуализацию действия, не упомянутые в сценарии.

Источник: N+1

Подписывайтесь на канал «Хвилі» в Telegram, на канал «Хвилі» вYoutube, страницу «Хвилі» в Facebook

Последние новости
Украинцам напомнили, как не потерять субсидию

Украинцам напомнили, как не потерять субсидию

Будут применяться штрафные санкции, а также полное прекращение действия субсидии
Арахамия оправдался за слова Ермака о стене на Донбассе

Арахамия оправдался за слова Ермака о стене на Донбассе

«Слуги народа» рассматривают возможность строительства «стены на Донбассе»
Верещук озвучила плюсы и минусы в армии при Зеленском

Верещук озвучила плюсы и минусы в армии при Зеленском

Член Комитета по вопросам нацбезопасности рассказала о состоянии украинской армии при новом президенте
Ученые заявили о новом виде крылатых рептилий

Ученые заявили о новом виде крылатых рептилий

Обнаруженная окаменелость сохранила почти полный скелет животного
НБУ объяснил, чего ждать от курса гривны и экономики Украины

НБУ объяснил, чего ждать от курса гривны и экономики Украины

Названы причины укрепления гривны
Венецианская комиссия раскритиковала судебную реформу Зеленского

Венецианская комиссия раскритиковала судебную реформу Зеленского

Нынешняя судебная реформа является угрозой для судебной системы Украины, - Венецианская комиссия
Нацбанк сделает доступнее для ФОПов кредиты в банках

Нацбанк сделает доступнее для ФОПов кредиты в банках

Национальный банк сделал проще условия работы банков с малым бизнесом
Потеплеет до +8: синоптики дали прогноз погоды на выходные

Потеплеет до +8: синоптики дали прогноз погоды на выходные

Снегопадов в ближайшие дни не будет
Макарова рассказала о дальнейшей судьбе Приватбанка и Укргазбанка

Макарова рассказала о дальнейшей судьбе Приватбанка и Укргазбанка

Министр финансов объяснила, когда банки будут возвращены на частный рынок
Витренко назвал условие для отзыва исков к «Газпрому»

Витренко назвал условие для отзыва исков к «Газпрому»

О позиции Украины на трехсторонних переговорах рассказал исполнительный директор НАК Юрий Витренко
Чехословакия как напоминание Украине

Чехословакия как напоминание Украине

Если вы не решаете свои проблемы, за вас их решат другие. Как сказал политолог Дэвид Фрам, "если либералы не занимаются проблемой (границы), ей займутся фашисты"
Apple выпустит новые iPhone без разъемов и рамки для дисплея

Apple выпустит новые iPhone без разъемов и рамки для дисплея

Эксперт спрогнозировал, какими уникальными смартфонами порадует Apple в следующем году
Зеленский раскрыл условия для амнистии боевиков в ОРДЛО

Зеленский раскрыл условия для амнистии боевиков в ОРДЛО

Под амнистию попадут только те, у кого не было "рук в крови"
Увидеть Париж — и не умереть. Есть ли у Владимира Зеленского выход из политической западни?

Увидеть Париж — и не умереть. Есть ли у Владимира…

КВН против КГБ: кто кого переманипулирует.
Маркарова раскрыла важный нюанс налоговой реформы

Маркарова раскрыла важный нюанс налоговой реформы

Может появиться дифференцированная шкала по уплате налога
Онищенко будет ждать решения об экстрадиции в немецкой тюрьме

Онищенко будет ждать решения об экстрадиции в немецкой тюрьме

Задержание Онищенко произошло в городе Ахим, а не Аахен, как ранее ошибочно сообщалось
Зеленский о Путине: «Я хочу увидеть человека»

Зеленский о Путине: «Я хочу увидеть человека»

Президент заявил, что не боится встречи с Путины, но боится безрезультатных переговоров.
Зеленский: местные выборы на Донбассе должны пройти при контроле над границей

Зеленский: местные выборы на Донбассе должны пройти при контроле над…

Зеленский заявил, что в Париже будет иметь двустороннюю встречу с Путиным
Лавров оценил миротворческие усилия Зеленского на Донбассе

Лавров оценил миротворческие усилия Зеленского на Донбассе

Министр иностранных дел России считает, что президент Украины проявил волю к достижению мира на Донбассе
Ryanair прекращает полеты из Киева по двум направлениям

Ryanair прекращает полеты из Киева по двум направлениям

Сокращение рейсов связано с закрытием в летнем расписании баз в Скавсте и Нюрнберге из-за нехватки самолетов
Представители Елизаветы II ответили на слухи об уходе с престола королевы

Представители Елизаветы II ответили на слухи об уходе с престола…

В апреле Елизавете II исполнилось 93 года, из которых 67 лет она у руля Великобритании
Арахамия признался, на что готов пойти Зеленский в Париже

Арахамия признался, на что готов пойти Зеленский в Париже

Украина не собирается переступать через красные линии на парижском саммите
В «ДНР» срывают переговоры о возвращении в Украину тела погибшего спецназовца Каплунова

В «ДНР» срывают переговоры о возвращении в Украину тела погибшего…

Наемники "ДНР" до сих пор не вернули тело погибшего офицера Дмитрия Каплунова
Медведев «спалил Путина», проговорившись о России на Донбассе

Медведев «спалил Путина», проговорившись о России на Донбассе

По сути он признал, что на Донбассе присутствует российская армия
Разумков рассказал про «Слуг народа», которым не светит второй срок в Раде

Разумков рассказал про «Слуг народа», которым не светит второй срок…

Спикер парламента прокомментировал деятельность пропрезидентской партии в Верховной Раде
Яременко рассказал, как Зеленского попытаются перехитрить в Париже

Яременко рассказал, как Зеленского попытаются перехитрить в Париже

Народный депутат Богдан Яременко рассказал о действиях «нормандской четверки» на саммите
Гончарук прокомментировал слухи об отдельных двусторонних переговорах по газу

Гончарук прокомментировал слухи об отдельных двусторонних переговорах по газу

"Это манипуляции, которые призваны дискредитировать и выставить команду Зеленского как предателей"
Кабмин привяжет размер штрафа за нарушение ПДД к доходам

Кабмин привяжет размер штрафа за нарушение ПДД к доходам

Чем больше зарабатывает нарушитель, тем больше он должен будет заплатить штраф
Аваков открыл для женщин почти 500 «запрещенных» должностей

Аваков открыл для женщин почти 500 «запрещенных» должностей

Профессии открыты с 2017 года
Депутат от «Слуги народа» «погорел» на сигаретах: НАБУ открыло дело

Депутат от «Слуги народа» «погорел» на сигаретах: НАБУ открыло дело

В НАБУ открыли дело на депутата из "Слуги народа" из-за лоббизма семейного бизнеса на сигаретах
Читай также