В Disney научили алгоритм качественно раскрашивать видеоролики

Разработчики из Disney Research создали алгоритм для качественного раскрашивания монохромных видеороликов.

При выборе цветов он учитывает соседние кадры, а также проводит их семантический анализ, рассказывают авторы статьи, опубликованной на arXiv.org. Разработка была представлена на конференции BMVC 2018.

Поскольку цветная съемка стала массово применяться примерно с середины 20-го века, специалисты по обработке изображений разработали методы и автоматические алгоритмы для раскрашивания монохромных изображений из более раннего времени. Кроме того, существуют и способы восстановления цвета на видеороликах, но эта задача гораздо сложнее из-за того, что цвета областей на соседних кадрах должны быть согласованы между собой.

Исследователи из Disney Research под руководством Маркуса Гросса (Markus Gross) создали новый алгоритм, позволяющий добиться более реалистичного раскрашивания видеороликов благодаря большей согласованности соседних кадров. На входе алгоритму необходимо получить один цветной кадр. Для обработки последовательности монохромных кадров разработчики выбрали гибридную схему, в которой изначальную обработку проводят две нейросети, распространяющие цвет исходного кадра локально и глобально.

Под локальным распространением авторы подразумевают последовательную обработку от первого (цветного) кадра ко второму, от второго к третьему и так далее. Для этого алгоритм анализирует деформацию изображения между двумя кадрами и соответствующим образом переносит цвет. Проблема этого подхода заключается в том, что с каждым новым кадром перенос цвета становится все менее надежным. Из-за этого вместе с нейросетью для локального распространения цвета работает алгоритм для глобального распространения, который окрашивает каждый новый кадр на основании исходного цветного кадра. Поскольку на далеких от исходного изображения кадрах расположение объектов может сильно отличаться, глобальный алгоритм использует семантический анализ для переноса цвета между одними и теми же объектами на разных кадрах.

После этого пары цветных кадров, обработанные разными алгоритмами, подаются вместе с монохромным кадром на входной слой еще одной нейросети, которая «соединяет» изображения и выдает окончательный кадр.
Разработчики обучали и тестировали алгоритм на парах изображений из датасета DAVIS и роликов с YouTube. В результате они научили его качественно раскрашивать ролики длиной в несколько десятков кадров. Авторы сравнили эффективность системы с аналогичными алгоритмами для раскрашивания изображений и видео. Новый алгоритм показал большее отношение сигнала к шуму, соответствующее меньшему количеству ошибок при переносе. Кроме того, это отношение падает при увеличении количества кадров не так быстро, как при использовании других методов.

За последнее время многие группы исследователей представили различные нейросетевые алгоритмы, предназначенные для работы с видеозаписями. К примеру, индийские разработчики научили нейросеть создавать короткие реалистичные ролики на основе одного кадра, а исследователи из NVIDIA создали алгоритм для реалистичного переноса стиля между видеороликами. К примеру, они показали, как он создал на основе семантически сегментированного видео реалистичную видеозапись поездки на автомобиле.

Источник: N+1

Подписывайтесь на канал «Хвилі» в Telegram, страницу «Хвилі» в Facebook.

Последние новости
Легенда баскетбола Коби Брайант трагически погиб

Легенда баскетбола Коби Брайант трагически погиб

Вертолет баскетболиста разбился под Лос-Анджелесом
Откуда берутся дешевые билеты лоукостов и как они работают

Откуда берутся дешевые билеты лоукостов и как они работают

Многие пользуются лоукостами, но не понимают как они работают. Этот проблем мы восполняем в новой беседе Юрия Романенко. 
Космическая компания из Днепра провалила запуск ракеты

Космическая компания из Днепра провалила запуск ракеты

Компания из США, имеющая подразделение в Днепре, протестировала ракету-носитель
Иран сделал заявление по расшифровке «черных ящиков» сбитого Боинга

Иран сделал заявление по расшифровке «черных ящиков» сбитого Боинга

Иранский депутат заявил, что бортовые самописцы будут расшифровывать иранские специалисты
В Иране пассажирский самолет загорелся в воздухе

В Иране пассажирский самолет загорелся в воздухе

Пилотам удалось посадить горящий самолет
Скалецкая отчиталась Зеленскому о ситуации с коронавирусом в Украине

Скалецкая отчиталась Зеленскому о ситуации с коронавирусом в Украине

В Минздраве заявили о готовности к возможному появлению коронавируса 2019-nCoV в Украине
Тищенко прокомментировал возможность занять пост Гончарука

Тищенко прокомментировал возможность занять пост Гончарука

В скандале с прослушкой Гончарука депутат не видит ничего криминального
С «крестного отца контрабанды» Альперина сняли «электронный браслет»

С «крестного отца контрабанды» Альперина сняли «электронный браслет»

Забавная история от адвоката Альперина
«Южмаш» оскандалился из-за сделки с российской компанией

«Южмаш» оскандалился из-за сделки с российской компанией

Украинский завод заказал алюминия из России на 43 миллиона
Качинський объяснил агрессивную политику Путина на примере Крыма и Донбасса

Качинський объяснил агрессивную политику Путина на примере Крыма и Донбасса

Качиньский увидел в Россие агрессора, которому должны противостоять силы НАТО
Венедиктова жестко обратилась к Порошенко по поводу его визита в ГБР

Венедиктова жестко обратилась к Порошенко по поводу его визита в…

Исполняющая обязанности директора Государственного бюро расследований призвала экс-президента и народных депутатов начинать «жить по закону»
Гиркин и левые силы вывели россиян под администрацию Путина

Гиркин и левые силы вывели россиян под администрацию Путина

Активисты устроили акцию протеста против поправок в Конституцию
Авто дипломата Игоря Дира сожгли в Ужгороде: видео

Авто дипломата Игоря Дира сожгли в Ужгороде: видео

В Ужгороде сожгли автомобиль бывшего посла Украины в Швейцарии и в Лихтенштейне
Коронавирус 2019-nCoV: назван масштаб эпидемии

Коронавирус 2019-nCoV: назван масштаб эпидемии

В Китае признали кризис общественного здравоохранения
Умер протоиерей РПЦ Чаплин, призывавший к «расчленению» Украины

Умер протоиерей РПЦ Чаплин, призывавший к «расчленению» Украины

Об этом сообщили прихожане
НБУ назвал дату введения в оборот новой купюры

НБУ назвал дату введения в оборот новой купюры

Нацбанк обновил банкноту номиналом 200 гривен
Зарплаты чиновников и простых украинцев сравнили в цифрах

Зарплаты чиновников и простых украинцев сравнили в цифрах

Разрыв между доходами чиновников и бюджетников поражает
Презумпция виновности власти и свобода слова

Презумпция виновности власти и свобода слова

После публикации проекта Закона о, так называемой, «информационной безопасности», вопрос перед обществом и СМИ стоит так: чьей отставки требовать: Бородянского и Ткаченко или самого Зеленского?
Зеленский анонсировал перестановки во власти

Зеленский анонсировал перестановки во власти

О кадровых изменениях и смене имиджа Украины
Образование, принципы, мотивации: как стать богатыми и успешными

Образование, принципы, мотивации: как стать богатыми и успешными

Бедность и нищета начинаются с образования. Если вы не способны адекватно и масштабно смотреть на мир, то вам и вашим детям будет сложно принять дары и возможности, которые он может вам предложить.
Украинцам рассказали о «сюрпризах» закона о дезинформации Бородянского

Украинцам рассказали о «сюрпризах» закона о дезинформации Бородянского

Миллионные штрафы и тюремный срок - новая свобода слова
Песков увидел контакт между Путиным и Зеленским

Песков увидел контакт между Путиным и Зеленским

Пресс-секретарь президента России заявил об эффективном контакте, который возник между президентами России и Украины
Зеленский назвал стенограмму разговора с Трампом «бестселлером»

Зеленский назвал стенограмму разговора с Трампом «бестселлером»

"Это популярное чтиво"
Названы самые продаваемые бренды авто в Европе

Названы самые продаваемые бренды авто в Европе

Лидеры оказались довольно неожиданные
У Зеленского назвали цель визита президента в Польшу

У Зеленского назвали цель визита президента в Польшу

Программой визита Зеленского также предусмотрена встреча с лидером Польши Анджеем Дудой
В Черновцах пьяный отец жестоко расправился с дочерью: видео

В Черновцах пьяный отец жестоко расправился с дочерью: видео

16-летняя Анна Крицкая чуть не сгорела живьем из-за того, что заступилась за мать
Разговор Трампа с Парнасом, Фруманом и другими о поддержке Украины слили в сеть

Разговор Трампа с Парнасом, Фруманом и другими о поддержке Украины…

«Как долго они продержатся в борьбе с Россией?»
В «Борисполе» ужесточат контроль из-за китайского коронавируса nCoV

В «Борисполе» ужесточат контроль из-за китайского коронавируса nCoV

Будет введен температурный скрининг пассажиров на прямых китайских авиарейсах
У Гончарука похвастались снижением цены на тепло

У Гончарука похвастались снижением цены на тепло

В Кабмине отчитались о снижении суммы в платежках за отопление и горячую воду
Зеленский определил контактера с куратором Путина по Украине

Зеленский определил контактера с куратором Путина по Украине

Ермак и Козак продолжат работать в привычном режиме?
Читай также
Последние новости

Легенда баскетбола Коби Брайант трагически погиб

Откуда берутся дешевые билеты лоукостов и как они…

Космическая компания из Днепра провалила запуск ракеты

Иран сделал заявление по расшифровке «черных ящиков» сбитого…

В Иране пассажирский самолет загорелся в воздухе

Скалецкая отчиталась Зеленскому о ситуации с коронавирусом в…

Тищенко прокомментировал возможность занять пост Гончарука

С «крестного отца контрабанды» Альперина сняли «электронный браслет»

«Южмаш» оскандалился из-за сделки с российской компанией

Качинський объяснил агрессивную политику Путина на примере Крыма…

Венедиктова жестко обратилась к Порошенко по поводу его…

Гиркин и левые силы вывели россиян под администрацию…

Авто дипломата Игоря Дира сожгли в Ужгороде: видео

Коронавирус 2019-nCoV: назван масштаб эпидемии

Умер протоиерей РПЦ Чаплин, призывавший к «расчленению» Украины