Разработчики из NVIDIA создали нейросеть, способную убирать шум с фотографий практически без искажений.
Важное отличие этого алгоритма от похожих разработок заключается в том, что его обучали только на фотографиях, на которых уже был шум, рассказывают авторы работы, которая была представлена на конференции ICML 2018.
При съемке в условиях плохого освещения фотоаппарат компенсирует недостаток света большей чувствительностью и это приводит к появлению большого количества шума на изображении. Некоторые исследователи применяли к этой проблеме методы машинного обучения, которые позволяли обучать алгоритм убирать шум с изображения. Но обычно для обучения применяются пары, составленные из «зашумленного» и чистого изображений. Это значительно упрощает обучение, но усложняет сбор обучающей выборки для алгоритма, потому что не для всех объектов можно сделать снимки на большой выдержке и с минимальным количеством шумов.
Группа разработчиков под руководством Тимо Айло (Timo Aila) из исследовательского подразделения NVIDIA предположила, что в некоторых условиях алгоритм можно обучить восстанавливать сигнал в месте шума, используя только изображения с шумом, то есть не предоставляя ему доступ к искомой части изображения. Вместо обучения на парах с одним чистым изображением исследователи применили обучение на паре изображений со случайным шумом. Разработчики отмечают, что по сути это аналогично тому, как фотоаппарат на длинной выдержке в темноте создает относительно чистое изображение из множества изображений с низкой выдержкой и низким отношением сигнал-шум.
Исследователи использовали для проверки подхода две сверточные нейросети: для большей части работы применялась сеть U-Net, а для одного из тестов исследователи использовали вместо нее остаточную сеть RED30. Авторы использовали в качестве обучающей выборки 50 тысяч изображений с разрешением 256 на 256 пикселей. Ко всем изображениям добавляли искусственный шум, причем для каждой пары изображений уровень шума был тоже случайным и нейросети необходимо было учитывать это при очистке изображения. Кроме того, алгоритмы обучались на рендерах помещений, фотографиях с нанесенными на них разноцветными надписями и других обучающих объектах.
Нейросети обучались в течение нескольких сотен и тысяч эпох (проходов по обучающей выборке), после чего их работу сравнивали с алгоритмами, обучавшимися на парах чистых изображений и изображений с шумом, а также с исходными изображениями. В качестве основной характеристики работы алгоритма авторы использовали пиковое отношение сигнала к шуму (PSNR), которое обычно применяют для оценки алгоритмов для подавления шума. В результате исследователям удалось подтвердить их гипотезу, согласно которой алгоритм можно обучить восстанавливать сигнал, не имея доступа к исходному изображению, с качеством, близким к алгоритмам, обучаемым на чистых изображениях без шума.
Помимо применения техники в фотографии, в частности в астрофотографии или съемке в темноте, разработчики также предложили применять ее для повышения качества снимков МРТ и продемонстрировали примеры работы алгоритма на таких снимках:
