CC BY
28
Моделирование дробового шума цветных подводных изображений
Д.А. Шепелев В.П. Божкова 1, Е.И. Ершов 1, Д.П. Николаев 1,3 1 Институт проблем передачи информации имени А.А. Харкевича РАН, 127051, Россия, г. Москва, Большой Каретный переулок, д. 19, стр. 1, 2 Московский физико-технический институт, 141701, Россия, г. Долгопрудный, Институтский переулок, д. 9, 3 ООО «Смарт Энджинс Сервис», 117312, Россия, г. Москва, проспект 60-летия Октября, д. 9
Аннотация
В работе рассматриваются методы имитации цветных подводных изображений на основе натуральных надводных. Имитация подводных изображений широко используется для разработки и тестирования методов улучшения подводных изображений. Большая группа существующих методов использует одну и ту же детерминированную модель преобразования изображения, игнорирующую наличие на изображениях шума. В работе демонстрируется, что это существенно сказывается на общем качестве имитации подводных изображений. Теоретически и численным моделированием показывается, что точность отношения сигнал/шум подводных изображений, имитированных с использованием детерминированного преобразования, падает с увеличением расстояния до объекта съемки. Для решения этой проблемы в работе предлагается новая модель преобразования изображения, которая учитывает наличие шума на изображении и при этом совместима со всеми методами моделирования из рассматриваемой группы. В работе приводятся результаты моделирования с использованием существующей и предложенной моделей, показывающие, что на больших расстояниях новые результаты лучше согласуются с реальными данными.
Ключевые слова: подводная фотография, имитационное моделирование подводных изображений, имитационное моделирование шума, цветовые искажения, улучшение подводных изображений, аугментация цветных изображений, синтез тестовых данных.
Цитирование: Шепелев, Д.А. Моделирование дробового шума цветных подводных изображений / Д.А. Шепелев, В.П. Божкова, Е.И. Ершов, Д.П. Николаев // Компьютерная оптика. -2020. - Т. 44, № 4. - С. 671-679. - DOI: 10.18287/2412-6179-CO-754.
Citation: Shepelev DA, Bozhkova VP, Ershov EI, Nikolaev DP. Simulating shot noise of color underwater images. Computer Optics 2020; 44(4): 671-679. DOI: 10.18287/2412-6179-CO-754.
Введение
В последнее время заметно возрос интерес к созданию алгоритмов анализа и улучшения подводных изображений [1 - 3]. Они требуются, например, при автоматическом обследовании подводных объектов [4], разработке систем предотвращения утопления [5], исследовании и визуализации подводных археологических артефактов [6 - 8], картировании подводного дна [9]. Массовый переход производителей смартфонов на стандарт 1Р68 [10] с повышенными требованиями к степени защиты электронных устройств от воды сделал алгоритмы улучшения подводных изображений востребованными и в вычислительной фотографии.
При разработке алгоритмов обработки изображений, в том числе подводных, требуются формальные критерии, оценивающие качество их результата. В задачах улучшения изображений эти формальные критерии иногда опираются на натурные психофизические эксперименты [11], но такой подход является слишком трудоемким при разработке нового метода, когда сравнение различных версий алгоритма требуется производить тысячи раз. Поэтому желательно, чтобы критерии качества были формально вычисли-
мы, тогда становится возможным автоматическое сравнение версий алгоритма.
Вычислимые критерии измеряются на том или ином фиксированном наборе изображений. В зависимости от методики оценивания качества такие наборы можно разделить на 3 типа: необработанные подводные изображения [12], подводные изображения с соответствующими вариантами их идеальной обработки [13], подводные изображения сцен с соответствующими референсными изображениями, снятыми в идеальной среде (на воздухе или в чистой воде [14]).
В первом случае метрика качества вычисляется без референсных изображений, поэтому полученная оценка качества может оказаться ненадежной. На рис. 1 приведен пример из работы [13], когда при сравнении двух алгоритмов метрики качества показали, что лучшим является один алгоритм, но при визуальном сравнении оказалось, что другой очевидно лучше.
Что касается второго типа данных, то референсные изображения в них были получены следующим образом. Каждое подводное изображение было обработано несколькими алгоритмами улучшения подводных изображений, а затем испытуемые среди множества обработанных изображений выбирали одно наилучшее, кото-
рое и становилось референсным изображением [13]. Несмотря на это ясно, что такая процедура отбора не гарантирует полное отсутствие цветовых искажений на референсных изображениях [13].
а)
г) тшлям^о) /ШПКааК е)
Рис. 1. Пример из работы [13], демонстрирующий, что существующие метрики оценки качества без референсных изображений являются ненадежными. а), б) - подводные изображения; б), д) - результат обработки а), г) первым алгоритмом; в),е) - результат обработки а), г) вторым алгоритмом. Значения метрик качества иС^Е/и^М:
б) 0,70/1,76; в) 0,61/1,47; д) 0,60/1,08; е) 0,57/0,93. Согласно метрикам качества результаты работы первого
алгоритма лучше, чем у второго, хотя при визуальном сравнении результаты второго оказываются очевидно лучше
Третий тип наборов изображений не обладает этими недостатками и потому находится в фокусе данной работы. Однако ясно, что непосредственный сбор таких данных представляется крайне затруднительным. Естественно, что при увеличении сложности сбора данных уменьшается как итоговый размер набора данных, так и его разнообразие. Например, стандартный набор для тестирования алгоритмов распознавания документов содержит 500 видеопоследовательностей [15], алгоритмов сегментации и цветовой константности в лабораторных условиях - 432 изображения [16], а улучшения подводных изображений - 82 изображения [14]. Поэтому в настоящий момент для получения набора изображений, снабженных идеальными вариантами обработки, широко используется имитационное моделирование на основе наземных изображений [2, 3, 17 -24]. Этот подход, иногда называемый аугментацией, широко применяется во многих задачах обработки и анализа изображений, включая не только улучшение подводных фотографий, но и распознавание образов [25, 26, 27], вычисление оптического потока [28], 3Б-реконструкцию [29] и т.д.
Точность моделирования при таком подходе очень важна. На рис. 2 изображены результаты работы алгоритма улучшения подводных изображений [2] на основе нейронной сети на имитациях подводных изображений и натуральных подводных изображениях [2, 30]. Нейронная сеть была обучена на парах надводных и подводных изображений, полученных в результате моделирования (см. рис. 2а - б). Рис. 2г - е демонстрируют, что обученный на имитациях алгоритм [2] скомпенсировал зеленоватый оттенок на натуральном подводном изображении, но в целом результаты его работы оказались неудовлетворительными [30].
е)\
Рж. 2. Результаты работы алгоритма улучшения подводных изображений на основе нейронной сети из работы [2] на имитациях [2] и натуральных данных [30]: а) идеальное надводное изображение; б) соответствующая имитация; в) результат работы алгоритма на имитации; г) идеальное надводное изображение; д) натуральное подводное изображение; е) результат работы алгоритма на натуральном подводном изображении
В работах [1 -3, 17 - 24] при моделировании используется следующая модель преобразования надводного изображения о (х) и соответствующей ему карты глубины р(х) в имитацию подводного изображения /(х):
/ (х) = t¡ (х) с (х) + Ь, (х), Ь (х) = ехр ( р( х)),
(1)
где i е {Я, О, Б} - индекс канала; х - координаты пикселя на изображении; I(х) - вектор пропускания; Ь (х) > 0 - дополнительная засветка от обратного рассеяния; р> 0 - вектор линейного ослабления. В работах [18, 24] при моделировании также учитывается компонента прямого рассеяния, но в работе [22] показано, что при моделировании ей можно пренебречь, что мы и делаем в данной работе. В работе [19] накладываются дополнительные ограничения на вектор ослабления, в [23] - и на компоненту обратного рассеяния.
В работах [1 - 3, 17 - 24] предполагается, что компонента рассеяния рассчитывается следующим образом:
Ь = Ы(1 - ехр(-а; р( х))),
(2)
где а - некоторый вектор ослабления, Ь ™ - цвет воды на бесконечности. В работах [2, 3, 17 -24] предполагается, что а = р, а в работе [1] предполагается, что а Ф р, при этом эти векторы определяются не только свойствами воды, но и свойствами камеры,
освещённости сцены, отражательными способностями объектов. Но все указанные ранее различия в методах [1 - 3, 17 - 24] не влияют на общий вид модели формирования подводного изображения (1).
При моделировании практически всех оптических типов воды значения р,- значительно отличаются в разных каналах. Это приводит к тому, что средние значения яркости в разных каналах подводного изображения также сильно различаются. А так как согласно модели дробового шума Яне [31] отношение сигнал / шум яркости изображения монотонно растёт вместе с его средним значением, то уровень шума в разных каналах подводного изображения будет также существенно различаться, чего не наблюдается на надводных изображениях. На рис. 3а, б, в представлены соответственно: надводное изображение цветовой мишени и его автоконтрастированные изображения зеленого и красного каналов в цветовом пространстве камеры. А на рис. 3г, д, е - подводное изображение той же цветовой мишени, снятой в бассейне, и его автоконтрастированные изображения зеленого и красного каналов в цветовом пространстве камеры. Из-за того, что ослабление света водной средой в длинноволновом диапазоне сильнее, чем в средневолновом диапазоне, уровень шума в красном канале (рис. 3е) больше, чем в зеленом (рис. 3д). При этом такого эффекта в надводных изображениях не наблюдается (см. рис 3б, в).
Рис. 3. Изображение цветовой мишени, снятой на воздухе и в воде: а) изображение цветовой мишени, снятой на воздухе; б) зеленый канал изображения а) в цветовом пространстве камеры; в) красный канал изображения а) в цветовом пространстве камеры; г) изображение цветовой мишени, снятой в воде; д) зеленый канал изображения г) в цветовом пространстве камеры; е) красный канал изображения г) в цветовом пространстве камеры
Использование имитаций подводных изображений с неадекватным уровнем шума может приводить к
ошибочным выводам при тестировании алгоритмов улучшения подводных изображений. Так, например, на реальных подводных изображениях отношение сигнал / шум в красном канале может быть значительно меньше, чем в среднем по каналам, из-за чего алгоритмы восстановления могут порождать заметные цветностные артефакты, как это показано на рис. 4г - ж. При этом данную проблему невозможно обнаружить при тестировании на данных, рассчитанных по модели (1) (см. рис. 4а - в).
Рис. 4. Результаты работы алгоритма улучшения подводных изображений из работы [23] на имитациях и натуральных данных: а) идеальное надводное изображение; б) соответствующая имитация; в) результат работы алгоритма на имитации; г) идеальное надводное изображение; д) натуральное подводное изображение; е) результат работы алгоритма на натуральном подводном изображении; ж) увеличенная часть изображения е)
Проблема состоит в том, что модель (1) не учитывает случайную природу сигнала с1 (х), фиксируя лишь преобразование его математического ожидания. Далее в работе метод имитации подводного изображения, который преобразует надводное изображение с (х) по формуле (1), будет называться детерминированным методом моделирования.
Используя модель дробового шума Яне [31], в работе [32] мы показали, что выборочная дисперсия шума имитаций подводных изображений, рассчитанных с помощью детерминированного метода (1), будет занижена. Это может привести к тому, что при тестировании алгоритма улучшения подводных изображений на имитациях выводы о качестве его работы
будут завышены. Используя указанную модель шума, мы предложили стохастический метод моделирования подводных изображений на основе наземных изображений, воспроизводящий ожидаемые параметры шума.
В данной работе мы подробнее исследуем предложенный метод моделирования. Мы показываем, что точность моделирования отношения сигнал / шум имитированных подводных изображений, полученных детерминированным методом (1), падает вместе с расстоянием до объекта съемки, при этом величина падения точности различна для каждого канала. В работе приведены результаты численных расчетов подводных изображений с помощью детерминированного и предложенного стохастического методов, которые демонстрируют, что предложенный метод на достаточных расстояниях точнее моделирует шум подводных изображений, чем базовый.
Модель дробового шума изображения Яне
Для описания шума отклика камеры представим модель Яне [31]. Здесь и далее для простоты записи индекс канала мы будем опускать. Согласно этой модели, выборочная дисперсия сигнала линейно зависит от его выборочного среднего о (х):
Б2( X ) = ( X ) +СТ2
(3)
где g - коэффициент усиления сигнала камеры; ст -стандартное отклонение нормально распределенных источников шумов в электронной схеме. Параметры g и ст для каждого канала предполагаются одинаковыми. Далее для краткости будем называть выборочные среднее и дисперсию просто средним и дисперсией соответственно.
В этой модели предполагается, что сигнал камеры c пропорционален числу электронов q, порожденных за время экспозиции:
° = gq.
(4)
При этом среднее число порожденных электронов д прямо пропорционально среднему числу падающих за время экспозиции фотонов ^ :
q = к г:
(5)
где к - квантовая эффективность сенсора. Из уравнений (4) и (5) следует, что среднее значение сигнала сенсора е прямо пропорционально среднему числу падающих на него за время экспозиции фотонов Т .
Изображение с шумом, дисперсия которого удовлетворяет выражению (3), может быть рассчитано как:
^ х) = c (х) + ^ (X).
(6)
где (х) - реализация случайной величины, распределенной согласно нормальному закону N(0, Б (х)), а Б (х) вычисляется согласно выражению (3). Резуль-
таты расчета имитации зашумленного изображения согласно выражению (6) с параметрами g = 0,003, ст = 0,03 представлены на рис. 5 б. Исходное изображение на рис. 5а использовалось как среднее значение отклика в каждом пикселе £ .
6)\
Рис. 5. Результаты расчетов имитации изображения с шумом согласно модели Яне; а) исходное изображение; б) результат моделирования зашумленного изображения
Далее рассмотрим, как модель Яне может быть учтена при моделировании подводных изображений согласно выражению (1).
Модель шума подводных изображений
Изменение среды на водную влияет на число долетающих до камеры фотонов. Согласно модели формирования (1) и выражениям (4), (5) в результате ослабления среднее количество фотонов, долетающих до сенсора в точке х, уменьшится в 1/1(х) раз, а из-за рассеяния в среднем на сенсор дополнительно падает [>ь (х) фотонов.
Тогда среднее число фотонов ^ (х), падающих на сенсор в точке х, рассчитывается как:
Pw (х) = t (х) Pc (х) + pь (х),
(7)
где pc (х) - среднее число фотонов, которое попало бы в сенсор в воздушной среде. Из выражений (4), (5) и (7) следует, что среднее значение сигнала камеры под водой w( х) может быть рассчитано как:
w( х) = t (х )с (х) + Ь( х),
(8)
где Ь(х) - среднее значение сигнала камеры, если бы за время экспозиции на неё попало pь (х) фотонов.
Подставляя выражение для среднего значения сигнала (8) в формулу (3), получим оценку дисперсии шума подводного изображения:
БКх) = gt(х)c(х) + gЬ(х) + ст2.
(9)
На рис. 6 представлен график зависимости отношения сигнал / шум = W / подводного изображения от расстояния для трех каналов. Среднее и дисперсия были рассчитаны согласно (8) и (9) соот-ветстве нно. Использованные значения: вектор ослабления р = (0,25 0,1 0,01)т; цвет воды на бесконечности Ь™ = (0,1 0,3 0,3)т; коэффициент усиления g = 0,003; стандартное отклонение ст = 0,03 среднее значение сигнала сенсора в воздушной среде ак = а0 = ав = а = 1 . Параметры моделирования подбирались вручную так, чтобы имитации визуально
соответствовали подводным изображениям, снятым в океанических водах. Для простоты расчетов мы, как в работах [2, 3, 17 - 24], полагали а = р.
ЯЖ 16
14 12 10 8 б 4
\
01 23456789 10 Расстояние до камеры, м
Рис. 6. График зависимости теоретической оценки
отношения сигнал/шум (БИЯ) подводного изображения
от расстояния для красного (красная линия), зеленого
(зеленая линия) и синего (синяя линия) каналов
Как видно из рис. 6, с увеличением расстояния отношение сигнал / шум подводного изображения уменьшается для всех каналов. Более того, для красного канала, который ослабевает сильнее всего, доля полезного сигнала в красном канале уменьшается намного сильнее, чем в синем и зеленом каналах. Таким образом, на имитациях подводных изображений отношение сигнал / шум в каждом канале должно уменьшаться с расстоянием по-разному, в зависимости от параметров ослабления воды.
Имитация подводного изображения, дисперсия которого удовлетворяет равенству (9), может быть рассчитана как:
w( х) = t (х) с (х) + Ь( х) +-Л,,, (х), (10)
где -л,,, (х) - реализация случайной величины, распределенной согласно нормальному закону N(0, (х)), а (х) вычисляется по формуле (9). Результаты расчета имитаций зашумленных подводных изображений на расстояниях 1, 3 и 7 метров согласно (10) представлены на рис. 7а - в. При расчете использовались те же параметры, что и для расчета кривых на рис. 6. В качестве среднего значения сигнала в каждом пикселе наземного изображения с (х) использовалось изображение, представленное на рис. 5 а. Реальная карта глубины надводного изображения нам неизвестна, но разумно предположить, что его перепад глубин по порядку соответствует сантиметрам и дециметрам. Для рассматриваемых значений глубин такими перепадами можно пренебречь, поэтому при расчетах мы полагали глубину на изображении постоянной.
Кроме того, проиллюстрируем результаты работы гипотетического алгоритма улучшения подводных изображений, который для каждого пикселя х входного подводного изображения w(х) идеально точно вычисляет параметры пропускания t(х) и рассеяния Ь( х), а затем восстанавливает наземное изображение следующим образом:
а (х) = х) - Ь( х))/ ((х).
(11)
Гипотетический алгоритм (11) в процессе улучшения не убирает цветовые артефакты, полученные в результате улучшения подводных изображений с шумом, хотя и идеально точно вычисляет параметры пропускания и рассеяния.
Результаты работы алгоритма (11) на имитациях подводных изображений, представленных на рис. 7а -в, изображены на рис. 7г - е соответственно. Из рис. 7г - е видно, что шум на улучшенных изображениях растет вместе с расстоянием, с которым уменьшается пропускание и растет рассеяние. В частности, из рис. 7е - ж видно, что на достаточных расстояниях в результате работы алгоритма (11) отчетливо проявляются цветностные артефакты, что хорошо соотносится с натуральными данными, представленными на рис. 2г - е и 4г - ж.
Далее покажем, что для подводных изображений, рассчитанных согласно (1), точность моделирования отношения сигнал / шум падает с увеличением расстояния до объекта съемки.
Рис. 7. Результаты расчета имитаций подводных изображений по формуле (10) и результаты их улучшения алгоритмом (11); а), б), в) имитации подводных изображений на расстояниях 1, 3 и 7 метров соответственно; г), д), е) результаты улучшения имитаций а), б), в) соответственно; ж) увеличенная часть изображения е)
Модель шума при детерминированном моделировании подводных изображений
Как мы уже отмечали ранее, при детерминированном моделировании по формуле (1) среднее значение отклика камеры в каждом пикселе в (х) неизвестно, а известны уже зашумленные значения с(х). Поэтому при расчетах по формуле (1) преобразуется_ изображение с шумом. Среднее значение отклика / (х), полученного в результате преобразования (1) надводного изображения с(х), будет равно Щх), а его дисперсия будет равна:
Б} (х) = t2 (х) Б2 (х) = t2 (х) (g ё (х)+ст2) = = gt2 (х) c(X) +12 (х)ст2
(12)
Дисперсия сигнала подводного изображения (12), полученного с помощью детерминированного метода (1), не совпадает с оценкой дисперсии (9), более того, она не превосходит её, так как t (х) < 1.
На рис. 8 представлены графики зависимости отношения сигнал / шум у = / / Б у отклика подводного изображения, рассчитанного детерминированным методом (1), от расстояния для красного, зеленого и синего каналов. Эти графики были получены при тех же параметрах, что и кривые на рис. 6.
34 32
30 28 26 24 22 20 18 16
У /
01234567 89 10 Расстояние до камеры, м
Рис. 8. График зависимости отношения сигнал/шум (БЫИ)
имитации подводного изображения, полученной
при детерминированном моделировании, от расстояния
для красного (красная линия), зеленого (зеленая линия)
и синего (синяя линия) каналов
Как видно из рис. 6 и 8, с увеличением расстояния отношение сигнал / шум 8МЯ/ увеличивается для всех каналов, что идет вразрез с теоретическими оценками Более того, оказывается, что в результате детерминированного моделирования в красном канале, который ослабевает сильнее всего, отношение сигнал / шум лучше, чем в синем и зеленом, хотя оно должно быть наихудшим.
На рис. 9 представлены результаты расчета имитаций подводных изображений на расстояниях 1, 3 и 7 метров согласно модели (1) и соответствующие результаты их улучшения алгоритмом (11). При моделировании использовались те же параметры и карты глубин, что и для расчета рис. 7. В качестве наземно-
го изображения с шумом с(х) использовалось изображение, представленное на рис. 5б.
Как видно из рис. 9г - ж, восстановленные изображения совпадают с оригинальным зашумленным наземным изображением, что противоречит результатам на рис. 7г - ж, полученным с помощью предложенной модели шума (9), и реальным данным других исследователей на рис. 2г - е и 4г - ж.
Приведенные рисунки демонстрируют, что подводные изображения, полученные с помощью детерминированного метода, недостаточно точно моделируют отношение сигнал / шум, что может приводить к неправильным выводам о качестве работы алгоритмов улучшения подводных изображений на этапе их тестирования / разработки.
Рис. 9. Результаты расчета имитаций подводных изображений детерминированным методом (1) и соответствующие результаты их улучшения алгоритмом (11); а), б), в) имитации подводных изображений на расстояниях 1, 3 и 7метров соответственно; г), д), е) результаты улучшения имитаций а), б), в) соответственно; ж) увеличенная часть изображения е)
Ранее в работах [20, 33] было предложено в модель (1) также добавлять гомоскедастичный шум, не зависящий от параметров моделирования. Но, как видно из предложенной модели дисперсии сигнала (9), добавочный шум должен быть гетероскедастич-ным, так как дисперсия шума зависит от среднего
значения сигнала в пикселе и от параметров моделирования (пропускания и рассеяния), которые, в свою очередь, зависят от расстояния до камеры. Далее в работе мы предлагаем способ оценки параметров шума, который необходимо добавить при расчете подводного изображения согласно модели (1).
Стохастический метод моделирования подводных изображений
Так как в результате детерминированного моделирования уровень шума на имитации подводного изображения оказывается заниженным, необходимо дополнительно добавлять шум на изображение. Мы предлагаем добавлять шум так, чтобы итоговая дисперсия стала равна теоретической оценке (8).
Мы предлагаем следующий стохастический метод моделирования, который вычисляет имитацию подводного изображения по наземному изображению с(х) как:
/е (х) = г(х)с(х) + Ь(х) + е(х),
(13)
где е(х) - реализация случайной величины, распределенной согласно нормальному закону с нулевым математическим ожиданием и среднеквадратичным отклонением равным:
3 (х) = .
(14)
В качестве оценки среднего значения С( х) в каждом пикселе, необходимого для вычисления х) и 82(х), предлагается использовать с(х). Из вышесказанного ясно, что среднее и дисперсия сигнала, рассчитанного по формулам (13) и (14), соответствуют теоретическим оценкам (8) и (9).
На рис. 10 представлены результаты расчета имитаций подводных изображений предлагаемым методом стохастического моделирования на расстояниях 1, 3 и 7 метров согласно выражениям (13), (14) и соответствующие результаты их улучшения алгоритмом (11). При моделировании использовались те же параметры и карты глубин, что и для расчета кривых на рис. 7. В качестве наземного зашумленного изображения с(х) использовалось изображение, представленное на рис. 56.
Как видно из рис. 10, результаты моделирования предлагаемым методом хорошо соотносятся с результатами моделирования по формуле (10) и реальными данными.
Заключение
В работе обсуждаются методы имитационного моделирования подводных изображений на основе надводных. С опорой на модель шума Яне в работе показано, что использование известных методов моделирования приводит к занижению дисперсии шума на имитациях подводных изображений. Использование таких имитаций при тестировании алгоритмов может
приводить к тому, что выводы о качестве работы алгоритма улучшения подводных изображений будут ошибочными. В работе предложен способ расчета целевых параметров шума и стохастический метод моделирования, который, в соответствии с целевыми параметрами, моделирует шум на подводных изображениях. С помощью численных экспериментов продемонстрировано, что результаты имитационного моделирования предложенного метода хорошо соотносятся с реальными данными, полученными другими исследователями.
Рис. 10. Результаты расчета имитаций подводных изображений предлагаемым методом стохастического моделирования (13), (14) и соответствующие результаты их улучшения алгоритмом (11); а), б), в) имитации подводных изображений на расстояниях 1, 3 и 7 метров соответственно; г), д), е) результаты улучшения имитаций а), б), в) соответственно; ж) увеличенная часть изображения е)
Рассмотренные методы моделирования шума могут быть использованы не только при имитации подводных изображений, но и для синтеза данных в контексте других задач обработки и анализа изображений, когда яркости пикселей натуральных изображений преобразуются некоторым детерминированным образом.
Благодарности
Исследование выполнено за счет гранта Российского научного фонда (проект №20-61-47089).
Литература
1. Akkaynak, D. Sea-thru: A method for removing water from underwater images / D. Akkaynak, T. Treibitz // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2019. - P. 1682-1691.
2. Anwar, S. Underwater scene prior inspired deep underwater image and video enhancement / S. Anwar, C. Li, F. Porikli // Pattern Recognition. - 2020. - Vol. 98. - 107038.
3. Li, J. WaterGAN: Unsupervised generative network to enable real-time color correction of monocular underwater images / J. Li, K.A. Skinner, R.M. Eustice, M. Johnson-Roberson // IEEE Robotics and Automation Letters. - 2017. - Vol. 3, Issue 1. - P. 387-394.
4. Foresti, G.L. Visual inspection of sea bottom structures by an autonomous underwater vehicle / G.L. Foresti // IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics). - 2001. - Vol. 31, Issue 5. - P. 691-705.
5. Lavest, J.-M. Multi-view reconstruction combining underwater and air sensors / J.-M. Lavest, F. Guichard, C. Rousseau // Proceedings of the International Conference on Image Processing. - 2002. - Vol. 3. - P. 813-816.
6. Kahanov, Y. Analysis of hull remains of the Dor D vessel, Tantura lagoon, Israel / Y. Kahanov, J.G. Royal // The International Journal of Nautical Archaeology. - 2001. -Vol. 30, Issue 2. - P. 257-265.
7. Mangeruga, M. Evaluation of underwater image enhancement algorithms under different environmental conditions / M. Mangeruga, M. Cozza, F. Bruno // Journal of Marine Science and Engineering. - 2018. - Vol. 6, Issue 1. - 10.
8. Skarlatos, D. Project iMARECULTURE: advanced VR, immersive serious games and augmented reality as tools to raise awareness and access to European underwater cultural heritage / D. Skarlatos, P. Agrafiotis, T. Balogh, F. Bruno, F. Castro, B.D. Petriaggi, S. Demesticha, A. Doulamis, P. Drap, A. Georgopoulos // Euro-Mediterranean Conference. - 2016. - P. 805-813.
9. Bryson, M. True color correction of autonomous underwater vehicle imagery / M. Bryson, M. Johnson-Roberson,
0. Pizarro, S.B. Williams // Journal of Field Robotics. -2016. - Vol. 33, Issue 6. - P. 853-874.
10. IEC 60529:1989. Degrees of protection provided by enclosures (IP Codes). - 2.2 edition. - Geneva: International Electrotechnical Commission, 2013.
11. Gracheva, M.A. Subjective assessment of the quality of static and video images from mobile phones / M.A. Gracheva, V.P. Bozhkova, A.A. Kazakova,
1.P. Nikolaev, G.I. Rozhkova // Twelfth International Conference on Machine Vision (ICMV 2019). - 2020. -Vol. 11433. - P. 737-745.
12. Berman, D. Diving into haze-lines: Color restoration of underwater images / D. Berman, T. Treibitz, S. Avidan // Proceedings of the British Machine Vision Conference (BMVC). - 2017. - Vol. 1, Issue 2. - P. 1-12.
13. Li, C. An underwater image enhancement benchmark dataset and beyond / C. Li, C. Guo, W. Ren, R. Cong, J. Hou, S. Kwong, D. Tao // IEEE Transactions on Image Processing. - 2020. - Vol. 29. - P. 4376-4389.
14. Duarte, A. A dataset to evaluate underwater image restoration methods / A. Duarte, F. Codevilla, J.O. Gaya, S.S.C. Botelho // OCEANS 2016 - Shanghai. - 2016. - P. 1-6.
15. Arlazarov, V.V. MIDV-500: A dataset for identity document analysis and recognition on mobile devices in video stream / V.V. Arlazarov, K.B. Bulatov, T.S. Chernov, V.L. Arlazarov // Computer Optics. - 2019. - Vol. 43(5). - P. 818-824. -DOI: 10.18287/2412-6179-2019-43-5-818-824.
16. Smagina, A. Multiple light source dataset for colour research / A. Smagina, E. Ershov, A. Grigoryev // Twelfth International Conference on Machine Vision (ICMV 2019). -2020. - Vol. 11433. - P. 635-642.
17. Boffety, M. Color image simulation for underwater optics / M. Boffety, F. Galland, A.-G. Allais // Applied Optics. -2012. - Vol. 51, Issue 23. - P. 5633-5642.
18. Chang, H. Single underwater image restoration based on depth estimation and transmission compensation / H. Chang, C. Cheng, C. Sung // IEEE Journal of Oceanic Engineering. - 2019. - Vol. 44, Issue 4. - P. 1130-1149.
19. Hu, Y. Underwater image restoration based on convolution-al neural network / Y. Hu, K. Wang, X. Zhao, H. Wang, Y. Li // Proceedings of the 10th Asian Conference on Machine Learning. - 2018. - Vol. 95. - P. 296-311.
20. Li, C.-Y. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior / C.-Y. Li, J.-C. Guo, R.-M. Cong, Y.-W. Pang, B. Wang // IEEE Transactions on Image Processing. - 2016. - Vol. 25, Issue 12. - P. 5664-5677.
21. Schechner, Y.Y. Clear underwater vision / Y.Y. Schechner, N. Karpel // Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2004). - 2004. - Vol. 1. - P. 536-543.
22. Schechner, Y.Y. Recovery of underwater visibility and structure by polarization analysis / Y.Y. Schechner, N. Karpel // IEEE Journal of Oceanic Engineering. - 2005.
- Vol. 30, Issue 3. - P. 570-587.
23. Zhao, X. Deriving inherent optical properties from background color and underwater image enhancement / X. Zhao, T. Jin, S. Qu // Ocean Engineering. - 2015. - Vol. 94. -P. 163-172.
24. Peng, Y.-T. Underwater image restoration based on image blurriness and light absorption / Y.-T. Peng, P.C. Cosman // IEEE Transactions on Image Processing. - 2017. - Vol. 26, Issue 4 - P. 1579-1594.
25. Николаев, Д.П. Синтез обучающей выборки в задаче распознавания текста в трехмерном пространстве / Д.П. Николаев, Д.В. Полевой, Н.А. Тарасова // Информационные технологии и вычислительные системы. -2014. - № 3. - С. 82-88.
26. Емельянов, С. О. Методы аугментации обучающих выборок в задачах классификации изображений / С.О. Емельянов, А.А. Иванова, Е.А. Швец, Д.П. Николаев // Сенсорные системы. - 2018. - Т. 32, № 3. - С. 236-245.
27. Chernyshova, Y.S. Generation method of synthetic training data for mobile OCR system / Y.S. Chernyshova, A.V. Gayer, A.V. Sheshkus // Proceedings of SPIE. - 2018.
- Vol. 10696. - 106962G.
28. Butler, D.J. A naturalistic open source movie for optical flow evaluation / D.J. Butler, J. Wulff, G.B. Stanley, M.J. Black // European Conference on Computer Vision (ECCV). - 2012. - Part IV. - P. 611-625.
29. Bielova, O. A digital image processing pipeline for modelling of realistic noise in synthetic images / O. Bielova, R. Hansch, A. Ley, O. Hellwich // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - 2019. - P. 2905-2914.
30. Anwar, S. Diving deeper into underwater image enhancement: A survey [Electronical Resource] / S. Anwar, C. Li. -arXiv preprint arXiv: 1907.07863. - 2019. - URL: https://arxiv.org/abs/1907.07863 (request date 10.07.2019).
31. Jahne, B. Digital image processing / B. Jahne. - Berlin: Springer-Verlag, 2005. - 607 p.
32. Шепелев, Д.А. О проблеме моделирования подводных изображений на основе надводных / Д.А. Шепелев, В.П. Божкова, Е.И. Ершов, Д.П. Николаев // Сборник трудов ИТНТ-2020. - 2020. - (принято, в печати).
33. Sarafraz, A. Performance assessment in solving the correspondence problem in underwater stereo imagery / A. Sarafraz, S. Negahdaripour, Y.Y. Schechner // OCEANS 2010 MTS/IEEE Seattle. - 2010. - P. 1-7.
Сведения об авторах
Шепелев Денис Александрович, 1992 года рождения, в 2016 году окончил Московский физико-технический институт. С 2015 года работает в Лаборатории зрительных систем Института проблем передачи информации им. А.А. Харкевича РАН. Область научных интересов: компьютерное зрение, обработка изображений и робототехника. E-mail: [email protected] .
Божкова Валентина Петровна, 1943 года рождения, доктор биологических наук. С 1975 года работает в Институте проблем передачи информации РАН. Область научных интересов: моделирование биологических процессов и цветовое зрение. E-mail: [email protected] .
Ершов Егор Иванович, 1990 года рождения, кандидат физико-математических наук, сотрудник Лаборатории зрительных систем Института проблем передачи информации РАН. Окончил МФТИ в 2014 году. Область научных интересов: цветное компьютерное зрения, быстрое преобразование Хафа и Радона, визуальная одометрия. E-mail: [email protected].
Николаев Дмитрий Петрович, 1978 года рождения, кандидат физико-математических наук, заведующий Лабораторией зрительных систем Института проблем передачи информации РАН. Окончил МГУ в 2000 году. Научные интересы: машинное зрение, алгоритмы быстрой обработки изображений, распознаваний_
ГРНТИ: 28.17.33
Поступила в редакцию 20 мая 2020 г. Окончательный вариант - 17 июля 2020 г.
Simulating shot noise of color underwater images
D.A. Shepelev 12, V.P. Bozhkova 1, E.I. Ershov 1, D.P. Nikolaev 13 1 Institute for Information Transmission Problems, RAS, 127051, Moscow, Russia, Bolshoy Karetnyper. 19, build. 1, 2 Moscow Institute of Physics and Technology, 141701, Dolgoprudny, Russia, Institutskiy per. 9, 3LLC "SmartEngines Service", 117312, Moscow, Russia, Prospect 60-Letiya Oktyabrya 9
Abstract
This paper considers methods for simulating color underwater images based on real terrestrial images. Underwater image simulation is widely used for developing and testing methods for improving underwater images. A large group of existing methods uses the same deterministic image transformation model ignoring the presence of noise in images. The paper demonstrates that this significantly affects the overall quality of underwater images simulation. It is shown both theoretically and numerically that the accuracy of the signal-to-noise ratio of underwater images simulated using a deterministic transformation decreases with increasing distance to the object. To solve this problem, a new model of image transformation for simulating underwater images based on terrestrial images is proposed, which considers the presence of noise in the image and is compatible with all simulating methods from the group under consideration. The paper presents the results of the simulation based on the existing and proposed models, showing that at long distances, the new results are better consistent with real data.
Keywords: underwater imaging, simulation of underwater images, noise simulation, color distortions, underwater image enhancement, color image augmentation, generating ground truth.
Citation: Shepelev DA, Bozhkova VP, Ershov EI, Nikolaev DP. Simulating shot noise of color underwater images. Computer Optics 2020; 44(4): 671-679. DOI: 10.18287/2412-6179-C0-754.
Acknowledgements: This work was carried out with a grant from the Russian Science Foundation (Project No.20-61-47089).
References
[1] Akkaynak D, Treibitz T. Sea-thru: A method for removing water from underwater images. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2019: 1682-1691.
[2] Anwar S, Li C, Porikli F. Underwater scene prior inspired deep underwater image and video enhancement. Pattern Recognit 2020; 98: 107038.
[3] Li J, Skinner KA, Eustice RM, Johnson-Roberson M. WaterGAN: Unsupervised generative network to enable realtime color correction of monocular underwater images. IEEE Robot Autom Lett 2017; 3(1): 387-394.
[4] Foresti GL. Visual inspection of sea bottom structures by an autonomous underwater vehicle. IEEE Trans Syst Man Cybern B Cybern 2001; 31(5): 691-705.
[5] Lavest JM, Guichard F, Rousseau C. Multi-view reconstruction combining underwater and air sensors. International Conference on Image Processing 2002; 3: 813-816.
[6] Kahanov Y, Royal JG, Analysis of hull remains of the Dor D vessel, Tantura lagoon, Israel. Int J Naut Archaeol 2001; 30(2): 257-265.
[7] Mangeruga M, Cozza M, Bruno F. Evaluation of underwater image enhancement algorithms under different environmental conditions. J Mar Sci Eng 2018; 6(1): 10.
[8] Skarlatos D, Agrafiotis P, Balogh T, Bruno F, Castro F, Pe-triaggi BD, Demesticha S, Doulamis A, Drap P, Georgopou-los A. Project iMARECULTURE: advanced VR, immersive serious games and augmented reality as tools to raise awareness and access to European underwater cultural heritage. Euro-Mediterranean Conference 2016: 805-813.
[9] Bryson M, Johnson-Roberson M, Pizarro O, Williams SB. True color correction of autonomous underwater vehicle imagery. J Field Robot 2016; 33(6): 853-874.
[10] IEC 60529:1989. Degrees of Protection Provided by Enclosures (IP Codes). 2.2 edition. Geneva: International Electrotechnical Commission; 2013.
[11] Gracheva MA, Bozhkova VP, Kazakova AA, Nikolaev IP, Rozhkova GI. Subjective assessment of the quality of static and video images from mobile phones. Twelfth Int Conf on Machine Vis (ICMV 2019) 2020; 11433: 737-745.
[12] Berman D, Treibitz T, Avidan S. Diving into haze-lines: Color restoration of underwater images. Proc British Machine Vis Conf (BMVC) 2017; 1(2); 1-12.
[13] Li C, Guo C, Ren W, Cong R, Hou J, Kwong S, Tao D. An underwater image enhancement benchmark dataset and beyond. IEEE Trans Image Process 2020; 29: 4376-4389.
[14] Duarte A, Codevilla F, Gaya JO, Botelho SSC. A dataset to evaluate underwater image restoration methods. OCEANS 2016: 1-6.
[15] Arlazarov VV, Bulatov KB, Chernov TS, Arlazarov VL. MIDV-500: A dataset for identity document analysis and recognition on mobile devices in video stream. Computer Optics 2019; 43(5): 818-824. DOI: 10.18287/2412-61792019-43-5-818-824.
[16] Smagina A, Ershov E, Grigoryev A. Multiple light source dataset for colour research. Twelfth Int Conf on Machine Vis (ICMV 2019) 2020; 11433: 635-642.
[17] Boffety M, Galland F, Allais AG. Color image simulation for underwater optics. Appl Opt 2012; 51(23): 5633-5642.
[18] Chang H, Cheng C, Sung C. Single underwater image restoration based on depth estimation and transmission compensation. IEEE J Ocean Eng 2019; 44(4): 1130-1149.
[19] Hu Y, Wang K, Zhao X, Wang H, Li Y. Underwater image restoration based on convolutional neural network. Proc 10th Asian Conf on Machine Learn 2018; 95: 296-311.
[20] Li C-Y, Guo J-C, Cong R-M, Pang Y-W, Wang B. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior. IEEE Trans Image Process 2016; 25(12): 5664-5677.
[21] Schechner YY, Karpel N. Clear underwater vision. Proc CVPR 2004; 1: 536-543.
[22] Schechner YY, Karpel N. Recovery of underwater visibility and structure by polarization analysis. IEEE J Ocean Eng 2005; 30(3): 570-587.
[23] Zhao X, Jin T, Qu S. Deriving inherent optical properties from background color and underwater image enhancement. Ocean Eng 2015; 94: 163-172.
[24] Peng Y-T, Cosman PC. Underwater image restoration based on image blurriness and light absorption. IEEE Trans Image Process 2017; 26(4): 1579-1594.
[25] Nikolaev DP, Polevoy DV, Tarasova NA. Training data synthesis in text recognition problem solved in three-dimensional space [In Russian]. ITiVS 2014; 3: 82-88.
[26] Emelyanov SO, Ivanova AA, Shvets EA, Nikolaev DP. Methods of training data augmentation in the task of image classification [In Russian]. Sensory Systems 2018; 32(3): 236-245.
[27] Chernyshova YS, Gayer AV, Sheshkus AV. Generation method of synthetic training data for mobile OCR system. Proc SPIE 2018; 10696: 106962G.
[28] Butler DJ, Wulff J, Stanley GB, Black MJ. A naturalistic open source movie for optical flow evaluation. European Conf on Comp Vis (ECCV) 2012; IV: 611-625.
[29] Bielova O, Hänsch R, Ley A, Hellwich O. A digital image processing pipeline for modelling of realistic noise in synthetic images. Proc CVPRW 2019: 2905-2914.
[30] Anwar S, Li C. Diving deeper into underwater image enhancement: A survey. Source: (https://arxiv.org/abs/1907.07863).
[31] Jahne B. Digital image processing. Berlin: SpringerVerlag; 2005.
[32] Shepelev DA, Bozhkova VP, Ershov EI, Nikolaev DP. The problem of underwater images modeling based onter-restrial ones [In Russian]. Proceedings of the VI International Conference on Information Technology and Nano-technology (ITNT-2020). 2020: In Print.
[33] Sarafraz A, Negahdaripour S, Schechner YY. Performance assessment in solving the correspondence problem in underwater stereo imagery. OCEANS 2010 MTS/IEEE Seattle 2010: 1-7.
Authors' information
Denis Alexandrovich Shepelev (b. 1992) obtained his master's degree in 2016 from Moscow Institute of Physics and Technology. Since 2015 he works as a researcher in Vision Systems Lab at the Institute for Information Transmission Problems RAS. Research interests: computer vision and robotics. E-mail: [email protected] .
Valentina Petrovna Bozhkova (b. 1943), Doctor of Sciences (in biology). She works at the Institute for Information Transmission Problems RAS since 1975. Research interests: biological processes modeling and color vision. Email: [email protected] .
Egor Ivanovich Ershov (b. 1990), Ph.D. in Physics and Mathematics. He is working in Vision Systems Lab at the Institute for Information Transmission Problems RAS since 2014. Graduated from Moscow Institute of Physics and Technology in 2014. Research interests: color computer vision, fast Hough and Radon transforms, visual odome-try. E-mail: [email protected].
Dmitry Petrovich Nikolaev (b. 1978), Ph.D. in Physics and Mathematics, a head of Vision Systems Lab at the Institute for Information Transmission Problems RAS. Graduated from Moscow State University in 2000. Research interests are machine vision, algorithms for fast image processing, pattern recognition. E-mail: [email protected] .
Received May 20, 2020. The final version - July 17, 2020.
