CC BY
33Научно-образовательный журнал для студентов и преподавателей «StudNet» №3/2021
ОБЗОР АЛГОРИТМОВ УДАЛЕНИЯ ТУМАНА ДЛЯ ИСПОЛЬЗОВАНИЯ В СИСТЕМЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ МОБИЛЬНОГО РОБОТА
OVERVIEW OF MIST REMOVAL ALGORITHMS FOR USE IN THE TECHNICAL VISION SYSTEM OF A MOBILE ROBOT
УДК 007.52
Абакумов Дмитрий Александрович, магистрант, Московский государственный технический университет им. Н.Э.Баумана, г.Москва Синицын Алексей Витальевич, доцент, Московский государственный технический университет им. Н.Э.Баумана, г.Москва
Abakumov D.A. 11magican11@mail.ru Sinitsyn A.V. kutta@mail.ru
Аннотация
В предлагаемой публикации рассмотрены алгоритмы, используемые для удаления тумана с изображения для улучшения видимости. Такая задача является актуальной при использовании систем технического зрения в составе мобильного робота, так как мобильный робот может работать в самых сложных условиях окружающей среды. Выполнено сравнение рассмотренных алгоритмов с точки зрения из применимости в системе технического зрения мобильного робота.
Annotation
The proposed publication discusses algorithms used to remove mist from an image to improve visibility. This task is relevant when using vision systems as part of a mobile robot, since a mobile robot should work in the most difficult environmental
conditions. The considered algorithms are compared from the point of view of their applicability in the technical vision system of a mobile robot.
Ключевые слова: мобильный робот, система технического зрения, обработка изображений, улучшение изображений
Keywords: mobile robot, vision system, image processing, image enhancement
В современном мире мобильные роботы имеют широкое распространение. Часть из них применяются для мирных целей (сельское хозяйство, погрузочные работы, строительство, службы доставки), другие для военных (например, разведка). Использование роботов позволило облегчить многие виды работы, а также автоматизировать их.
Большинство мобильных роботов оснащены системой технического зрения (СТЗ). СТЗ необходима роботу для получения информации об обстановке вокруг него самого. Роботу нужны собранные данные об окружающем пространстве для навигации, поиска предметов, их детектирования и идентификации, определения местоположения и ориентации объектов, передачи изображения оператору. Сами же СТЗ могут быть телевизионными, лазерными, радиоэлектронными и другими.
В ряде случаев роботы вынуждены работать в условиях запыленности, тумана и дыма. Например, туман может стать помехой для роботов роботов-охранников, которые патрулируют территорию в различное время суток. Роботам пожарным необходимо видеть сквозь дым для осуществления поставленной задачи. Роботы военного назначения должны работать при любых погодных условиях, включая сильную запыленность.
Таким образом, одной из актуальных задач обработки изображения, полученного с СТЗ мобильного робота, является задача удаления тумана.
Чтобы улучшить качество изображения, полученного в плохих погодных условиях, существуют алгоритмы, которые могут удалить туман или дымку из картинки (алгоритмы антитумана).
В настоящее время активно ведутся разработки в данной области и существуют несколько подходов по удалению тумана из изображения. При этом многие методы не могут работать в динамически меняющейся среде. Рассмотрим общую идею метода удаления тумана по одному изображению. В 1976 году McCartney предложил модель атмосферного рассеивания [1], которая легла в основу описания затуманенного изображения. Оно описывается следующими формулами:
/(х) = J(x) * t(x) + А( 1 - t(x)) (1)
t(x) = e-^d(x) (2)
где x - позиция пикселя внутри картинки, I - затуманенное изображение, J -чистое (незатуманенное) изображение, A - атмосферный свет, t - коэффициент передачи среды, ß - коэффициент рассеивания атмосферы, d - глубина сцены. Как видно из формулы, для восстановления изображения J необходимо найти параметры A и t. Дальнейший подход к их поиску различен у каждого метода. Рассмотрим некоторые из них.
Метод тёмного канала В незатуманенном (очищенном) изображении в не небесных областях значения яркости пикселей могут быть очень небольшими в одном из цветовых каналов, то есть будут иметь тёмный оттенок. Причинами низкой интенсивности являются: тени предметов, наличие высокого параметра цвета только по одному каналу и объекты с тёмной окраской [2]. Таким образом, можно записать следующее выражение:
jdark(x)= min ( min (Jc(y))]^ 0 (3)
с 6 [r,g,b}\y 6 ß(x)v V
Научно-образовательный журнал для студентов и преподавателей №3/2021
При выполнении формулы (3) мы получим значения тёмных пикселей в каждой области. То есть перейдём к тёмному цветовому каналу. Для нахождения коэффициента передачи t возьмём минимум в локальной области для затуманенного изображения в формуле (1) и получим:
тт( тт ^ ( —(г-)) = * тт ( тт ^ )) + (1 — ?(Х)) (5)
с уел(хм
с у 6 .Л(х) \
(6)
где ш = 0.95 - коэффициент добавляющий естественность изображению; ?(х) -коэффициент передачи в областях.
Благодаря тому, что мы знаем значения ?(х) в каждой области, можно составить её карту распределения. Но она, как правило, имеет блочные артефакты из-за применения операции минимума. Воспользуемся фильтром, чтобы восстановить карту. В итоге получаем вот такой результат (рис. 3.):
Рис. 3. Результат при подходе тёмного канала
Где (рис. 3а) - затуманенное изображение, (рис. 3Ь) - карта коэффициента пропускания среды, (рис. 3о) - восстановленная карта, (рис. 3d) - очищенное изображение.
Перед тем, как найти атмосферный свет, выведем из формулы (1) восстановленное изображение:
Научно-образовательный журнал для студентов и преподавателей №3/2021
/(х) — А Кх) =——Т + Л
(7)
где ограничиваем передачу ^х) нижней границей = 0.1, которая означает, что небольшое количество тумана сохраняется в плотных областях тумана. Это придаст изображению естественный вид.
Для получения атмосферного света перейдём к тёмному каналу изображения. Из всех пикселей возьмём 0.1% самых ярких [3]. И отсюда сможем найти недостающее значение. Отметим, что это могут быть не самые яркие пиксели на исходном изображении. Так по ошибке мы можем взять за атмосферный свет белый цвет машины, что является некорректным. Но мы можем избежать этого благодаря взятию минимума при переходе к тёмному каналу (рис. 4).
Преимущества и недостатки метода:
+ +
Простой способ удаления тумана;
Не использует сложные математические операции;
Большое время работы;
Плохо работает при неоднородном тумане;
Плохо убирает туман в небесной области;
Есть вероятность неправильного определения атмосферного света;
Рис. 4. Атмосферный свет для тёмного канала
Метод цветового изображения Если детально рассмотреть формулу (1), то можно заметить, что все параметры зависят от коэффициента передачи. А сам коэффициент передачи зависит от глубины сцены, то есть от расстояния от объектива до объекта [4]. В связи с данным предположением, были поставлены опыты и выявлена взаимосвязь между насыщением, яркостью и количеством тумана. Для доказательства сказанного приведём пример (рис. 5.).
м «II
Рис. 5. Взаимосвязь между насыщением и яркостью
Отсюда можно сделать вывод, что чем больше глубина сцены, тем больше отражённых лучей рассеивается и тем больше лишнего света преломится и попадёт в камеру. Тем самым получается ослабления цвета с увеличением расстояния.
В ходе экспериментов была получена линейная модель для определения глубины сцены:
d(x) = в0 + e1v(x) + 62s(x) + е(х) (8)
где x-положение внутри изображения, d - глубина сцены, v - составляющая яркости туманного изображения, s - составляющая насыщенности, в0 = 0.121779, 01 = 0.959710, в2 = -0.780245. - линейные коэффициенты, полученные при помощи нейросети, s(x) - случайная величина,
представляющая случайную ошибку модели. В результате коэффициент ошибки получился маленьким, и им можно пренебречь.
(■:) 00
Рис. 6. Карта глубины сцены Основываясь, на формуле (8) можно получить карту глубины сцены (рис. 6.). На рис. 6а - затуманенное изображение. Рис. 6Ь - показывает глубину сцены. Можно заметить, что расстояние до птицы на рисунке определено неправильно. Для этого аналогично методу тёмного канала возьмём минимум в области и затем применим фильтр для восстановления карты. На рис. 6ё. можно увидеть результат. Если в формуле (1) принять й(х) ^ го, то получим 1(х) = А. Выбирая 0.1% самых ярких пикселей, получаем атмосферный свет. Коэффициент рассеивания берут р = 1, получив его эмпирическим путём. Преимущества и недостатки метода:
+ Позволяет получать достаточно точное значение глубины сцены при помощи линейной модели, что позволяет его использовать для других задач;
+ Использует несложные математические формулы; + Достаточно быстрое выполнение;
+ Хорошие показатели качества очищенного изображения; + Использование нейронной сети для настройки коэффициентов; - Плохо работает при неоднородном тумане;
Метод среднего насыщения
У предыдущих методов есть один общий недостаток. Они не могут хорошо удалять неоднородный туман. Поэтому был придуман новый принцип, решающую данную проблему, который называется метод среднего насыщения. Чтобы удалить неоднородный туман, нужно найти его плотность распределения [5]. После ряда экспериментов была получена следующая формула:
Б(х,у) = у11'(х,у) + Г2^1(х,у) + Уз10(х, у) + у4 (9)
где Б(х,у) это карта распределения плотности тумана, у1, у2, у3 - неизвестные линейные коэффициенты. у4- коэффициент ошибки; I'- яркость, VI -текстурная детализация, 1° - насыщение.
Аналогично предыдущему методу при помощи натренированной нейросети были получены следующие коэффициенты: у1 = 0.9313, у2 = 0.1111, у3 = -1.4634, у4 = -0.0213. Как видно, ошибкой можно пренебречь. Полученный результат можно увидеть на рис. 9.
Рис. 9. Распределение плотности тумана Таким образом, мы получили точную карту плотности тумана. Но это ведёт к большим вычислительным мощностям, требуемые для расчёта коэффициента рассеивания. Поэтому необходимо применить фильтрацию для уменьшения
точности выделения плотности. В итоге, получим карту, показанную на рис.
Если проанализировать полученный результат, то можно выделить области с
различной плотностью тумана. Для этого воспользуемся кластеризацией:
к
т^ ^ \\Dref(x,y)-yi\\2 (10)
arg min
п
i=l (x,y)en(i)
где k - это число кластеров, ü(i) - это i-ый кластер и ^ это центр кластера. После рядов экспериментов было выявлено, что оптимальное количество кластеров k = 3. Как и в предыдущих методах, нам понадобится найти атмосферный свет. Для этого оценим при помощи весовой функции вероятность нахождения данного параметра в определённом кластере. Формула весовой функции:
щ = eßi - ¿щЪ^у) + еМ (12)
где res - разрешение туманного изображения; - плотность тумана; | | -число пикселей;
После этого выбирается кластер с лучшим значением весовой функции. Берутся 0.1% самых светлых пикселей, являющихся атмосферным светом. Для нахождения восстановленного изображения разобьём значение очищенного пикселя на:
J(x,y) = А* р(х,у) (13)
где р(х, у) - альбедо сцены, которая находится:
1(х,у)-А+А* е-^(1)а(х'У) р(х,у) = max(mm(-А - e-ß(i)d(X>y)-, 1) (14)
Глубина сцены d определяется аналогично предыдущему подходу, а коэффициент рассеивания находится по формуле:
Научно-образовательный журнал для студентов и преподавателей «StudNet» №3/2021
P(Q = argmm\\<;(f((](Q))-0.106
(15)
где £(.) - это среднее значение насыщения вычислительной функции. Преимущества и недостатки метода:
+ Позволяет получать достаточно точное значение глубины сцены при помощи линейной модели, что позволяет его использовать для других задач;
+ Достаточно быстрое выполнение метода; + Отличные показатели качества очищенного изображения; + Работает при неоднородном тумане;
+ Использование нейронной сети для настройки коэффициентов;
Использует сложные математические вычисления;
2
Сравнение подходов
Существуют следующие критерии оценки очищенного изображения от тумана: число краёв очищенного изображения относительно затуманенного изображения (e), число пикселей, являющихся полностью тёмными или светлыми (а), значение контрастности восстановленного изображения (г), отношение контраста к шуму (CNR) [6]. Чем больше значения параметра, тем лучше показатели, кроме критерия а. Для него, чем меньше, тем лучше.
Таблица 1. Время, требуемое для выполнения метода в секундах
Подход Размер изображения
845х496 768х497 629х420 400х600 512х460 512х384
Тёмного канала 207.00 189.80 171.45 122.20 119.76 99.30
Цветового ослабления 3.30 3.10 2.47 2.44 2.72 2.21
Среднего насыщения 4.85 3.63 2.14 1.90 1.75 1.60
Таблица 2. Показатели качества методов
Подход Критерии качества
е о г СЖ
Среднего насыщения 0.092432 0 1.158967 54.416685
Цветового ослабления 0.124203 0.000515 1.164786 54.590007
Тёмного канала 0.077155 2.815657 1.321442 74.062826
Анализируя полученные результаты, можно понять, что каждый способ имеет свои преимущества и недостатки. То есть не существует одного лучшего подхода. На данный момент ведутся работы по созданию метода, который сочетал бы простоту, быстродействие и качество. Так же возможна разработка новых принципов выделения тумана, которые несли бы дополнительную информацию об изображении.
Исходя из вышеизложенного, для использования в СТЗ мобильного робота наиболее подходит метод цветового ослабления. Данный подход имеет оптимальные показатели качества очищенного изображения и быстродействия, при этом не требует больших вычислительных мощностей, как у метода среднего насыщения.
Литература
1. Э. Мак-Картни. Оптика атмосферы : Рассеяние света молекулами и частицами // Пер. с англ. под ред. К. С. Шифрина. - М. : Мир, 1979.
2. He, Kaiming, Jian Sun, and Xiaoou Tang, "Single Image Haze Removal Using Dark Channel Prior.", IEEE transactions on pattern analysis and machine intelligence, Volume 33, Number 12, 2011, pp. 2341-2353.
3. R. T. Tan, "Visibility in bad weather from a single image," 2008 IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, USA, 2008, pp. 1-8.
4. Zhu, Qingsong, Jiaming Mai, and Ling Shao. "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior.", IEEE Transactions on Image Processing, Volume 24, Number 11, 2015, pp. 3522-3533.
5. Zhenfei Gu, Mingye Ju, and Dengyin Zhang, "A Single Image De-Hazing Method Using Average Saturation Prior," Mathematical Problems in Engineering, Volume 2017, 2017, pp. 1-17.
6. Hautire, N. and Tarel, J.-P. and Aubert, D. and Dumont E., "Blind Contrast Enhancement Assessment by Gradient Ratioingat Visible Edges.", Image Analysis \& Stereology Journal, Volume 27, Number 2, 2008, pp. 87-95.
Literature
1. E. McCartney. Atmospheric Optics: Light Scattering by Molecules and Particles // Transl. from English ed. K. S. Shifrin. - M. : Mir, 1979.
2. He, Kaiming, Jian Sun, and Xiaoou Tang, "Single Image Haze Removal Using Dark Channel Prior.", IEEE transactions on pattern analysis and machine intelligence, Volume 33, Number 12, 2011, pp. 2341-2353.
3. R. T. Tan, "Visibility in bad weather from a single image," 2008 IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, USA, 2008, pp. 1-8.
4. Zhu, Qingsong, Jiaming Mai, and Ling Shao. "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior.", IEEE Transactions on Image Processing, Volume 24, Number 11, 2015, pp. 3522-3533.
5. Zhenfei Gu, Mingye Ju, and Dengyin Zhang, "A Single Image De-Hazing Method Using Average Saturation Prior," Mathematical Problems in Engineering, Volume 2017, 2017, pp. 1-17.
6. Hautire, N. and Tarel, J.-P. and Aubert, D. and Dumont E., "Blind Contrast Enhancement Assessment by Gradient Ratioingat Visible Edges.", Image Analysis \& Stereology Journal, Volume 27, Number 2, 2008, pp. 87-95.
