ОБЗОР ПОДХОДОВ ПО УСТРАНЕНИЮ ВЛИЯНИЯ ШУМОВ И ЭФФЕКТА СМАЗЫВАНИЯ НА ИЗОБРАЖЕНИИ ДЛЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ МОБИЛЬНЫХ РОБОТОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

Научно-образовательный журнал для студентов и преподавателей «StudNet» №3/2022

Научная статья Original article УДК 007.52

ОБЗОР ПОДХОДОВ ПО УСТРАНЕНИЮ ВЛИЯНИЯ ШУМОВ И ЭФФЕКТА СМАЗЫВАНИЯ НА ИЗОБРАЖЕНИИ ДЛЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ МОБИЛЬНЫХ РОБОТОВ

OVERVIEW OF METHODS FOR NOISES AND MOTION BLUR REMOVING IN AN IMAGE FOR THE TECHNICAL VISION SYSTEM OF MOBILE

ROBOTS

Абакумов Дмитрий Александрович, магистрант, Московский государственный технический университет им. Н.Э. Баумана, г. Москва Синицын Алексей Витальевич, доцент, Московский государственный технический университет им. Н.Э.Баумана, г.Москва

ЛЬякишоу Б.Л. 11magican11@mail.ru 8тИ;8уп Л.У. sinitsynav@bmstu.ru

Аннотация

В предлагаемой публикации рассмотрены шумы и эффект смазывания на изображении, а также способы их устранения. Такая задача является актуальной при использовании систем технического зрения в составе мобильных роботов, так как они могут работать в условиях различных внешних помех. Приведены преимущества и недостатки каждого метода с точки зрения их применения в системе технического зрения мобильного робота.

1784

Annotation

The proposed publication discusses noises and motion blur in an image and the methods how to remove them. This task is relevant when using technical vision systems as part of a mobile robot, since they can work in the conditions with external noises. Advantages and disadvantages of every approach are provided from the point of view of their applicability in the technical vision system of a mobile robot.

Ключевые слова: мобильный робот, система технического зрения, эффект смазывания, шумы на изображении

Keywords: mobile robot, vision system, motion blur, noises in an image

Введение

Робототехника является прогрессивно развивающейся отраслью науки на сегодняшний день. Появление возможности заменить людей в некоторых видах работы, чтобы убрать фактор человеческой ошибки и уменьшить количество жертв, стало причиной такой популярности. Например, эксплуатация роботизированных манипуляторов позволило увеличить количество выпускаемой продукции благодаря высокой точности и быстродействию. Также использование мобильных роботов для патрулирования территория предприятия, чтобы обнаружить преступников. Применение разведывательных военных роботов для сбора информации об окружающей обстановке.

В свою очередь в мобильных роботах часто используют различные датчики и камеры для выполнения своих задач. На данный момент используют лидары, цифровые камеры или их комбинацию. Лазерные лидары дают точные параметры нахождения объектов, но по ним достаточно сложно определить, что они из себя представляют. Более того, они не предоставляют достаточно информации об окружающем пространстве, особенно, если требуется работа оператора с ней или получение изображения. Данную проблему решают цифровые камеры. При помощи них можно получить картину окружающего пространства. Само изображение несёт в себе много информации, а,

1785

следовательно, её можно проанализировать. Целью обработки одной или двух картинок являются: распознавания объектов, склеивания панорамы, определение контрольных точек для подачи команд управления и другие.

В свою очередь на камеры могут действовать различные помехи, которые влияют на выходное изображение, а также при резком движении появляется эффект смазывания. Всё это может привести к сбою или невозможности работы алгоритмов систем технического зрения, а также на само качество. Таким образом, темой данной статьи является "Обзор подходов по устранению влияния шумов и эффекта смазывания на изображении для систем технического зрения мобильных роботов".

В данной статье будут рассмотрены следующие виды помех, а также способы борьбы с ними:

• Горизонтальные плавающие линии и шумы в виде волн;

• Зернистость на изображении;

• Эффект смазывания;

Причины возникновения шумов на изображении

В связи с тем, что мобильные роботы применяются как в открытой местности или в городе, так и в помещениях, то существуют несколько типов помех, влияющих на изображении:

• Волны на изображении - обычно вызваны ошибками при устройстве заземления;

• Горизонтальные линии различной ширины - вызываются радиоточками, радиотелефонами, СВЧ печами, и другой техникой, которая влияет на сигнал;

• Редкие полосы небольшой ширины светлого и темного тонов - могут вызываться блоками питания, или обрабатывающими сигнал устройствами;

1786

• Плывущие линии, или синусоиды - для решения проблемы следует проверить качество заземления в местах источника сигнала и приемника, а также тип питания;

• Зернистость картинки - может быть вызвано находящимися поблизости блоками питания, лампами дневного освещения.

Причинами этих наводок могут быть следующие источники:

• Электротранспорт [6];

• Питающие кабели и различные промышленные установки;

• Источники бесперебойного питания;

• Высоковольтные линии и трансформаторы;

• Антенны, передающие сигнал, а также другие устройства, потребляющие энергию;

• Электромагнитные импульсы, которые специально вводят для глушения сигнала;

Если поподробнее разобрать помехи то, можно сгруппировать их в два

типа:

• Помехи в виде волн, которые смазывают изображения;

• Зернистость картины. Чаще всего это изображения, для которых характерны гауссовская помеха или "соль и перец".

Последняя получила такое название из-за наличия чёрных и белых пикселей на изображении.

Данные шумы могут быть устранены как при помощи аппаратных средств, так и программных. Рассмотрим возможные варианты решения проблемы.

Аппаратные способы устранения помех на изображении

Синфазный дроссель

Одной из частых причин появления помех и выхода из строя прибора в целом являются высокочастотные наводки на преобразователи напряжения.

1787

Для борьбы с ними используют синфазные дроссели. Один из производителей DC-DC преобразователей Aimtec рекомендует использовать его.

Наводки или электромагнитные помехи могут распространяться как по проводам (кондуктивные помехи), так и через окружающее пространство (излучаемые помехи). Кондуктивные помехи делятся на две составляющие: синфазные и дифференциальные. Для борьбы с этими помехами

Синфазные помехи можно описать как помехи между проводом и землей, дифференциальные — как помехи между двумя проводами, ток в которых течет в противоположных направлениях. С последним типом помех достаточно успешно борется дроссель в паре с конденсатором.

Синфазный дроссель состоит из двух катушек, намотанных на общий сердечник. В качестве сердечника используется, как правило, кольцевой магнитопровод с высокой магнитной проницаемостью, например феррит. Когда через катушки протекают дифференциальные токи, магнитные поля, индуцированные этими токами, взаимно уничтожают друг друга. Если пренебречь омическим сопротивлением катушек, то их входной импеданс в этом случае будет равен нулю. Теоретически они не влияют на прохождение дифференциальных сигналов. В случае появления синфазных токов магнитные потоки обоих катушек складываются, и входной импеданс увеличивается, что приводит к подавлению синфазных токов и значительному снижению амплитуды шумового сигнала [4].

Синфазные дроссели подходят для подавления шумов там, где искажение формы сигнала может вызвать проблемы, например, в линиях передачи видеосигнала.

Ферритовая бусина

Ещё одни элемент, борющийся с высокочастотными помехами, является ферритовая бусина [3]. Она представляет собой провод, проходящий через полый кусок керамического материала, феррита. Более подробно рассмотрим её принцип действия. Для этого приведём график зависимости импеданса от частоты.

1788

Индуктивность помещается в центр в качестве напоминания о том, что преобладающая реакция ферритовой бусины является индуктивной, то есть по мере увеличения частоты увеличивается и импеданс. Однако в какой -то момент параллельная емкость начинает доминировать над индуктивностью, и при увеличении частоты импеданс уменьшается. Относительно небольшое параллельное сопротивление уменьшает резонанс, связанный с конденсатором и индуктивностью, поэтому импеданс выравнивается в точке перехода. Это поведение отчетливо видно на графике (рис. 1), показывающем измеренные характеристики импеданса стандартной ферритовой бусины.

Черная линия показывает общий импеданс, который начинается с Rп0сл, иначе называемого сопротивлением бусины по постоянному току. Затем он линейно увеличивается на продолжении индуктивного частотного диапазона, выравнивается на 300 МГц, а затем уменьшается до выравнивания на 1,1 ГГц.

Красные и синие пунктирные линии показывают, что общий импеданс является результатом двух отдельных элементов, а именно реактивного сопротивления индуктивности (XL) и частотно-зависимого активного сопротивления

✓

/ ^ *ч N

/

/ 1

1 1 1

1

1 1

1

1 1

/ 1 1 1

Частота (МГц)

г — — -XI. --и

Рис. 1. Зависимость импеданса ферритовой бусины от частоты Напомним, что идеальные индуктивности и конденсаторы не рассеивают никакой энергии; они просто хранят энергию, либо в магнитном

1789

поле (индуктивности), либо в электрическом поле (конденсаторы). Резистор, с другой стороны, выводит энергию из схемы и рассеивает ее как тепло. Ферритовые бусины, в отличие от индуктивностей, преднамеренно резистивны на высоких частотах. Вот почему приведенный выше график имеет красную пунктирную линию с надписью <^>> - от 100 МГц до 1 ГГЦ бусина демонстрирует значительный активный, а не реактивный импеданс. Фактически некоторые ферритовые бусины и катушки индуктивности с ферритовыми сердечниками практически идентичны по конструкции, за исключением того, что ферритовая бусина использует ферритовый материал с большими «потерями», чтобы бусина рассеивала, а не хранила высокочастотную энергию.

Программные способы устранения помех на изображении Применение цифровых фильтров

Для устранения описанных помех можно использовать цифровые фильтры. Разберёмся с помехой "соль и перец" и гауссовским шумом. Для их подавления используют такие фильтры, как:

1) Усреднённый;

2) Гауссовский;

3) Медианный;

Простейшая идея удаления шума - усреднять значения пикселей в пространственной окрестности. Чем больше взят размер окна, тем сильнее происходит усреднение. Самый простой вариант фильтрации - в качестве нового значения центрального пиксела брать среднее арифметическое всех тех его соседей.

Гауссовское размытие — это свертка изображения с функцией [1]

X2

д(х,у)=Ае (1)

где параметр ^ задает степень размытия, а параметр А обеспечивает нормировку.

1790

Научно-образовательный журнал для студентов и преподавателей №3/2022

Фактически, это то же усреднение, только пиксель смешивается с окружающими по определенному закону, заданному функцией Гаусса. Чем больше его размер, тем сильнее размытие (при фиксированном я).

Медианная фильтрация — это стандартный способ подавления импульсного шума. Берутся значение пикселей в выбранном окне. Они сортируются и берётся серединный элемент. Для каждого пиксела в некотором его окружении (окне) ищется медианное значение и присваивается этому пикселу. Определение медианного значения: если массив пикселей отсортировать по их значению, медианой будет серединный элемент этого массива. Размер окна соответственно должен быть нечетным, чтобы этот серединный элемент существовал.

Медиану также определяется формулой:

где Ж - множество пикселей, среди которых ищется медиана, а £ -значения яркостей этих пикселей.

Что касается применения цифровых фильтров, то здесь используется простое перемножение матрицы фильтра [2] и изображения. Медианный фильтр хорошо справляется с импульсной помехой, а гауссовский фильтр с одноимённым шумом.

Ещё один шум - помеха в виде волны. Она представляет собой двигающиеся на изображении смазанные линии. Чтобы противодействовать ей возьмём 5 кадров.

Один из способов использовать тот же медианный фильтр, который был описан ранее, только использовать его не на одном изображении, а на нескольких. Таким образом, возьмём 5 кадров, и каждый пиксель изображения отсортируем по возрастанию. Затем для выходного изображения используем центральное значение.

(2)

Обработка нескольких кадров

1791

Другой подход - это брать среднее значение пикселей. Сравнение аппаратных и программных способов устранение помех

Аппаратная реализация подавления помех предполагает использование синфазных дросселей и ферритовых бусин. Оба подхода дают следующие преимущества:

• Убирают шумы на изображении;

• Не влияют на качество картинки при отсутствии внешних помех;

• Система работает в целом более стабильно; Недостатком является:

• Увеличение стоимости изделия;

• Всё равно могут остаться незначительные помехи на изображении Применение фильтров к изображению относится к программной

реализации. Достоинства данных методов:

• Убирают шумы на изображении; В свою очередь существуют минусы:

• Затраты на дополнительные вычислительные мощности;

• Не могут убрать помехи при сильном зашумленном изображении;

• При отсутствии помех применение цифровых фильтров ухудшает качество изображения;

Таким образом, при возможности стоит использовать гибридный метод, сочетающий, как аппаратные, так и программные подходы. В ином случае следует применять синфазные дроссели и ферритовые бусины.

Устранение эффекта смазывания на изображении Кроме перечисленных выше помех существует ещё одна проблема, связанная с получением изображения на мобильном роботе. Это эффект смазывания.

Смазывания изображения происходит из-за неправильного попадания пучка света на ПЗС-матрицу из-за движения. В связи с этим можно увидеть на

1792

изображении деформированные или растянутые объекты, так как произошло смещение положения относительно реальной сцены.

Существуют два способа устранения смазывания или приведения изображения в состояние пригодного для восприятия или обработки.

Первый способ — это использования стабилизатора камеры или изображения. Аппаратные средства бывают следующих типов:

Стабилизаторы камеры:

• Механические;

• Электронные;

Стабилизаторы изображения:

• Оптические;

• Матричные;

А второй вариант использовать программные способы, стабилизирующие изображение.

Цифровой стабилизатор:

• Применение фильтров;

Аппаратные средства устранения смазывания на изображении

Стабилизаторы камеры компенсируют движения самого устройства, в то время как стабилизаторы изображения изменяют преломления света, которой попадает на ПЗС-матрицу. Их основная цель — получить ровное и чёткое видео или фото, без смазанных деталей.

Механические и электронные устройства отличаются друг от друга своим устройством. Механические стабилизаторы удерживают плавность кадра благодаря креплению, которое подвешивается на сложной системе шарниров. Шарниры взаимодействуют друг с другом и эффективно компенсируют любые дрожания и смещения подвеса по двум и более осям.

Электронные стабилизаторы измеряют положение камеры или линзы и при необходимости регулируют их с помощью двигателей. Однако такие

1793

системы отличаются высокими ценами. В связи со сложностью конструкции и увеличения массы конструкции их используют редко.

Оптический стабилизатор вмонтирован в объектив фотоаппарата. Эта система подразумевает установку дополнительных элементов в конструкцию. Принцип действия стабилизатора основан на отслеживании перемещения фотоаппарата в разных плоскостях. Для этого в объективе установлена подвижная линза или система линз, а также датчики угловой скорости, которые отслеживают малейшие перемещения фотокамеры по вертикали и горизонтали. Сигналы, поступающие с датчиков, обрабатываются микросхемой, которая управляет работой миниатюрных электромагнитов. Перемещая линзы, система оптической стабилизации компенсирует отклонения фотоаппарата от точки фокуса. В результате изображение получается резким и не смазанным.

Матричная система стабилизации установлена в корпусе фотоаппарата. В этом случае перемещается не блок линз объектива, а матрица фотоаппарата. Принцип работы матричной и оптической схем примерно одинаков. Датчики отслеживают движение фотокамеры, а электромагниты двигают матрицу.

Программный способ устранения смазывания Смазывание - добавление к пикселю значения предыдущего или находящегося на некотором расстоянии. Более подробно рассмотрим модель самого процесса:

д(х, у) = к(х, у) * f(x, у) + п(х, у) (3)

Д(х, у) - исходное неискаженное изображение;

h(x, у) - искажающая функция, которая описывает закон смешивание пикселей;

п(х, у) - аддитивный шум; §(х, у) - результат искажения;

Целью является нахождения восстановленного изображения. Для этого рассмотрим каждый элемент уравнения подробнее.

1794

Значение п(х, у) - является помехи, вызванные многими факторами. Например, это может быть Гауссовский шум или другие, которые являются распределением значений пикселей по какому-то закону или же иметь случайный характер.

Слагаемое к(х,у) * f(x,y) - это операция свёртка. Обычно вычисление её достаточно сложное. Но можно значительно упростить расчёт, если перейти в частотную область при помощи преобразования Фурье. Таким образом, выражение (3) примет вид:

в (и, у) = Н (и, у) F (и, у) + N (и, у) (4)

Поделив, правую и левую часть на Н(и, у), получим оценку исходного изображения:

Ы(и,у)

Р(и,р-) = Р(и,р)+щ—) (5)

Данный способ чаще всего не работает из-за очень маленького значения Н(и, у). Обычное вычисление не учитывает значение шума на изображении, поэтому принимают особые подходы [5]. Один из наиболее известных это фильтр Винера. Он рассматривает изображение и шум как случайные процессы и находит такую оценку / для неискаженного изображения /, чтобы среднеквадратическое отклонение этих величин было минимальным. Минимум этого отклонения достигается на функции в частотной области:

1 \Н(и,у)\2

р(и,У) = -Г(й~й))с(и,У) (6)

\»(^)\2+10> (6)

Где Б^и, у) и у) - это энергетические спектры шума и исходного изображения.

Сравнение аппаратных и программных способов устранение смазывания на изображении

Механические и электронные стабилизаторы значительно усложняют систему, а так же увеличивают габариты и вес системы в целом.

1795

Оптические и матричные стабилизаторы изображения имеют компактную форму, обусловленную тем, что встроены в камеры. Они достаточно хорошо справляются со своей работой, благодаря встроенным датчикам, но имеют высокую цену.

Что касается применения фильтра Винера для удаления смазывания с изображения, то данный метод значительно улучшает качество картинки, но требует дополнительных вычислительных мощностей.

Следовательно, для упрощения работы системы предпочтительнее использовать камеру со встроенным стабилизатором изображения.

Заключение

Для выполнения различных целей стали всё чаще использовать мобильных роботов в совокупности с системами технического зрения. Это дало возможность обрабатывать изображения для выполнения следующих задач: навигации, обнаружение объектов, улучшение качество картинки и другие.

Но часто шумы и эффект смазывания мешают успешней работе систем технического зрения. Следовательно, появилась необходимость придумать подходы по устранению отрицательных влияний. Для двух случаев есть как аппаратное решение, так и программное.

При удалении помех на изображении оптимальным является использование гибридного метода. Причина в том, что ферритовые бусины и синфазные дроссели могут убирать сильные шумы, в то время как цифровые фильтры хорошо справляются с мелкими помехами.

Для устранения эффекта смазывания лучше подойдут камеры со встроенными стабилизаторами изображения, так как это готовое решение, которое хорошо показывает свою работу в отдельных устройствах, например в смартфонах. Что касается фильтра Винера, то он подойдёт для случаев, когда в камерах нет стабилизации.

1796

Литература

1. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. - 1072 с.

2. Яне Б. Цифровая обработка изображений. Москва: Техносфера, 2007. -584с.

3. RADIOPROG.RU. СТАТЬИ [Электронный ресурс] // RADIOPROG.RU. -2008-2022 - Режим доступа: https://radioprog.ru/post/467 свободный. Загл. с экрана

4. COMPEL.RU. ПУБЛИКАЦИИ [Электронный ресурс] // COMPEL.RU. -1993-2022 - Режим доступа: https://www.compel.ru/lib/60230 свободный. Загл. с экрана

5. HABR.COM. ГЛАВНАЯ [Электронный ресурс] // HABR.COM. 2006-2022 - Режим доступа: https://habr.com/ru/post/136853/ свободный. Загл. с экрана

6. VIDEO-REC.RU. ПОЛЕЗНАЯ ИНФОРМАЦИЯ [Электронный ресурс] // VIDEO-REC.RU. 2010 - Режим доступа: http://video-rec.ru/helpful-information/cctv/interference-in-the-video-their-causes-and-remedies/ свободный. Загл. с экрана

Literature

1. R. Gonzalez, R. Woods. Digital image processing. Moscow: Technosphere, 2005. - 1072 с.

2. Yane B. Digital image processing. Moscow: Technosphere, 2007. - 584с.

3. RADIOPROG.RU. ARTICLES [Electronic resource] // RADIOPROG.RU. -2008-2022 - Access mode: https://radioprog.ru/post/467 open. Title from the screen

4. COMPEL.RU. PUBLICATIONS [Electronic resource] // COMPEL.RU. -1993-2022 - Access mode: https://www.compel.ru/lib/60230 open. Title from the screen

5. HABR.COM. MAIN [Electronic resource] // HABR.COM. 2006-2022 -Access mode: https://habr.com/ru/post/136853/ open. Title from the screen

1797

6. VIDEO-REC.RU. USEFUL INFORMATION [Electronic resource] // VIDEO-REC.RU. 2010 - Access mode: http: //video-rec.ru/helpful-information/cctv/interference-in-the-video-their-causes-and-remedies/ open. Title from the screen

© Абакумов Д.А., Синицын А.В., 2022 Научно-образовательный журнал для студентов и преподавателей «StudNet» №3/2022.

Для цитирования: Абакумов Д.А., Синицын А.В. Обзор подходов по устранению влияния шумов и эффекта смазывания на изображении для систем технического зрения мобильных роботов// Научно-образовательный журнал для студентов и преподавателей «StudNet» №3/2022.

1798