CC BY
32
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ
УДК 004.932 О.ИШ1!ШЯ!ЬЫ..пН!Ы
DOI: 10.25559^тТО.16.202003.673-685
Быстрые алгоритмы первичной обработки изображений в бортовых системах технического зрения
А. И. Новиков*, А. В. Пронькин, Д. И. Устюков
ФГБОУ «Рязанский государственный радиотехнический университет имени В.Ф. Уткина», г. Рязань, Российская Федерация
390005, Российская Федерация, г. Рязань, ул. Гагарина, д. 59/1 * novikovanatoly@yandex.ru
Аннотация
В многоспектральных системах технического зрения летательных аппаратов решается большое число задач, призванных обеспечить безопасный полет в сложных условиях видимости и успешное выполнение полетного задания. Эти задачи традиционно делятся на задачи низшего уровня и задачи высокого уровня. К задачам низшего уровня, иначе - задачам первичной обработки изображений, относятся задачи подавления шума в составе обрабатываемого изображения, улучшения изображения и детектирования границ перепада яркостей. К методам решения задач в бортовом компьютере предъявляются жесткие ограничения по затратам машинного времени на их реализацию. Весь комплекс задач как низшего, так и высокого уровня должен решаться в реальном времени. В статье представлены оригинальные алгоритмы решения двух задач низшего уровня - подавления дискретного гауссова шума и детектирования границ. Для подавления дискретного гауссова шума применен модифицированный вариант сигма-фильтра, дополненный оригинальным алгоритмом низкой вычислительной сложности для оценивания уровня шума в составе обрабатываемого изображения и вычисления на этой основе порога отсечения в сигма-фильтре. Для детектирования границ перепада яркостей на изображении предложен способ, являющийся, с одной стороны, аналогом метода Кенни, а с другой - альтернативной ему. Отличия от детектора границ Кенни заключаются, во-первых, в использовании строчной маски для вычисления оценок частных производных в составе градиента. Эта маска обеспечивает получение оптимальных, в смысле метода наименьших квадратов, оценок частных производных. Формирование сглаженных оценок частных производных позволило отказаться от предварительного сглаживания обрабатываемого изображения в условиях шума невысокой интенсивности. Во-вторых, в предложенном методе применен иной способ формирования порогов, обеспечивающих выбор «сильных» и «слабых» линий. В отличие от детектора границ Кенни примененный способ формирования и использования порогов ориентирован на формирование контурного изображения с минимальным числом коротких контурных линий. Короткие линии затрудняют анализ контурного изображения на этапе решения задач высокого уровня. Новый способ детектирования границ требует затрат машинного времени в 2-3 раза меньше, чем детектор границ Кенни.
Ключевые слова: подавление шума, сигма-фильтр, оценка уровня шума, градиент, направление градиента, контурное изображение.
Финансирование: исследование выполнено в рамках госбюджетной НИР на кафедре электронных вычислительных машин ФГБОУ «Рязанский государственный радиотехнический университет имени В.Ф. Уткина». Научный руководитель работы - Новиков Анатолий Иванович.
Авторы заявляют об отсутствии конфликта интересов.
G ®
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Modern Information Technologies and IT-Education
Для цитирования: Новиков, А. И. Быстрые алгоритмы первичной обработки изображений в бортовых системах технического зрения / А. И. Новиков, А. В. Пронькин, Д. И. Устюков. - DOI 10.25559^ШТО.16.202003.673-685 // Современные информационные технологии и ИТ-образование. - 2020. - Т. 16, № 3. - С. 673-685.
|© Новиков А. И., Пронькин А. В., Устюков Д. И., 2020|
Современные информационные технологии и ИТ-образование
Том 16, № 3. 2020 ^ 2411-1473 sitito.cs.msu.ru
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT AND THEIR APPLICATIONS
Fast Primary Image Processing Algorithms in On-Board Vision Systems
A. I. Novikov*, A. V. Pronkin, D. I. Ustyukov
Ryazan State Radio Engineering University named after V.F. Utkin, Ryazan, Russian Federation 59/1 Gagarin St., Ryazan 390005, Russian Federation * novikovanatoly@yandex.ru
Multispectral on-board vision systems of aircraft solve a large number of tasks designed to ensure safe flight in difficult visibility conditions and successful flight performance. These tasks are traditionally divided into low-level and high-level tasks. The low-level tasks - or the primary image processing tasks -deal with the topics of noise reduction in processed images, image enhancements and brightness range detection. Problem-solving methods in on-board computers are subject to severe time restrictions in terms of machine time spent for their implementation. Therefore, the entire set of tasks of both low and high level must be solved in real time. This article presents original algorithms for solving two low-level tasks: discrete Gaussian noise reduction and the edge detection. A modified version of the sigma filter, enhanced by an original algorithm of low computational complexity, was applied to estimate noise level in the processed image and to calculate the optimal cut-off value in the sigma filter. A method, that is, on one hand, analogous to the Canny edge detection algorithm, and, on the other, an alternative one. The differences from the Canny edge detection technique are, firstly, in the use of a vector mask to calculate the estimates of private derivatives in the gradient. This mask provides optimal estimates of private derivatives, in terms of the Least Square Method. Formation of smoothed estimator of private derivatives allowed us to refuse from preliminary smoothing of the processed image in conditions of low intensity noise. Secondly, the proposed method uses a different way of forming edges that provide a choice of "strong" and "weak" lines. Unlike the Canny algorithm, the method used to form and use edges is focused on creating a contour image with a minimum number of short contour lines. Short lines make it difficult to analyze the contour image at the stage of solving high-level tasks. The new edge detection method requires 2-3 times less machine time than the Canny edge detection algorithm.
Keywords: noise reduction, sigma filter, noise level estimation, gradient, gradient direction, contour image.
Funding: The study was carried out within the framework of the state budget research at the Department of Electronic Computing Machines of the Ryazan State Radio Engineering University named after V.F. Utkin . The scientific supervisor of the work is Anatoly Ivanovich Novikov.
The authors declare no conflict of interest.
For citation: Novikov A.I., Pronkin A.V., Ustyukov D. I. Fast Primary Image Processing Algorithms in On-Board Vision Systems. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2020; 16(3):673-685. DOI: https://doi.org/10.25559/SITI-TO.16.202003.673-685
Abstract
Modern Information Technologies and IT-Education
676 ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ А. 1/1 Н°вИк°в, 6/6 ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ_А. /В' ИУстюков
Введение
Современные летательные аппараты (ЛА) оснащены широким набором сенсоров, обеспечивающих сканирование закабинно-го пространства и подстилающей поверхности в плоскости Земли. В максимальной комплектации на борту ЛА могут находиться телевизионная и тепловизионная камеры, радиолокационная станция, лидар, система датчиков малых высот [1, 2]. Наличие на борту сенсоров широкого спектрального диапазона обусловлено необходимостью обеспечить безопасность полета в любое время суток, в условиях плохой видимости, сложного рельефа. Для ЛА специального назначения названные сенсоры необходимы еще и для выполнения полетного задания, которое может заключаться в обнаружении на Земле или в воздухе объектов, их идентификации, сопровождении и в выполнении других специфических задач. Обработку потока информации от сенсоров и других бортовых датчиков осуществляет бортовой компьютер, который должен в режиме реального времени обрабатывать поступающую информацию и выдавать экипажу в наиболее удобном для восприятия виде результаты обработки. Набор сенсоров вместе с компьютером и заложенными в него комплексами программ образуют многоспектральную систему технического зрения (МСТЗ) [1]. В МСТЗ ЛА решается большое число задач, призванных обеспечить безопасный полет в сложных условиях видимости и успешное выполнение полетного задания1 [2, 3]. Эти задачи традиционно делятся на задачи низшего уровня и задачи высокого уровня. К задачам низшего уровня, иначе — задачам первичной обработки изображений, относятся задачи подавления шума в составе обрабатываемого изображения, улучшения изображения и детектирования границ перепада яркостей. К методам решения задач в бортовом компьютере предъявляются жесткие ограничения по затратам машинного времени на их реализацию. Весь комплекс задач как низшего, так и высокого уровня должен решаться в реальном времени, что соответствует 0,04 сек— частоте следования кадров телевизионной камеры. Задачи высокого уровня отличаются, как правило, большей сложностью. Как следствие алгоритмы, предназначенные для их решения, требуют больших затрат машинного времени. Поэтому задачи низшего уровня должны решаться по возможности максимально быстро. Совместное использование реального изображения, полученного от одного из сенсоров оптико-электронной системы, и виртуального изображения, построенного по цифровой карте местности, хранящейся в памяти бортового компьютера, позволяет предоставлять экипажу наиболее полную информацию о закабинной обстановке. Комбинирование реального и виртуального изображений особенно необходимо в условиях плохой видимости, сложного рельефа и на наиболее ответственных этапах полета (полет на низкой высоте, этап посадки и т.д.). Виртуальное изображение участка подстилающей поверхности в плоскости Земли, наблюдаемой на реальном изображении в градациях серого, синтезируется по цифровой карте местности в виде бинарного контурного изображения
[1]. Контурное изображение содержит в концентрированной форме информацию об особенностях рельефа, объектах постоянного присутствия на поверхности Земли (водные объекты, дороги, мосты, крупные объекты инфраструктуры и т.д.). Для совместного использования реального и виртуального изображений необходимо преобразовать реальное изображение к виду виртуального, то есть осуществить выделение контуров на реальном изображении. Для получения комбинированного изображения в блоке задач высокого уровня необходимо осуществить совмещение реального и виртуального изображений. Эти задачи решаются с применением методов комплексного контурного анализа и многопроекционной геометрии [4-7].
В статье представлены оригинальные алгоритмы решения двух задач низшего уровня — подавления дискретного гауссова шума и детектирования границ. В практике решения задач в бортовых МСТЗ для подавления помех на изображении в виде дискретного гауссова шума традиционно используются линейные матричные фильтры. Этому способствуют простота реализации таких фильтров, низкая вычислительная сложность и эффективное подавление шума. Однако у линейных фильтров есть существенный недостаток. Они не учитывают локальные особенности изображения. Такие фильтры обеспечивают эффективное подавление шума, но одновременно размывают границы перепада яркостей. Для подавления шума большой интенсивности приходится увеличивать размер маски (ядра) фильтра, что приводит одновременно к еще большему размытию границ. При этом линейный фильтр с коэффициентами маски, вычисляемыми с помощью функции Аехр(-аг2 ), i = -к,к для строчного фильтра и А ехр + ]г )), г, ] =k— для матричного фильтра,
является хорошим компромиссом между эффективностью подавления шума и сохранением границ перепада яркостей. В классе нелинейных фильтров есть фильтры, которые позволяют учитывать локальные перепады яркостей и потому могут сохранять при правильной настройке границы и обеспечивать приемлемый уровень подавления шума. Таковыми являются билатеральный фильтр и сигма-фильтр [8, 9]. Однако билатеральный фильтр требует больших затрат машинного времени для реализации, а в составе сигма-фильтра есть параметр, который должен устанавливаться адаптивно сообразно уровню шума в составе обрабатываемого изображения. Задача формирования контурного изображения является одной из наиболее важных в составе комплекса задач, решаемых в рамках бортовой МСТЗ. Контурное изображение, формируемое на ее выходе, используется для решения многих задач высокого уровня. В частности, для совмещения реального и виртуального изображений, решения на этой основе обратной навигационной задачи, для обнаружения, идентификации и слежения за объектами. Идеальное контурное изображение должно содержать границы объектов постоянного присутствия на подстилающей поверхности в плоскости Земли и не содержать короткие контурные линии, затрудняющие работу с контурным изображением. Из большого числа детекто-
1 Руководство Р-315 «По минимальным стандартам характеристик авиационных систем (MASPS) для систем улучшенного видения, систем искусственного видения, комбинированных систем искусственного видения и бортовых систем увеличения дальности видения» Авиационного Регистра Межгосударственного Авиационного Комитета (АР МАК), 2008. -
Современные информационные технологии и ИТ-образование
Том 16, № 3. 2020 ^ 2411-1473 sitito.cs.msu.ru
A- Novikov, RESEARCH AND DEVELOPMENT IN THE FIELD OF
A V lpr0vklv, NEW IT AND THEIR APPLICATIONS
D. I. Ustyukov
ров границ этому требованию не удовлетворяет, очевидно, ни один метод. Вместе с тем, наилучшим не только в классе градиентных методов, но и на всем множестве детекторов, является детектор границ Кенни [10]. К этому выводу пришли независимо группы отечественных ученых из научно-исследовательского института системных исследований Российской академии наук и зарубежных ученых [11-14]. Однако с позиций требований, предъявляемых к МСТЗ, и метод Кенни не вполне соответствует им. Контурное изображение, получаемое с помощью детектор границ Кенни, наряду с границами объектов постоянного присутствия содержит большое число коротких линий, которые он старается еще и замкнуть. Этот феномен метода назван «эффектом спагетти» в работе Гонса-леса и Вудса [15].
В работе [16] предложен метод градиентного типа, который, как и детектор границ, имеет двухпороговую схему разбиения множества локальных экстремумов модуля градиента на три подмножества. Отличается от него:
• используемым оператором для вычисления оценок частных производных, позволившим отказаться от предварительного сглаживания изображений с умеренным уровнем шума;
• способом установления порогов и, как следствие, способом идентификации и отсеивания «слабых» пикселей границы;
• количеством этапов обработки, их 3, а в методе Кенни 5.
Благодаря сокращению числа этапов новый метод имеет более низкую вычислительную сложность и потому работает в 2-3 раза быстрее программной реализации детектора границ Кен-ни в MATLAB Image Processing Toolbox— программа edge(...). Диаметрально противоположный методу Кенни способ установления порогов по гистограмме позволил существенно сократить число коротких контурных линий. В зависимости от особенностей изображения его контурный вариант по новому методу содержит в 1,5-4 раза пикселей границы меньше, чем детектор границ Кенни.
Цель исследования
Заключается в исследовании методов подавления шума и методов детектирования границ, разработке на этой основе алгоритмов решения двух названных задач, не уступающих известным алгоритмам по качеству преобразованного изображения и превосходящих их по скорости обработки одного кадра.
Основная часть
1. Оценивание уровня шума. Будем рассматривать аддитивную модель изображения _
Uj i = 1M, j = 1N, (1
в составе которой U ¡j — полезный «сигнал», гладкая компонента изображения, |.., %е N(0,а2Л — случайная составля-
ющая, шум с нулевым математическим ожиданием и неизвестной дисперсией О= . Фильтры, обеспечивающие подавление шума, будем обозначать в общем случае буквой А, дополняя при необходимости это обозначение нижним индексом. Задача, которую необходимо решить, заключается в получении оценки дисперсии О [|] шума в составе изображения. Известны способы решения задачи оценивания интенсивности шума в составе изображения. В качестве числовой характеристики интенсивности шума в этих работах выступает дисперсия шумовой составляющей. Одним из первых по времени появления является «медианный» метод [17]. В его основе лежит вычисление отклонений яркости изображения в каждом пикселе изображения от медианы яркости, вычисленной по всему изображению или в блоке. Затем вычисляется медиана по всему массиву отклонений, вычисленных на первом этапе. Найденное значение медианы на втором этапе умножается на эмпирически подобранный коэффициент. Эта величина принимается за среднеквадратичное значение шума. Большую группу методов образуют так называемые блочные методы [18-21]. Основная идея этих работ заключается в разбиении изображения на блоки одинакового размера и поиске блока с минимальной дисперсией. Вычисленная таким образом дисперсия принимается за дисперсию шума в составе изображения. В работе [18] задается заранее количество блоков с минимальной дисперсией. Средняя величина из этих дисперсий принимается за оценку дисперсии шума в составе изображения. В работе2 для получения более точной оценки дисперсии вводится ряд ограничений на выбор блоков, в которых будут находиться оценки дисперсии шума. В частности, исключаются из рассмотрения блоки, в которых средняя яркость близка к максимальной (255), чтобы избежать влияния засвеченных областей изображения, и блоки с яркостью близкой к минимальной (0) яркостям. Не рассматриваются также блоки, расположенные в окрестности границ изображения. В этой же работе предложен адаптивный способ задания оптимального размера блока. Наибольший интерес с позиций требований, предъявляемых к создаваемой системе МСТЗ, представляет блочный метод, изложенный в работе [20]. На первом этапе ищется фрагмент изображения с линейным изменением фона. Выполняется сглаживание изображения в рамках выбранного фрагмента линейными фильтрами с масками размеров 9х9 и 11х11, а затем производится вычитание из одного результата сглаживания другого. При вычитании линейно изменяющийся фон аннулируется. В результате такой цепочки преобразований получается сглаженный и преобразованный в соответствии с описанной схемой остаток случайной компоненты, по которой находится оценка стандартного отклонения (Щ шума в исходном изображении. Еще один шаг в поиске наиболее гладких блоков сделан в работе [21]. На одном из этапов этого метода строится контурное изображение, которое используется для исключения из рассмотрения блоков с элементами границ перепада яркостей.
Еще одну группу методов оценивания уровня шума в составе изображения образуют методы, в которых используются вей-
2 КалинкинаД. А. Определение уровня шума на изображении на основе усреднения дисперсии в блоках [Электронный ресурс] // Материалы Международной конференция студентов и аспирантов по фундаментальным наукам «Ломоносов 2005». Секция: Вычислительная математика и кибернетика. М.: ВМК МГУ, Изд-во «МАКС Пресс», 2005. URL: https://www.graphicon.ru/oldgr/ru/publications/text/l2005kal.pdf (дата обращения: 04.08.2020).
Vol. 16, No. 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
678 ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ А. 1/1 Новикс°в, 6/8 ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ_А. /В' ИУстюков
влет-преобразование и Фурье-преобразование соответственно [22, 23]. В работе [22] оценка уровня шума производится на основании статистического анализа распределения коэффициентов вейвлет-преобразования. В работе [23] к исходному изображению применяется быстрое преобразование Фурье, затем выполняется квантование результатов первого шага, строится гистограмма и на последнем этапе находится искомая оценка о^ среднеквадратического отклонения. В работе утверждается, что предлагаемый способ позволяет получать оценки с низким уровнем ошибок, но при этом требует больших затрат машинного времени.
Методы первых двух групп позволяют решать задачу оценивания уровня шума при сделанных в нем предположениях о наличии в составе изображения областей с гладким изменением фона [17-21]. Такое предположения справедливо для большинства изображений постановочных и бытовых сцен. Изображения подстилающей поверхности в плоскости Земли имеют, как правило, сложную структуру изменений яркости в окрестности каждого пикселя изображения. Методы, основанные на вейвлет- и Фурье-преобразованиях, больше подходят для анализа изображений подстилающей поверхности. Однако для их работы требуются большие затраты машинного времени, что также неприемлемо для бортовых систем технического зрения. Выход, по мнению авторов данной статьи, заключается в создании алгоритма, в котором были бы снижены требования к гладкости фоновой составляющей в составе изображения.
В общем виде предположения, на которых строятся методы оценивания уровня шума с использованием сглаживающих операторов А, сводятся к двум положениям. Во-первых, в области константного или линейно изменяющегося фона все линейные сглаживающие операторы не изменяют фон, то есть для таких фильтров справедливо равенство, которое в операторной форме имеет следующий вид А1 = Аи + А = и + Аг . (2)
Во-вторых, если А, линейный сглаживающий оператор, действующий по правилу
к к
А1 =УУа,1+ .
/ / л 7+5,]■
, (3)
а з - некоррелированный гауссов шум с нулевым математическим ожиданием, то дисперсия сглаженной шумовой компоненты = А{§} будет находиться по форму-
D[пПТ XID[¿¡] = Г2^. (4)
(5)
] = 0, ± 1,..., ± к
каждого пикселя небольшого радиуса многочленом третьей степени. Как известно, сглаживающий симметричный оператор А, весовые коэффициенты которого вычисляются по формуле
3 (3к2 + 3к -1 - 5 ]2 ) а = (2к-1)(2к + 1)(2к + 3)' обеспечивает несмещенное оценивание полиномов до третьей степени включительно [25, 26]. Для получения оценок низкочастотной составляющей с минимальными искажениями размер 2к +1 маски (5) должен быть небольшим, например длины 5 или 7, а именно в соответствии с формулой (5)
— (-3,12,17,12, - 3), — (-2,3,6,7,6,3, - 2) (6)
35 7 21ч '
Предлагаемый метод основывается на предположениях (2) и (4) и сводится к трем основным шагам:
1) Сглаживание изображения оператором А с весовыми коэффициентами (6), обеспечивающим выполнение равенства (2).
2) Удаление из состава сглаженного изображения А1 = и + Аг фоновой компоненты и.
3) Вычисление выборочной дисперсии остатка. Соотношение (4) для строчного линейного оператора А при тех же предположениях относительно случайной составляющей ^ переписывается в виде
D [п] = D Г£ аА1+, !=£ а2 ■ D ] = (£ а2 \ D [£,], (7)
В формуле (4) у = ^ а2 — коэффициент остаточного
V э=-кг=-к
уровня шума в составе сглаженного изображения п [24]. Как уже отмечалось первое предположение, сводящееся к равенству (2), не выполняется на изображениях подстилающей поверхности. Для обеспечения равенства (2) в предлагаемом методе используется более реалистичное предположение. Предполагается, что на изображении есть фрагменты, в рамках которых фоновая составляющая И в срезе произвольной строки или столбца адекватно описывается в окрестности
или в терминах среднеквадратических отклонений и введенного коэффициента у остаточного уровня шума
= Г^ц .
Равенство (7) связывает дисперсии сглаженной случайной составляющей п и исходной Известно, что весовые коэффициенты (5) полиномиального оператора обладают свойством [25] V 2 (8)
5=—к
С учетом (9) равенство (8) принимает максимально лаконичный вид О[п] = а0О[%], или в терминах среднеквадратического отклонения ап . Схема вычислительного алгоритма:
1. Выбираем в исходном изображении заданное количество строк, расположенных на одинаковом расстоянии друг от друга и в каждой строке вычисляем оценку дисперсии. Находим 5 строк с минимальной дисперсией.
2. В найденных пяти строках изображения выполняем сглаживание изображения по строкам оператором с одной из масок (7).
3. В каждой строке вычитаем из исходного изображения строки сглаженное на втором шаге изображение. В результате получим с учетом (2)
I - А1 = (и + Е)-(Аи + АЕ)=(Е - А )Е.
Здесь Е - тождественный оператор с весовой функцией (0,0,...,0,1,0,...,0). Но тогда, с учетом (7) и (8), будем иметь Я[у] = Я[(Е-А)н] = (1-а0)Я[$]. л (9)
4. Вычисляем выборочную дисперсию О [у] остатка V = (Е - А)Е, а по ней — оценку дисперсии шума в исходном изображении
Современные информационные технологии и ИТ-образование
Том 16, № 3. 2020 ^ 2411-1473 sitito.cs.msu.ru
A. I. Novikov, A. V. Pronkin, D. I. Ustyukov
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT AND THEIR APPLICATIONS
679
(10)
Отметим, что шаги 2) и 3) алгоритма можно объединить, если ввести оператор В с симметричной маской (-ак,-ак-1,..., -а1,1 -а0,-а1,..., -ак). Очевидно, что В1 = (Е-А ).
Результаты решения задачи оценивания уровня шума в составе изображения, как уже отмечалось, необходимо для корректного выбора порога отсечения Д = та в составе сигма-фильтра, предназначенного для подавления шума
(11)
1+ 5, ]+1 '
л 1 к к
K s=-kt=-к
ГДе k k il, 5Д8 11
k = 1 X ^, о ^ = ' '
s=-kt=-k 10, 5Д 8 I.
. . -L\<A
i+ s, J + t 1J I — >
i+s, J+t
-1, > A.
массивы модулей и направлений градиентов. На следующем этапе формируется гистограмма модулей градиентов и по ней вычисляются нижняя и верхняя границы Ио I И2, причем |V/| нИ2 нИ1 н |V/| . , где |V/| = max IV/.. I, |V/| . = mbfVi | ■ порон 11 И1 разби-
I Imax . j | У | 'I Imin . j | У |
вают множество всех найденных значений модуля градиента
Еще одна задача, в которой могут найти примнение результаты оценивания уровня шума, задача восстановления размытых изображений. Пусть
dЬ (12)
И К (х, у, t, s )• и s )dtds = f (х, у), х, у е[а, й]х[с,
интегральное уравнение, описывающее процесс формирования размытого изображения / (х, у). При этом правая часть уравнения известна неточно. Вместо функции /(х,у) в правой части уравнения (12) стоит ее приближение— функция /5(х, у), такая, что (х, у) — / (х, у )|| ^ 5 . Для получения оптимального решения методом регуляризации с определением параметра регуляризации по невязке необходимо иметь оценку ошибки 8 [27]. Оценку этой ошибки можно найти предложенным методом.
2. Детектирование границ. Как уже отмечалось выше, основные положения альтернативного детектору границ Кенни способа выделения границ перепада яркостей изложены в работе [16]. Поэтому в рамках данной статьи он излагается в краткой форме. Отметим, что хотя новый метод создавался для использования в бортовой МСТЗ, он с успехом может использоваться и в других реальных системах технического зрения. Для получения оценок частных производных в новом методе применен строчный фильтр с маской § = (-к, - к +1,..., -1,0,1, ..к -1, к) . (13)
Весовые коэффициенты маски (13) получены как оценки коэффициента Ь линейной функции у = а + Ьх, полученные методом наименьших квадратов в скользящем окне длиной 2к +1. Свертка вектора gс вектором яркостей
1У0 (х) = ((-*,Л> ^.Л' ЬЬ+к,Л) дает °ценку
частной производной 31/дх в пикселе с координатами (i0, j0) . Аналогично находится оценка частной производной 81/ду в этом пикселе как свертка вектора gс вектором яркостей
"оЛ ) = (-к ' ^о-к+1''"' А)'Л +!'"■•' ^'о.Л . Поскольку фильтр (13) дает сглаженные оценки частных производных,
то это позволило отказаться от этапа предварительного сглаживания изображений с умеренным шумом < 8^. и в результате — сократить вычислительные затраты на получение контурного изображения. По найденным оценкам частных производных в каждом пикселе изображения формируются
гради-числа
вычислительных процедур при поиске локальных максимумов модулей градиента. Это позволяет дополнительно сократить объем вычислительных операций.
На третьем шаге алгоритма ищутся локальные экстремумы модулей градиентов на множествах О2 и О3. При этом экстремум в пикселе ищется только в направлении градиента в этом пикселе и при условии, что направления градиентов в соседних пикселях совпадают с направлением в нем. Пиксели из множества О3, в которых найдены локальные экстремумы модулей градиента, сразу включаются в формируемое контурное изображение. Пиксели из множества О2, в которых найдены локальные экстремумы модулей градиента, включаются в формируемое контурное изображение при условии, что они связаны по схеме восьмисвязной области хотя бы с одним пикселем границы из множества О3.
Оригинальные решения с выбором фильтра для получения оценок частных производных и способа вычисления порогов дали ожидаемые результаты по сокращению вычислительной сложности метода. Число операций в предлагаемом методе меньше, чем в детекторе границ Кенни почти в 3 раза. Если в детекторе границ Кенни на сглаживание изображения и вычисление частных производных требуется около 15 ЫМ V 30 ЫМ медленных операций, то в предложенном алгоритме 5NM V 7 NM в зависимости от длины окна скольжения.
Полученные результаты
1. Оценивание уровня шума. Исследования как по восстановлению оценки уровня шума в исходном изображении, так и по детектированию границ перепада яркостей проводились на большой серии реальных изображений подстилающей поверхности в плоски Земли, полученных с борта летательного аппарата. В статье приведены результаты экспериментов с двумя изображениями, приведенными на рисунке 1. На рисунке 1а представлена часть Земной поверхности с водными объектами и лесным массивом с просеками. На рисунке 1б изображена взлетно посадочная полоса и прилегающая к ней территория.
Исследования по предложенному методу проводились по следующей схеме:
1. На реальное изображение налагался шум заданной интенсивности с СКО 1, 5, 10, 20, 30;
2. Выбирались строки изображения с заданным шагом 100, 50, 25, 10. В каждой строке вычислялась выборочная дисперсия $2 _ I )2N. Здесь N — число пиксе-
j=i
лей в строке.
Vol. 16, No. 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ А. 1/1 Н°вик°в, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ_А. /В' ИУстюков
Р и с. 1. Исходные изображения подстилающей поверхности F i g. 1. Initial images of the underlying surface
Из числа выбранных строк выделялись 5 строк с минимальными дисперсиями;
3. В выделенных 5 строках выполнялось сглаживание изображения строчным оператором с маской длины 5, то есть 12 17 12 - 3). Затем результат сглаживания
35 ;
в строке вычитался из исходного изображения в этой строке;
4. Вычислялась выборочная дисперсия полученного остатка, а по ней — оценка (10) дисперсии шума в исходном изображении.
В таблице 1 приведены значения среднеквадратической ошибки оценивания уровня шума по описанной схеме. Шум налагался на изображение, приведенное на рисунке 1а. Числа
5. 11, 23, 57 в шапке таблицы — это количество строк, которые участвовали в вычислении оценки СКО наложенного шума.
Т а б л и ц а 1. Оценки СКО шума по предложенному методу T a b l e 1. Estimates of RMS noise according to the proposed method (RMS - root-mean-square error / noise level estimation /)
СКО а^ наложенного шума Вычисленная оценка ^^ СКО шума
5 11 23 57
1 2.2 2.0 2.0 1.8
5 5.2 5.2 5.1 5.0
10 9.8 9.7 9.4 9.3
20 19.2 18.9 19.0 18.3
30 30.3 28.0 27.4 27.1
Анализ полученных результатов позволяет сделать следующие выводы. Независимо от числа выбранных строк максимальная ошибка оценок среднеквадратического отклонения шума не превышает 8% для всех интенсивностей наложенного шума кроме 1 (первая строка таблицы 1). Наиболее близкие к истинным значения оценок получились на 5 строках, выбранных для оценивания СКО шума (второй столбец таблицы 1).
Был проведен еще один эксперимент, в котором участвовали
16 различных изображений и который можно назвать экстремальным, поскольку в нем для оценивания уровня наложенного шума использовались только 3 строки. При низком уровне наложенного шума (о^ < 3 ) ошибки оценивания уровня шума превышающие 10% наблюдались на 11 изображениях. При а^ = 5 их было 7, а при 10 — только 3. При этом на одном изображении — оно приведено на рисунке 2 — ошибка оценивания СКО шума для всех интенсивностей наложенного шума превышала 200%.
Р и с. 2. Изображение лесного массива F i g. 2. Forest image
Такая большая ошибка объясняется наличием в составе исходного изображения большой доли высокочастотных колебаний. Оценка СКО шума для этого изображения без наложенного шума равна 21,2. Из этого эксперимента можно сделать два вывода. Во-первых, есть изображения, аналогичные приведенному на рисунке 2, оценка уровня шума на которых рассмотренным методом будет некорректной. Во-вторых, несмотря на то, что на некоторых изображениях и по трем строкам получается корректная оценка уровня шума, целесообразно устанавливать количество строк, по которым с использованием изложенной методики будет оцениваться интенсивность шума, не ниже 5.
Предлагаемый метод оценивания уровня шума в составе изображения сравнивался с наиболее близким к нему по способу
Современные информационные технологии и ИТ-образование
Том 16, № 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
A. I. Novikov, A. V. Pronkin, D. I. Ustyukov
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT AND THEIR APPLICATIONS
оценивания методом3. Исследования по методу прототипу
проводились по следующей схеме:
1. На реальное изображение налагался шум заданной интенсивности с СКО 1, 5, 10, 20, 30;
2. Исходное изображение разбивалось на блоки четырех размеров 25 х 25 (50х50, 75х75 и 100х100). В каждом блоке вычислялась выборочная ди сперсия
=£ £ (- ^ / /(м • *).Здесь м и N—число ¡=1 ¡=\ / строк и столбцов в блоке. Выбирались несколько блоков (5-7 блоков) с минимальной дисперсией;
3. В каждом выбранном блоке выполнялось сглаживание с матричными масками соседних размеров (2к- 1)х(2к-1) и (2к + 1)х(2к +.Весовые
енты масок \/(2к -1)2 и \/(2к +1) соответственнаИс-следованы четыре группы масок 3 х 3 и 5 х 5 ( = 2), 5 х 5 и 7 х 7 ( = 3), 7 х 7 и 9 х 9 ( = 4), 9 х 9 и 11 х 11 ( = 5) . Затем результат одного сглаживания вычитался из другого. Вычислялась выборочная дисперсия остатка в выбранных блоках;
4. Вычислялось среднее значение выборочной дисперсии в выбранных блоках
52 = /ш, ш е {5,6,7} ; (14)
¡=1 /
5. Вычислялся коэффициент ^ пересчета средней выборочной дисперсии (14) в оценку дисперсии шума в исходном изображении по формуле
8к ; (15)
ß =
6.
К -1)2
B = .
(2k-1)x(2k-1)
" A2k+1)
(2 k+1) C
маской
1
(2k -l)x(2k -1) равны
(2k -l)2
В соответствии с формулой (7)
л [ B (0]==(i а ) л И=
2
8k
(2k +1)2 (2k-1)2 (2k+ 1 2
8k
V
(2k +1)2
г
+ ( 2k -1)2
8k
(2k -1)2 (2k +1)2
л [5],
или после преобразования D [ 8 -D [{].
В таблице 2 приведены результаты оцени вания уровня наложен но г о шума с помощьюалгоритма-прототипа[20], о писанного в оувктах 1)...6). В каоенлго исходного изл(^аження^в -^отс^-з^е нн^ла^оа.чс^я шумгрданной интенсивности, л этом эксперименте взято изображение, л-иведннное на раоу]нлг 1 а. Сглаживание проводилось с использованием масок размеров 5 х 5 и 7x7 (Л = 3) . В эк спгри м онт е варьи ровались размеры масок ат 25х 25 до 1 00х 100 с шагом 2!°.
Т а б л и ц а 2. Овенки СКО шум с по методу [20]
T a b l e 2. RMS noise es tima6os by the method [20]
СКО а а наложенного шума Найденная оценка СКО шума
25 х 25 50х50 75х75 еоохшо
1.2 17 3.6 7.2
5.0 5.1 б. 1 ¡1.8
9.5 10.0 10.6 12.3
18.1 19.9 20.5 21.2
2 8.6 29.7 30.2 30.5
На рисунке 3 приседены графики найденных оценок сред-неквадратическогоотклоненияшума, налож2иного на то же изображение (рисунок 1а) в условиях применения пары опера-тортв сразмевами мисое 9х9 и 11x11
Вычислялась оценка дисперсии шума в исходном изображении по формуле
Ъ [£] = 5 V Ц-; (16)
Необходимо пояснить происхождение формулы (15). Сглаживание и последующее вычитание результатов одного сглаживания из другого эквивалентно применению оператора
р азмером
(2к + 1)х(2к +1), весовые коэффициенты которой в порввк двух и последних двух строках, а также в первых двухипос следних двух столбцах равны (-1/(2к +1)), а остамьнрге (2к -1) коэффициентов внутренней подматрицы размернм
Р и с.
Fig.
25x25 50x50 75x75 100x100
Размеры блоков, на которые разбивалось исходное изображение
3. Графики оценок СКО шума для пары операторов с размерами масок
9x9 и 11x11
3.Graphsof noiseRMSerror estimates for apairofoperatorswithmask
sizes 9 x 9 and 11x11
По горизонтальной оси на рисунке 3 отложены размеры блоков, на которые разбивалось исходное изображение, а по вертикальной оси — значения оценок среднеквадратического отклонения шума в составе исходного изображении. Анализ данных таблицы 2 и графиков на рисунке 3 позволяет сделать вывод о том, что размер блоков, на которые разбивается исходное изображение, оказывает существенное влияние на величину вычисляемой оценки . Наиболее сильно этот эффект проявляется для малых интенсивностей наложенного шума. Так, для уровня наложенного шума 0^ = 1 при сглаживании изображения масками размеров 5 х 5 и 7 х 7 ошибка оценивания при разбиении изображения на блоки размером 50х 50 составляет 260%, а при разбиении на блоки размером
3 Ковалевский В. Эффективная фильтрация и выделение границ [Электронный ресурс]. URL: http://irtc.org.ua/image/app/webroot/Files/presentations/ Kovalevskiy/Kovalevski_Effiziente_Filterung_und_Kantendetektion_Kurz.pdf (дата обращения: 04.08.2020).
Modern Information Technologies and IT-Education
2
1
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ А. 1/1 Новикс°в, 682 ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ_А. /В' ИУстюков
100 х 100 — уже 720% (первая строка таблицы 2). Если же применяется сглаживание операторами с масками размеров 9 х 9 и 11 х 11, указанные ошибки составляют 210% и 1090% (рисунок 3). Отметим, что и для шума с интенсивностью 5 ошибки оценивания шума при разбиении изображения на блоки большого размера оказываются большими. Поэтому размер блоков, на которые должно разбиваться исходное изображение можно рекомендовать выбирать в диапазоне от 25 х 25 до 50 х 50.
Второе изображение подстилающей поверхности, приведенное на рисунке 1б, имеет больший диапазон изменения яркостей. Однако и для него тенденция изменения оценок СКО шума для различных размеров блоков, на которые разбивается исходное изображение, и для различных размеров масок, используемых для сглаживания зашумленного изображения, остается такой же, что и для первого изображения. По результатам исследования метода [20] оценивания уровня шума необходимо сделать еще одно замечание. Приведенная в этой работе рекомендация использовать сглаживающие операторы с масками размеров 9 х 9 и 11 х 11 является необоснованной. Точность оценок при этих размерах ниже, чем при ис-
пользовании масок меньших размеров 3 х 3 и 5 х 5 или 5 х 5 и 7 х 7, а вычислительные затраты выше.
2. Детектирование границ. На рисунках 4а и 4б приведены контурные изображения, полученные соответственно по методу авторов статьи и по методу Кенни в условиях автоматического выбора порогов для первого изображения (рисунок 1а), а на рисунках 5а 5б — для второго изображения (рисунок 1б)
Можно отметить, что заявленная цель — сокращение до минимума числа коротких линий на контурном изображении — достигнута. Число коротких линий на контурных изображениях, полученных по предложенному методу на обоих рисунках, существенно меньше, чем по методу Кенни. При этом оба метода устойчиво выделили границы водных объектов на рисунках 4а и 4б и взлетно-посадочной полосы с элементами инфраструктуры — на рисунках 5а и 5б. Отметим еще раз, что предложенный метод имеет меньшую вычислительную сложность. Фактическое время обработки одного изображения по этому методу в 2-3 раза меньше, чем по методу Кенни.
а б
Р и с. 4. Контуры, выделенные по предложенному методу (а), контуры, выделенные, по методу Кенни (б) F i g. 4. The contours identified by the proposed method (a), the contours identified by the Kenny method (б)
а б
Р и с. 5. Контуры, выделенные по предложенному методу (а), контуры, выделенные, по методу Кенни (б) F i g. 5. The contours identified by the proposed method (a), the contours identified by the Kenny method (б)
Современные информационные технологии и ИТ-образование
Том 16, № 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
A- Novikov, RESEARCH AND DEVELOPMENT IN THE FIELD OF
A V lpr0vklv, NEW IT AND THEIR APPLICATIONS
D. I. Ustyukov
Заключение
Предложен метод оценивания уровня шума в составе изображения, отличающийся от известных методов низкой вычислительной сложностью и обеспечивающий точность оценивания, сопоставимую с лучшими методами. Проведены экспериментальные исследования метода в сравнении с близким к нему методом [20]. Экспериментальные исследования подтвердили достижение целей, которые ставились перед разработчиками. Изложен новый метод детектирования границ перепада яркостей на изображении. Метод имеет низкую вычислительную сложность и обеспечивает формирование контурного изображения с минимальным числом коротких контурных линий. Обе характеристики метода соответствуют требованиям, которые предъявляются к многоспектральным системам технического зрения, находящимся на борту летательного аппарата.
Список использованных источников
[1] Обработка изображений в авиационных системах технического зрения / Под ред. Л. Н. Костяшкина, М. Б. Никифорова. — М.: Физматлит, 2016.
[2] Авиационные системы улучшенного и синтезированного видения: аналитический обзор по материалам зарубежных информационных источников / Под ред. Е. А. Федосова; сост. Ю. В. Визильтер [и др.]. — М.: ГосНИ-ИАС, 2011.
[3] Kumar, N. Integrated Enhanced and Synthetic Vision System for Transport Aircraft / N. Kumar, S. Kashyap, V. Naidu, G. Gopalratnam. — DOI 10.14429/dsj.63.4258 // Defence Science Journal.— 2013.— Vol. 63, issue 2.— Pp. 157-163.— URL: https://publications.drdo.gov.in/ ojs/index.php/dsj/article/view/4258 (дата обращения: 04.08.2020).
[4] Фурман, Я. Я. Введение в контурный анализ; приложения к обработке изображений и сигналов / Я. Я. Фурман, А. В. Кревецкий, А. К. Передреев, А. А. Роженцов, Р. Г. Хафазов, И. Л. Егошина, А. Н. Леухин.— М.: Физматлит, 2003.
[5] Логинов, А. А. Исследование возможности применения комплексного контурного анализа в задачах классификации и совмещения контуров / А. А. Логинов, А. И. Новиков, В. А. Саблина, О. В. Щербакова // Вестник Рязанского государственного радиотехнического университета. — 2013. — № 43. — С. 20-24. — URL: https:// www.elibrary.ru/item.asp?id=18886604 (дата обращения: 04.08.2020). — Рез. англ.
[6] Novikov, A. I. The contour analysis and image-superimposition problem in computer vision systems / A. I. Novikov, V. A. Sablina, M. B. Nikiforov, A. A. Loginov. — DOI 10.1134/S1054661815010149 // Pattern Recognition and Image Analysis.— 2015.— Vol. 25, no. 1.— Pp. 73-80.— URL: https://dl.acm.org/doi/abs/10.1134/ S1054661815010149 (дата обращения: 04.08.2020).
[7] Ефимов, А. И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А. И. Ефимов, А. И. Новиков. — DOI 10.18287/24126179-2016-40-2-258-265 // Компьютерная оптика.—
2016.— Т. 40, № 2.— С. 258-266.— URL: https://www. elibrary.ru/item.asp?id=25995059 (дата обращения: 04.08.2020). — Рез. англ.
[8] Tomasi, C. Bilateral filtering for gray and color images / C. Tomasi, R. Manduchi.— DOI 10.1109/ICCV.1998.710815 // Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271). — Bombay, India, 1998.— Pp. 839-846.— URL: https://ieeexplore.ieee.org/ document/710815 (дата обращения: 04.08.2020).
[9] Yang, Q. Real-time O(1) bilateral filtering / Q. Yang, K. Tan, N. Ahuja.— DOI 10.1109/CVPR.2009.5206542 // 2009 IEEE Conference on Computer Vision and Pattern Recognition. — Miami, FL, USA, 2009.— Pp. 557-564.— URL: https:// ieeexplore.ieee.org/document/5206542 (дата обращения: 04.08.2020).
[10] Canny, J. A Computational Approach to Edge Detection / J. Canny.— DOI 10.1109/TPAMI.1986.4767851 // IEEE Transactions on Pattern Analysis and Machine Intelligence.— 1986.— Vol. PAMI-8, no. 6.— Pp. 679-698.— URL: https://ieeexplore.ieee.org/ document/4767851 (дата обращения: 04.08.2020).
[11] Грибков, И. В. Некоторые вопросы количественной оценки производительности детекторов границ / И. В. Грибков, А. В. Захаров, П. П. Кольцов, Н. В. Котович, А. А. Кравченко, А. С. Куцаев, А. С. Осипов // Программные продукты и системы.— 2011.— № 4.— С. 13-19.— URL: https://www.elibrary.ru/item.asp?id=17679097 (дата обращения: 04.08.2020). — Рез. англ.
[12] Захаров, А. В., Кольцов П.П., Котович Н.В., Кравченко А.А., Куцаев А.С., Осипов А.С. Некоторые методы сравнительного исследования детекторов границ / А. В. Захаров, П. П. Кольцов, Н. В. Котович, А. А. Кравченко, А. С. Куцаев, А. С. Осипов // Труды научно-исследовательского института системных исследований Российской академии наук. — 2012.— Т. 2, № 1.— С. 4-13.— URL: https://www.elibrary.ru/item.asp?id=22964684 (дата обращения: 04.08.2020). — Рез. англ.
[13] Кольцов, П. П. О количественной оценке эффективности алгоритмов анализа изображений / П. П. Кольцов, А. С. Осипов, А. С. Куцаев, А. А. Кравченко, Н. В. Котович, А. В. Захаров.— DOI 10.18287/0134-2452-2015-39-4542-556 // Компьютерная оптика.— 2015.— Т. 39, № 4.— С. 542-556.— URL: https://www.elibrary.ru/item. asp?id=24373930 (дата обращения: 04.08.2020).— Рез. англ.
[14] Maini, R. Study and Comparison of Various Image Edge Detection Techniques / R. Maini, H. Aggarwal // International Journal of Image Processing. — 2009. — Vol. 3, issue 1.— Pp. 1-11.— URL: https://www.cscjournals. org/library/manuscriptinfo.php?mc=IJIP-15 (дата обращения: 04.08.2020).
[15] Цифровая обработка изображений / Р. С. Гонсалес, Р. Е. Вудс. — М.: Техносфера, 2012.
[16] Новиков, А. И. Детектор границ градиентного типа для изображений / А. И. Новиков, А. В. Пронькин.— DOI 10.21667/1995-4565-2019-68-2-68-76 // Вестник Рязанского государственного радиотехнического университета. — 2019. — № 68. — С. 68-76. — URL: https://
Vol. 16, No. 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ А. 1/1 Н°вик°в,
информационных технологий и их приложений А. ПВ. ПР°НИкиН
Д. И. Устюков
www.elibrary.ru/item.asp?id=38540321 (дата обращения: 04.08.2020). — Рез. англ.
[17] Donoho, D. L. De-noising by soft-thresholding / D. L. Dono-ho.— DOI 10.1109/18.382009 // IEEE Transactions on Information Theory.— 1995.— Vol. 41, issue 3.— Pp. 613-627.— URL: https://ieeexplore.ieee.org/docu-ment/382009 (дата обращения: 04.08.2020).
[18] Olsen, S. I. Noise variance estimation in images / S. I. Olsen // Proceedings of the 8th Scandinavian Conference on Image Analysis. — Troms, Norway, 1993.
[19] Kumar, R. Color image steganography scheme using gray invariant in AMBTC compression domain / R. Kumar, N. Kumar, K. H. Jung.— DOI 10.1007/s11045-020-00701-8 // Multidimensional Systems and Signal Processing. — 2020. — Vol. 31, issue 3. — Pp. 1145-1162. — URL: https:// link.springer.com/article/10.1007/s11045-020-00701-8 (дата обращения: 04.08.2020).
[20] Kovalevsky, V. Modern Algorithms for Image Processing: Computer Imagery by Example Using C# / V. Kovalevsky. — DOI 10.1007/978-1-4842-4237-7.— Apress, Berkeley, CA, 2019.— URL: https://link.springer.com/ book/10.1007/978-1-4842-4237-7 (дата обращения: 04.08.2020).
[21] Amer, A. Fast and reliable structure-oriented video noise estimation / A. Amer, E. Dubois.— DOI 10.1109/ TCSVT.2004.837017 // IEEE Transactions on Circuits and Systems for Video Technology.— 2005.— Vol. 15, issue
1. — Pp. 113-118. — URL: https://ieeexplore.ieee.org/doc-ument/1377366 (дата обращения: 04.08.2020).
[22] Ghazal, M. A. Structure-Oriented Spatio-Temporal Video Noise Estimation / M. Ghazal, A. Amer, A. Ghrayeb. — DOI 10.1109/ICASSP.2006.1660475 // 2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings. — Toulouse, France, 2006. — Pp. 845-848. — URL: https://ieeexplore.ieee.org/document/1660475 (дата обращения: 04.08.2020).
[23] Лапшенков, Е. М. Неэталонная оценка уровня шума цифрового изображения на основе гармонического анализа / Е. М. Лапшенков // Компьютерная оптика. — 2012.— Т. 36, № 3.— С. 439-447.— URL: https://www. elibrary.ru/item.asp?id=17962892 (дата обращения: 04.08.2020). — Рез. англ.
[24] Новиков, А. И. Исследование операторов подавления помех в виде дискретного белого шума / А. И. Новиков, Д. И. Устюков // Динамика сложных систем — XXI век. — 2017.— Т. 11, № 1.— C. 26-32.— URL: https:// www.elibrary.ru/item.asp?id=29808486 (дата обращения: 04.08.2020). — Рез. англ.
[25] Кендалл, М. Дж. Многомерный статистический анализ и временные ряды / М. Дж. Кендалл, А. Стьюарт. — М.: Наука, 1976.
[26] Novikov, A. I. The Formation of Operators with Given Properties to solve Original Image Processing Tasks / A. I. Novikov. — DOI 10.1134/S1054661815020194 // Pattern Recognition and Image Analysis.— 2015.— Vol. 25, №
2.— Pp. 230-236.— URL: https://link.springer.com/ article/10.1134/S1054661815020194 (дата обращения: 04.08.2020).
[27] Тихонов, А. Н. Методы решения некорректных задач / А. Н. Тихонов, В. Я. Арсенин. — М.: Наука, 1986.
Поступила 04.08.2020; одобрена после рецензирования 27.10.2020; принята к публикации 13.11.2020.
Об авторах:
Новиков Анатолий Иванович, профессор кафедры высшей математики, профессор кафедры электронных вычислительных машин, ФГБОУ «Рязанский государственный радиотехнический университет имени В.Ф. Уткина» (390005, Российская Федерация, г. Рязань, ул. Гагарина, д. 59/1), доктор технических наук, доцент, ORCID: http://orcid.org/0000-0002-8166-8234, novikovanatoly@yandex.ru
Пронькин Антон Викторович, магистрант кафедры электронных вычислительных машин, ФГБОУ «Рязанский государственный радиотехнический университет имени В.Ф. Уткина» (390005, Российская Федерация, г. Рязань, ул. Гагарина, д. 59/1), ORCID: http://orcid.org/0000-0003-2832-7462, antoniopronkin@mail.ru
Устюков Дмитрий Игоревич, ассистент кафедры электронных вычислительных машин, ФГБОУ «Рязанский государственный радиотехнический университет имени В.Ф. Уткина» (390005, Российская Федерация, г. Рязань, ул. Гагарина, д. 59/1), ORCID: http://orcid.org/0000-0002-4848-8936, ustukov. mail@ya.ru
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] Kostyashkin L.N., Nikiforov M.B. Obrabotka izobrazhenij v aviacionnyh sistemah tehnicheskogo zrenija [Image Processing in Aeronautical Vision Systems]. Fizmatlit, Moscow; 2016. (In Russ.)
[H] Aviacionnye sistemy uluchshennogo i sintezirovannogo vid-enija: analiticheskij obzor po materialam zarubezhnyh infor-macionnyh istochnikov [Aviation systems of improved and synthesized vision: Analytical review based on the materials of foreign information sources]. ed. by Fedosov E.A., comp. Vizilter Yu.V. et al. GosNIIAS, Moscow; 2011. (In Russ.)
[3] Kumar N., Kashyap S., Naidu V., Gopalratnam G. Integrated Enhanced and Synthetic Vision System for Transport Aircraft. Defence Science Journal. 2013; 63(2):157-163. (In Eng.) DOI: https://doi.org/10.14429/dsj.63.4258
[4] Furman Ya.Ya., Krevetskiy A.V., Peredreev A.K., Rozhentsov A.A., Khafazov R.G., Egoshina I.L., Leukhin A.N. Vvedenie v kon-turnyj analiz; prilozhenija k obrabotke izobrazhenij i signalov [Introduction to contour analysis; applications for image and signal processing]. Fizmatlit, Moscow; 2003. (In Russ.)
[5] Loginov A.A., Novikov A.I., Sablina V.A., Shcherbakova O.V. Complex contour analysis feasibility study of contour clas-sifiation and superimposition problems. Vestnik of Ryazan State Radioengineering University. 2013; (43):20-24. Available at: https://www.elibrary.ru/item.asp?id=18886604 (accessed 04.08.2020). (In Russ., abstract in Eng.)
Современные информационные технологии и ИТ-образование
Том 16, № 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
A. V Noviko°v, RESEARCH AND DEVELOPMENT IN THE FIELD OF
A V |pr0vklv, NEW IT AND THEIR APPLICATIONS
D. I. Ustyukov
[6] Novikov A.I., Sablina V.A., Nikiforov M.B., Loginov A.A. The contour analysis and image-superimposition problem in computer vision systems. Pattern Recognition and Image Analysis. 2015; 25(1):73-80. (In Eng.) DOI: https://doi. org/10.1134/S1054661815010149
[7] Efimov A.I., Novikov A.I. An algorithm for multistage projective transformation adjustment for image superimposition. Computer Optics. 2016; 40(2):258-266. (In Eng.) DOI: https://doi.org/10.18287/2412-6179-2016-40-2-258-265
[8] Tomasi C., Manduchi R. Bilateral filtering for gray and color images. In: Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271). Bombay, India; 1998. p. 839-846. (In Eng.) DOI: https://doi.org/10.1109/ ICCV.1998.710815
[9] Yang Q., Tan K., Ahuja N. Real-time O(1) bilateral filtering. In: 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA; 2009. p. 557-564. (In Eng.) DOI: https://doi.org/10.1109/CVPR.2009.5206542
[10] Canny J. A Computational Approach to Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986; PAMI-8(6):679-698. (In Eng.) DOI: https://doi. org/10.1109/TPAMI.1986.4767851
[11] Gribkov I.V., Zakharov A.V., Koltsov P.P., Kotovich N.V., Kravchenko A.A., Kutsaev A.S., Osipov A.S. On some issues of the quantitative performance evaluation of edge detectors. Programmnye produkty i sistemy = Software & Systems. 2011; (4):13-19. Available at: https://www.elibrary.ru/ item.asp?id=17679097 (accessed 04.08.2020). (In Russ., abstract in Eng.)
[12] Zakharov A.V., Koltsov P.P., Kotovich N.V., Kravchenko A.A., Kutsaev A.S., Osipov A.S. On some methods of comparative study of edge detectors. Trudy NIISI RAN = Proceedings of SRISA RAS. 2012; 2(1):4-13. Available at: https://www.eli-brary.ru/item.asp?id=22964684 (accessed 04.08.2020). (In Russ., abstract in Eng.)
[13] Koltsov P.P., Osipov A.S., Kutsaev A.S., Kravchenko A.A., Kotovich N.V., Zakharov A.V. On the quantitative performance evaluation of image analysis algorithms. Computer Optics. 2015; 39(4):542-556. (In Eng.) DOI: https://doi. org/10.18287/0134-2452-2015-39-4-542-556
[14] Maini R., Aggarwal H. Study and Comparison of Various Image Edge Detection Techniques. International Journal of Image Processing. 2009; 3(1):1-11. Available at: https://www. cscjournals.org/library/manuscriptinfo.php?mc=IJIP-15 (accessed 04.08.2020). (In Eng.)
[15] Gonzalez R.C., Woods R.E. Digital Image Processing. 3rd Edition. Pearson; 2007. (In Eng.)
[16] Novikov A.I., Pronkin A.V. Detector of gradient type borders for understanding surface images. Bulletin of the Ryazan State Radio Engineering University. 2019; (68):68-76. (In Russ., abstract in Eng.) DOI: https://doi. org/10.21667/1995-4565-2019-68-2-68-76
[17] Donoho D.L. De-noising by soft-thresholding. IEEE Transactions on Information Theory. 1995; 41(3):613-627. (In Eng.) DOI: https://doi.org/10.1109/18.382009
[18] Olsen S.I. Noise variance estimation in images. In: Proceedings of the 8th Scandinavian Conference on Image Analysis. Troms, Norway; 1993. (In Eng.)
[19] Kumar R., Kumar N., Jung K.H. Color image steganography scheme using gray invariant in AMBTC compression domain. Multidimensional Systems and Signal Processing. 2020; 31(3):1145-1162. (In Eng.) DOI: https://doi.org/10.1007/ s11045-020-00701-8
[20] Kovalevsky V. Modern Algorithms for Image Processing: Computer Imagery by Example Using C#. Apress, Berkeley, CA; 2019. (In Eng.) DOI: https://doi.org/10.1007/978-1-4842-4237-7
[21] Amer A., Dubois E. Fast and reliable structure-oriented video noise estimation. IEEE Transactions on Circuits and Systems for Video Technology. 2005; 15(1):113-118. (In Eng.) DOI: https://doi.org/10.1109/TCSVT.2004.837017
[22] Ghazal M., Amer A., Ghrayeb A. Structure-Oriented Spatio-Temporal Video Noise Estimation. In: 2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings. Toulouse, France; 2006. p. 845-848. (In Eng.) DOI: https://doi.org/10.1109/ICASSP.2006.1660475
[23] Lapshenkov E.M. No Reference Estimation of Noise Level of Digital Image is Based on Harmonic Analysis. Computer Optics. 2012; 36(3):439-447. Available at: https://www.eli-brary.ru/item.asp?id=17962892 (accessed 04.08.2020). (In Russ., abstract in Eng.)
[24] Novikov A.I., Ustyukov D.I. Interference suppressor operators researching in a discrete white noise. Dynamics of Complex Systems — XXIcentury. 2017; 11(1):26-32. Available at: https://www.elibrary.ru/item.asp?id=29808486 (accessed 04.08.2020). (In Russ., abstract in Eng.)
[25] Kendall M.G., Stuart A. The Advanced Theory of Statistics. Vol. 3: Design and Analysis, and Time Series. London: Charles Griffin & Co., Ltd; 1966. (In Eng.)
[26] Novikov A.I. The Formation of Operators with Given Properties to solve Original Image Processing Tasks. Pattern Recognition and Image Analysis. 2015; 25(2):230-236. (In Eng.) DOI: https://doi.org/10.1134/S1054661815020194
[27] Tikhonov A.N., Arsenin V.Ya. Metody reshenija nekorrektnyh zadach [Methods for the Solution of Ill-Posed Problems]. Nauka, Moscow; 1986. (In Russ.)
Submitted 04.08.2020; approved after reviewing 27.10.2020; accepted for publication 13.11.2020.
Anatoly I. Novikov, Professor of the Department of Higher Mathematics, Professor of the Department of Electronic Computers, Ryazan State Radio Engineering University named after V.F. Utkin (59/1 Gagarin St., Ryazan 390005, Russian Federation), Dr.Sci. (Engineering), Associate Professor, ORCID: http://orcid.org/0000-0002-8166-8234, novikovanatoly@yandex.ru Anton V. Pronkin, master of the Department of Electronic Computers, Ryazan State Radio Engineering University named after V.F. Ut-kin (59/1 Gagarin St., Ryazan 390005, Russian Federation), ORCID: http://orcid.org/0000-0003-2832-7462, antoniopronkin@mail.ru Dmitry I. Ustukov, Assistant of the Department of Electronic Computers, Ryazan State Radio Engineering University named after V.F. Utkin (59/1 Gagarin St., Ryazan 390005, Russian Federation), ORCID: http://orcid.org/0000-0002-4848-8936, ustukov.mail@ya.ru
All authors have read and approved the final manuscript.
Vol. 16, No. 3. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
