CC BY
18Телевизионные системы, передача и обработка изображений
УДК 004.932
АЛГОРИТМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ДЛЯ ОБНАРУЖЕНИЯ ОБЪЕКТОВ
С ИСПОЛЬЗОВАНИЕМ НЕЧЁТКИХ ПРИЗНАКОВ
Пугин Егор Владимирович
старший преподаватель кафедры «Программная инженерия» Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет
имени А.Г. и Н.Г. Столетовых». E-mail: egor.pugin@gmail.com.
Жизняков Аркадий Львович
доктор технических наук, профессор, первый заместитель директора, заведующий кафедрой «Программная инженерия» Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет имени А.Г. и Н.Г. Столетовых».
E-mail: lvovich1975@mail.ru.
Адрес: 602264, Российская Федерация, Владимирская обл., г. Муром, ул. Орловская, д. 23.
Аннотация: В статье предложены алгоритмы обнаружения объектов и измерения геометрических размеров объектов на цифровых изображениях, отличающиеся использованием нечётких признаков. Описано получение нечёткого представления изображения, алгоритм бинаризации и методы выделения геометрических признаков. Подход протестирован на изображениях дефектов поверхностей металлов.
Ключевые слова: нечёткая обработка изображений, нечёткое представление изображения, нечёткие признаки изображений, бинаризация изображений, геометрические признаки.
Введение
Обнаружение объектов является важной задачей в области обработки и анализа изображений. Оно широко используется при обработке радиолокационных изображений, дефектоскопических снимков материалов, распознавании движения, лиц, в задачах отслеживания объектов.
В задачах обработки, анализа и распознавания изображений используют характерные признаки изображений [1-6]. С ростом производительности ЭВМ стало возможным использование более сложных алгоритмов в целях повышения качества обработки. Одним из таких направлений является обработка и анализ изображений с использованием нечётких признаков, основанных на нечётких множествах. В этом случае переходят от обычных к нечётким признакам изображения. Основы теории не-
чётких множеств и теории нечёткой логики были заложены в работах Л. Заде [7, 8]. Более подробное методы формирования нечётких признаков рассмотрены в [9].
В данной работе рассматривается получение нечёткого представления изображения, основанного на нечётких пикселях, алгоритме бинаризации изображений и методе выделения геометрических признаков объекта. Тестирование выполнено на примере измерения поверхностных дефектов материалов с использованием нечётких признаков изображения.
Нечёткое представление изображения
Для того чтобы извлечь нечёткие признаки цифрового изображения, необходимо получить нечёткое представление изображения. Нечёткие признаки должны быть выражены через некоторые нечёткие множества и характеризо-
ваться функциями принадлежности этим множествам. Для получения нечётких множеств предлагается переход к нечёткой форме изображения, то есть представления его точек в нечётком виде.
Нечёткое представление изображения -изображение, точки которого описаны с помощью функций принадлежности нечётким множествам. Оператор преобразования 0/[-] непрерывного изображения F в нечёткую форму М выглядит следующим образом М = 0f[F\.
Для дискретного случая
у{х, у) = Opf[f(x,y),F], где ^(х, у) является функцией принадлежности пикселя изображения; 0р/[-] - оператор поточечного преобразования. Из выражения видно, что в этом случае могут использоваться другие точки изображения для повышения уровня неопределённости.
Под нечётким признаком Xf будем понимать некоторую характеристику цифрового изображения X, которая дополняется функцией принадлежности ^а(Х) тому или иному нечёткому множеству А
Xf = {X, rf)}, А = {(х, цА(х)) | х е Z}. (1)
На основе теории нечётких множеств было разработано большое число производных теорий. Поэтому необходимо различать понятия нечёткого признака изображения в широком и узком смысле.
Нечёткий признак первого типа - нечёткий признак, имеющий функцию принадлежности нечёткому множеству первого типа (1).
Известно большое число видов функций принадлежности. Среди них необходимо выбирать те, которые удовлетворяют следующим условиям:
lim ^(F(x,y)) = 0,
L — l
\i(F(x,y)) dl > 0, l е [0; L — 1],
о
3! l | ц(1) = 1.
I
Сюда можно отнести треугольную, гауссо-образную, трапециевидную, колоколообраз-ную, л>функцию и другие. В простейшем случае будем использовать -функцию (рис. 1)
а + Ь а + Ь
п(х,а,Ь,с) =
s(x, а,
~),х<
2
а+Ь а+Ь
s(x,—-—,Ь),х >
(2)
22
которая в свою очередь основана на s-функции
0, х < а,
s(x,a,b,c) =
х — а* b — а ' х — Ь2
а < х <
а + Ь
b — а
1,
а + Ь 2
b < х
<x<b,
Формирование нечёткого представления изображения
Для формирования нечёткого представления изображения необходимо взять или получить эталонное изображение Fe. В зависимости от его значений яркости будет рассчитываться неопределённость соответствующей точки нечёткого представления. В случае формирования эталонного изображения этот процесс может быть представлен следующим образом
¥е = Ода,
где Ое(Р) - некоторый оператор получения эталонного изображения.
Одним из способов получения эталонного изображения является фильтрация исходного изображения Ое = 0/^)
Ре = ода,
где 0/^) - некоторый оператор фильтрации.
Например, при использовании усредняющего фильтра яркость пикселя эталонного изображения будет равна
1 Ы
fe(x,y) = 1^/гO,y),
г=1
где N - количество точек в окрестности точки /(х, у); fi(x, у) - точка из окрестности.
После получения эталонного изображения необходимо перейти к нечётким пикселям. Для этого следует выбрать функцию принадлежно-
—1-г~
0 6
0.4
0.2
140
150
170
180
190
200
21С
Рис. 1. я-функция принадлежности нечёткого пикселя изображения. Моделируемое значение яркости 1т = 175 (ß(lm) = 1) больше текущего 1С = 170.
сти каждой точки ^(/(х, у)) и найти её значения
у{х, у) = М/(х, У)) = О/^], где ОД-] - оператор формирования функций принадлежности.
Сам нечёткий пиксель представляет из себя пару: исходное числовое значение и функцию принадлежности данной точки
Ри = (/(*, У)Жх, у)). (2)
В более общем случае нечёткий признак ^типа содержит числовое значение и функцию принадлежности ^типа для этого числа
Р/ = (/(*, У),^(х, У)). Матрица соответствующих нечётких пикселей и будет являться нечётким представлением и изображения.
Алгоритм бинаризации
1. На первом шаге необходимо получить нечёткое представление изображения. Для оценки степени нечёткости точки используем медианный фильтр [10]. В качестве функции принадлежности будем использовать тс-функцию (2).
2. Далее следует отфильтровать «доверенные» точки, то есть такие точки с координатами (х,у), для которых
^№,У)) > а, где а - некоторый порог или а-срез функции неопределённости Данное значение необходимо выбирать в зависимости от модели шума на исходном изображении. При этом формируется вспомогательное изображение
рг л _ (^УЖ^У^ > а' ^(Х,У)_{ЬГ, ^(х,у)) < а,
где Lf - некоторый индикатор, для которого можно задавать значения минимальной (0) или максимальной (Ьтах) интенсивности. При наличии технической возможности следует задавать для Lf значение, не совпадающее ни с одним из уровней яркости, например, -1, чтобы исключить ошибки при последующей обработке.
3. Далее для полученного изображения Ft(x,y) находят гистограмму Н. При этом следует исключить те точки, которые были заполнены значениями Lf. Данная гистограмма представляет собой отфильтрованную гистограмму исходного изображения. На неё снижено действие шума за счёт использования нечёткого представления изображения. Число пикселей уменьшено до числа «доверенные» точек.
4. Для нахождения порогового значения Т по гистограмме Н воспользуемся методом Оцу
Т = О^и(Я).
Выделение геометрических признаков
На бинаризованном изображении необходимо найти все объекты с помощью метода связных компонент. На следующем этапе необходимо найти контур объектов. Далее выделяют и рассчитывают следующие признаки:
1. длина объекта I;
2. ширина объекта ш;
3. площадь объекта 5 в пикселях;
4. площадь прямоугольника, описанного вокруг объекта,
(Хтах Хт1п)(Утах Утт).
Единицы измерения - пиксели. Для перевода в физические величины (сантиметры, мил-
лиметры), необходимо выполнить преобразование, связывающее размер пикселя и разрешение снимка.
Значения данных признаков должны прикрепляться к снимку и сохраняться в БД для дальнейшего использования. Решение о пригодности продукции к эксплуатации может приниматься на основе результата классификатора о типе дефекта [11] и полученных значениях признаков.
Тестирование
В ходе производства железнодорожной продукции осуществляется контроль качества различными методами. Виды неразрушающего контроля описаны в стандарте ГОСТ 18353-79 «Контроль неразрушающий. Классификация видов и методов». Одними из основных видов неразрушающего контроля являются визуально-измерительный контроль и ультразвуковой контроль. Для осуществления визуально-измерительного контроля предназначен «РД 03-606-03. Инструкция по визуальному и измерительному контролю», утверждённый постановлением Госгортехнадзора России от 11.06.03 № 92. Согласно данной инструкции визуально-измерительный контроль проводят невооружённым глазом и (или) с применением визуально-оптических приборов до
20-кратного увеличения (луп, микроскопов, эндоскопов, зеркал и др.).
Большинство дефектов, обнаруживаемых при помощи визуально-измерительного контроля, являются поверхностными дефектами, которые, в свою очередь, представляют собой неоднородности на фоне остального материала (включения, царапины и др.). Измерение раз-
меров дефектов или неоднородностей необходимо для оценки возможности допуска продукции до эксплуатации или оценки степени повреждения эксплуатируемых элементов ж/д путей.
По мере развития высокоскоростных железнодорожных магистралей растут требования к качеству продукции. В этом случае на помощь приходят автоматизированные информационные системы, анализирующие цифровые снимки материалов, рельсов, стрелочных переводов на предмет дефектов. Рассмотрим процедуру измерения дефекта на изображении материала железнодорожной продукции.
Исходное изображение дефекта «выкрашивание металла» на рамном рельсе стрелочного перевода показано на рис. 2, а. На первом этапе происходит получение нечёткого представления изображения. Затем выполняют операцию бинаризации по алгоритму, описанному ранее. Результат при этом представлен на рис. 2, б. Находят контуры объектов (рис. 2, в). На контуры может быть наложено ограничение по минимальному размеру для отсеивания ложных срабатываний в виде мелких объектов. На последнем этапе выполняют измерение отобранных объектов (рис. 2, г).
Видно, что были найдены и выделены два наиболее крупных объекта. Значения признаков сведены в таблицу 1.
Заключение
В работе предложен метод обнаружения и измерения геометрических размеров дефектов материалов с использованием в задачах контроля качества выпускаемой железнодорожной
Таблица 1. Значения признаков объектов
Признак Объект 1 (большой) Объект 2 (малый)
Длина 1 101 43
Ширина объекта ш 80 26
Площадь объекта 5 5103 512
Площадь прямоугольника Бг 7728 1064
а) исходное
т
б) бинаризованное
I
f <3"
и
J
I
f.
V v v •
ft* e
I
од
»Pi??4
r.
* ''л
I
*
1
r <3*
к S3*
iSn-'-i» fo
IS
в) контуры
г) объекты и их размеры
Рис. 2. Изображение дефекта «выкрашивание металла»
продукции, отличающийся использованием нечётких признаков. Описано получение нечёткого представления изображения, алгоритм бинаризации и выделение геометрических признаков. Данный подход протестирован на изображениях дефектов поверхностей металлов.
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ (Госзадание ВлГУ ГБ-1187/20).
Литература
1. Lee J.-S. Digital image smoothing and the sigma filter // Computer vision, graphics, and image processing. 1983. Vol. 24. No. 2. Pp. 255-269.
2. Wang Z., Zhang D. Progressive switching median filter for the removal of impulse noise from highly corrupted images // IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing. — 1999. Vol. 46. No. 1. Pp. 78-80.
3. Privezentsev D.G., Zhiznyakov A.L. Use of characteristic image segments in tasks of digital image processing // 2015 International Conference "Stability and Control Processes" in Memory of V.I. Zubov (SCP). Institute of Electrical, Electronics Engineers (IEEE). 2015. DOI: 10.1109/SCP.2015.7342236
4. Zhiznyakov A.L., Privezentsev D.G., Zakha-rov A.A. Using fractal features of digital images for the
detection of surface defects // Pattern Recognition and Image Analysis. Jan. 2015. Vol. 25. No. 1. Pp. 122-131.
5. Privezentsev D.G., Zhiznyakov A.L., Pu-gin E. V. Development of fuzzy fractal representation of the image // CEUR Workshop Proceedings. IP-ERS-ITNT 2018 - Proceedings of the International Conference on Information Technology and Nanotech-nology - Session: Image Processing and Earth Remote Sensing. 2018. Pp. 309-315.
6. Development of a hierarchical representation of a digital image based on a fuzzy fractal model / A. L. Zhiznyakov [et al.] // 18th International Multidiscipli-nary Scientific Geo Conferences SGEM 2018. Conference proceedings. 2018. Pp. 309-316.
7. Zadeh L.A. Fuzzy sets // Information and Control. 1965. Vol. 8. No. 3. Pp. 338-353.
Поступила 12 мая 2020 г.
8. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 166 с.
9. Пугин Е.В., Беляев С.Ю. Подходы к формированию нечётких признаков в задачах цифровой обработки изображений // Методы и устройства передачи и обработки информации. 2018. № 20. С. 80-85.
10. Пугин Е.В., Жизняков А.Л. Алгоритм нелинейной фильтрации на основе нечеткого представления изображения // Телекоммуникации. 2020. № 6. С. 14-22.
11. Садыков С.С., Кульков Я.Ю. Распознавание отдельных тестовых и реальных плоских объектов на основе безразмерных признаков выпуклых оболочек // Телекоммуникации. 2017. № 3. С. 28-35.
English
IMAGE PROCESSING ALGORITHMS FOR DETECTING OBJECTS USING FUZZY FEATURES
Egor Vladimirovich Pugin - Senior Lecturer, "Software Engineering" Department, Murom Institute (branch) "Vladimir state University named after A. G. and N. G. Stoletovs".
E-mail: egor.pugin@gmail.com.
Arkady Lvovich Zhiznyakov - Doctor of Engineering Sciences, Professor, first Deputy Director, Head of "Software engineering" Department, Murom Institute (branch) Vladimir State University named after A.G. and N.G. Stoletov.
E-mail: lvovich1975@mail.ru.
Address: 602264, Russian Federation, Vladimir region, Murom, Orlovskaya St., 23.
Abstract: In the tasks of processing, analysis and recognition of images the characteristic features of images are used. The growing productivity of modern information systems allows the use of more complex algorithms for processing and analyzing digital images. One of the promising areas in digital image processing is processing based on the theory of fuzzy sets and fuzzy logic. The article suggests approaches to the formation of fuzzy signs of digital images. The necessary definitions of fuzzy features of the image are introduced. Obtaining a fuzzy representation of the image is considered. Methods of forming membership functions are described, and the required restrictions are imposed on them. A description of a fuzzy feature in the form of a pair of a classic numerical value and a membership function of a fuzzy set is given. It is proposed to use fuzzy intervals as a mathematical description of these membership functions. The article proposes a method for detecting and measuring the geometric dimensions of material defects using quality control problems for railway products, characterized by the use of fuzzy features. Obtaining a fuzzy representation of the image, the binarization algorithm and the allocation of geometric features are described. With the development of high-speed railways, requirements for product quality are growing. In this case, automated information systems come to the rescue, analyzing images of materials, rails, crosspieces for defects. The proposed approach is tested on images of defects in metal surfaces.
Keywords: fuzzy image processing, fuzzy image representation, fuzzy image attributes, image binarization, geometric features
This work was financially supported by the Ministry of Science and Higher Education of the Russian Federation (State task of VlSU GB-1187/20).
References
1. Lee J.-S. Digital image smoothing and the sigma filter. Computer vision, graphics, and image processing. 1983. Vol. 24. No. 2. Pp. 255-269.
2. Wang Z., Zhang D. Progressive switching median filter for the removal of impulse noise from highly corrupted images. IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing. 1999. Vol. 46. No. 1. Pp. 78-80.
3. Privezentsev D.G., Zhiznyakov A.L. Use of characteristic image segments in tasks of digital image processing. 2015 International Conference "Stability and Control Processes" in Memory of V.I. Zubov (SCP). Institute of Electrical, Electronics Engineers (IEEE). 2015. DOI: 10.1109/SCP.2015.7342236
4. Zhiznyakov A.L., Privezentsev D.G., Zakharov A.A. Using fractal features of digital images for the detection of surface defects. Pattern Recognition and Image Analysis. Jan. 2015. Vol. 25. No. 1. Pp. 122-131.
5. Privezentsev D.G., Zhiznyakov A.L., Pugin E.V. Development of fuzzy fractal representation of the image. CEUR Workshop Proceedings. IPERS-ITNT 2018 - Proceedings of the International Conference on Information Technology and Nanotechnology - Session: Image Processing and Earth Remote Sensing. 2018. Pp. 309-315.
6. Zhiznyakov A.L. [et al.] Development of a hierarchical representation of a digital image based on a fuzzy fractal model. 18th International Multidisciplinary Scientific Geo Conferences SGEM 2018. Conference proceedings. 2018. Pp. 309-316.
7. Zadeh L.A. Fuzzy sets. Information and Control. 1965. Vol. 8. No. 3. Pp. 338-353.
8. Zadeh L. The concept of a linguistic variable and its application to making approximate decisions. Moscow: Mir, 1976. 166 p.
9. Pugin E.V., Belyaev S.Yu. Approaches to the formation of fuzzy features in the tasks of digital image processing. Metody i ustrojstva peredachi i obrabotki informacii. 2018. No. 20. Pp. 80-85.
10. Pugin E. V., Zhiznyakov A.L. Non-linear filtering algorithm based on fuzzy image representation. Telekom-munikacii. 2020. No. 6. Pp. 14-22
11. Sadykov S.S., Kulkov Ya.Yu. Recognition of individual test and real flat objects based on dimensionless signs of convex shells. Telekommunikacii. 2017. No. 3. Pp. 28-35.
