CC BY
52УДК 004.93
Технические науки
Чухраев И. В., к.т.н., доцент кафедры «Информационные системы и сети» Калужский филиал ФГОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский
университет), г. Калуга, Россия Ильичев В. Ю., к.т.н., доцент кафедры «Тепловые двигатели и гидромашины» Калужский филиал ФГОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский
университет), г. Калуга, Россия
РАСПОЗНАВАНИЕ ХАРАКТЕРНЫХ ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ
Аннотация: Исследование посвящено разработке алгоритма и программного кода для достижения цели обнаружения (распознавания) объёкта определённого типа в документе, представленном в графическом виде. Для реализации компьютерного зрения использован язык Python совместно с несколькими библиотеками функций. В качестве основного метода распознавания использован алгорим Хафа (Hough Transform), функции которого входят в модуль OpenCV (cv2). Работа созданной программы продемонстрирована на примере распознавания оттиска печати. Произведена оценка результатов, даны рекомендации для применения и дальнейшего совершенствования алгоритма и программы.
Ключевые слова: компьютерное зрение, распознавание образов, библиотека OpenCV, алгоритм Хафа, язык Python.
Annotation: The study is devoted to the development of an algorithm and program code to achieve the goal of detecting (recognizing) a volume of a certain type in a document presented in graphic form. To implement computer vision, the
Python language is used together with several function libraries. The main recognition method is the Hough Transform algorim, whose functions are included in the module OpenCV (cv2). The work of the created program is demonstrated using the example of print imprint recognition. The results were evaluated, recommendations were made for the application and further improvement of the algorithm and program.
Keywords: computer vision, pattern recognition, OpenCV library, Hough Transform, Python language.
Введение
Распознавание и выделение определённых объектов на статичном или динамически изменяющемся изображении является одной из основных задач так называемого компьютерного зрения [2].
Для языка Python существует программная библиотека OpenCV [4] (имеющая краткое обозначение cv2), позволяющая решать эту задачу, а также применить множество других функций обработки изображений. OpenCV содержит множество алгоритмов детектирования объектов, одним из которых является часто применяемый алгоритм Хафа (Hough Transform) [6], позволяющий путём анализа выделить на изображении простые фигуры -линии, прямоугольники, окружности. При этом определяемый объект описывается параметрическим уравнением, все точки которого последовательно анализируются. При определении принадлежности точки описываемому объекту (соответствии её параметров заданныму уравнению), в накопительный массив добавляется элемент. При достижении некоторого порогового количества элементов в накопительном массиве объект считается распознанным. Дальнейшим математическо-алгоритмическим развитием алгоритма Хафа является так называемое обобщённое преобразование Хафа, при котором объекты на изображении не описываются уравнениями, а сравниваются с предварительно составленными моделями. Его функции также присутствуют в библиотеке OpenCV, однако не нужны для решения задач
описываемого в настоящей статье исследования (их использование будет рассмотрено в других работах авторов).
Можно выделить следующие цели распознавания объектов (образов) на изображениях:
1. определение наличия и типа определённых символов на изображении -например лиц или глаз людей (при видеонаблюдении, управлении мехатронными устройствами с помощью жестов);
2. распознавание картин протекающих физических процессов (ламинарности или турбулентности потоков жидкости, конвективного тепло- и массообмена в теплообменных аппаратах);
3. динамическое слежение за движением определённых целей (при наблюдении за космическими объектами, в оборонной отрасли);
4. сортировка документов.
Целью работы является разработка программы на языке Python, демонстрирующей способ применения преобразования Хафа для распознавания определённого типа объекта на отсканированном изображении документа, осуществляемая как часть цикла научно-исследовательских работ авторов по обработке изображений [10] и компьютерному зрению.
Методы и материалы
Рассмотрим последовательность использования алгоритма Хафа для обнаружения и выделения заданного образа на представленном в виде файла пиксельном изображении. В качестве характерного типа объекта при рассмотрении примера распознавания отсканированного документа примем синюю печать круглой формы. Так как алгоритм Хафа использует параметрическое уравнение, то определимся, что в данном случае характерными параметрами распознаваемого объекта являются форма, цвет, размер.
Для обработки используем размещённый для свободного доступа в сети интернет документ (образец), изображённый на рис. 1.
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ Федеральное бюджетное учреждение «Государственны!) региональный иентр стандартизации, метрологии и испытании в
Московской области» Орехово-Зуевский филиал ФБУ «ЦСМ Московской области» 142608, Московская область, г. Орехово-Зуево, ул. Коминтерна, д. I Тел. 412-16-35 Факс 412-16-35
Аккредитованный Испытательный центр Орехово-Зуевского филняла Федерального бюджетного учреждения «Государственный региональный центр стандартизации, метрологии и испытаний в Московской области» Аттестат аккредитации .4* РОСС RU.0001.21ПТ43 - действителен до 07.04.2016 Аттестат аккредитации Jft ГСЭН. Rl .HOA.023.554 - действителен до 09.06.2015 Свидетельство об аккредитации граждан и организаций, привлекаемых к проведению мероприятий по контролю .V» РОСС Rl .OOOI25.rKI2
ПРОТОКОЛ № 5097/5097-АС-03 от 04.03.2014г.
ИСПЫТУЕМЫЙ ОБРАЗЕЦ: Изделия кожгалантсрсйныс из натуральной кожи: портмоне, кошельки.
визитницы, сумочки для косметики, футляры (обложки для документов, футляры для мобильных телефонов, футляры для ключей), портфели, сумки дорожные, сумки женские (клатчи), сумки мужские (барсетки). саквояжи, панки, дипломаты (кейсы) с маркировкой "KARYA"
Типовой представитель - сумка дорожная (верх - натуральная кожа, подкладка -синтетический текстильный материаз)
5097-АС-03
ИП Тиханович Александр 'Эдуардович
220104 город Минск улица Петра Глебки 112-45. Республика Беларусь 18.02.2014
18 02.2014. -04.03.20141 2 шт.
ТР ТС 017/2011 "О безопасности продукции легкой промышленности" "KARYA"
Nuripasa Mah.Bekir Subasi. Sok 65/1 No 57/2, Zeytinburnu ISTANBUL Турция
РЕЗУЛЬТАТЫ ИСПЫТАНИЙ
Определяемый указатель | Метод испытаний Средства 1 ...... 1 Результаты щмерсниП | испытаний
Органолептичеекн
Интенсивность запаха изделия 1 МУК 4.1/4.3.1485-03 в баллах _ | не более 2 j 0
Токсв колот о-1 мгяеииче скис показатели
Индекс токсичности. % | МУ 1 1037-95 «АТ-05» | 80-120 | 94.7
Фи 1ИКО-1 игиеиическ ie показатели
Разрывная нагрузка крепления ручек. Н. не ГОСТ 28631-2005 ИР 5074-3 90 95
11рочность ниточного шва. Н. не менее ГОСТ 9290-76 ИР 5074-3 40 45
Устойчивость окраски, балл, не менее (средний той окраски)
к мокрому трению ГОСТ 9733 4-83 FAST-O-TESTER 3 4
к сухому трению ГОСТ 9733 27-83 STAININGTESTER 3 4
Напряженность электростатического поля на поверхности изделия, кВ/м, не более МУК 4 1/4 J. 1485-03 СТ-1 IS и
Саннтарно - химические чигряинонны Модельная среда - во Время ЭКС1ЮЗИШН1-24 часа Tes Соотношение плошали поверхности об показатели в воздушную среду «душная среда пература в камере 24°С раз!ш к объему камеры - 1м'/м'
Формальдегид. мг/мЗ, не более ГОСТ 25617-83 КФК-3 0.003 и/о
Лцстальдсгид. мг/мЗ, не более MP № 29 ФЦ/828 ГЖХ «Кристалл 2000М» 0.01 0,001
Димстнлтерефталат. мг/мЗ. не более MP № 29 ФЦ/828 ГЖХ «Кристалл 2000М» 0,01 0.004
Проверенные образцы изделий соответствуют TP ТС 017/2011 "О безопасности продукции легкой промышленности", а части проверенных
РЕГИСТРАЦИОННЫЙ НОМЕР: ЗАКАЗЧИК:
ДАТА ПОЛУЧЕНИЯ ОБРАЗЦА: ДАТА ПРОВЕДЕНИЯ ИСПЫТАНИЙ ОБЪЕМ ПРОБЫ. ПОСТУПИВШЕЙ НА ИСПЫТАНИЯ НД НА ПРОДУКЦИЮ ПРЕДПРИЯТИЕ - ИЗГОТОВИТЕЛЬ
Рис. 1. Пример изображения для реализации функции автоматического обнаружения на нём
образов печатей
Опишем последовательность применения функций распознавания объекта на, реализованную в виде программного кода на языке Python:
1. импорт библиотеки OpenCV (краткое наименование v2), содержащей функции загрузки, преобразования, обработки, распознавания, сохранения изображений;
2. импорт модуля для работы с массивами данных Numpy [11], а также для создания графики Matplotlib [3];
3. применение метода cv2.imread для загрузки файла изображения;
4. преобразование изображения из цветового пространства BGR (синий, зелёный, красный), в котором файл прочитан методом cv2.imread, в удобное для дальнейшей обработки цветовое пространство HSV [1] (тон обозначается в градусах - от 0 до 360 - однако в аргументах команды преобразования — это значение необходимо уменьшить в два раза; насыщенность и яркость, значения которых можно задавать в пределах от 0 до 255 - данные параметры не имеют размерности);
5. выбор нижней и верхней границ возможного цвета детектируемой в документе печати - так как предполагается, что весь документ чёрно-белый, а печать выполнена в сине-фиолетовых тонах, в качестве верхней границы фильтра её цвета выбирается массив numpy, содержащий аттрибуты HSV [130,240,240] для нижней границы фильтра задаётся массив аттрибутов HSV [80,20,20] (из возможного диапазона значений аттрибутов, описанного в п. 4);
6. организация отфильтровывания печатей из документа с использованием вышеуказанных границ её возможных цветов и функции cv2.inRange;
7. выведение изображений печатей в графический файл;
8. преобразование полученного изображения в чёрно-белое с помощью функции cv2.cvtColor;
9. использование функции cv2.GaussianBlur для сглаживания изображения и удаления с него дефектов с целью упрощения его дальнейшей обработки;
10. нахождение на обрабатываемом изображении всех окружностей с помощью функции cv2.HoughCircles (как раз использующей описанный выше алгорим Хафа), имеющей множество аргументов для настройки. Например, в нашем случае необходимо задать минимальный и максимальный диаметр обнаруживаемых окружностей, - для существующих печатей их размер в пикселях предварительно высчитывается исходя из определённого с помощью команды shape разрешения изображения по вертикали и горизонтали и
стандартизированного размера печатей [5], в предположении, что печати размещены на листе формата А4;
11. организация цикла для применения функции cv2.HoughCircles ко всем обнаруженным в п. 6 образам печатей;
12. создание и применение функции для выделения обнаруженных образов на исходном изображении с помощью прямоугольников и записи такого «распознанного» изображения в графический файл.
Пример расчёта
Рассмотрим результаты применения созданного кода программы с целью обнаружения объектов - печатей на отсканированном изображении, представленном на рис. 1.
На рис. 2 представлена часть изображения после обработки с целью отфильтровывания сине-фиолетового изображения печати (результат выполнения п. 7 представленного выше алгоритма).
Рис. 2. Распознанное с помощью цветового фильтра изображение печати на исходном
обрабатываемом документе
Остальное поле первоначального документа формата А4 заполнено чёрным цветом (за исключением мелких дефектов синего цвета), поэтому на рис. 2 приведено только непосредственно выделенное изображение самой печати. Как видно из полученного рисунка, из образца документа выделена и подпись внутри печати, т.к. она также имеет синий цвет (попадающий в цветовой диапазон, определённый в п. 5 алгоритма программы), однако, как будет видно далее, она не помешала распознаванию печати, т.к. задано, что алгоритмом Хафа определяются только круглые элементы образа определённого размера.
На рис. 3 приведён результат обработки первоначального изображения отсканированного документа (после выполнения последней команды описанной программы на Python) (рис. 1) с выделенным на нём распознанным образом оттиска печати.
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРО. ИИ ИИ Федеральное бюджетное учреждение «Государственный ретиональиый центр стаидвртитаиин. метрологии и испытаний в
Московской области» Орехам*-Зу емкий филиал ФБУ «1ДСМ Московской а&нсти» 14260Я. Московская область, г. Орегоао- 1>еви. уд. Коминтерна, д. I Тед. 412-16-35 Факс 412-16-35
Аккредитованный Испытательный центр Орехоао-Туеаскот а филиала Федерального бюджетного учреждения «Гаеуларетаениый региональный иеитр стандйрти)аиин. метрологии и испытаний в Московской области» Аттестат аккредитации М РОСС RI1-0001.21ПТ43 - действителен яо 07.04.2016 Аттестат аккредитации V ГСЭН. m.tWA.02J.SS4 - действителен до 09.06.2015 ('•идетельство об аккредитации граждан и ортаншаций, привлекаемы« к проведению мероприятий по контролю >» РОСС КV.000125.1 KI2
ПРОТОКОЛ S* 5097/5097-АС-03 от 04.03.2014г.
ИСПЫТУЕМЫЙ ОБРАЗЕЦ
РЕГИСТРАЦИОННЫЙ НОМЕР ЗАКАЗЧИК
ДАТА ПОЛУЧЕНИЯ ОБРАЗЦА ДАТА ПРОВЕДЕНИЯ ИС11Ы1АНИЙ ОБЪЕМ ПРОБЫ. ПОСТУПИВШЕЙ НА ИСПЫТАНИЯ НД НА ПРОДУКЦИЮ ПРЕДПРИЯТИЕ - ИЗГОТОВИТЕЛЬ
Ихлелия кожголаитсрейные иг натуральной кожи портмоне. кошельки, иншпшии, с>мочки для косметики, футляры (обложки для документов. футляры для мобильных телефонов, футляры .VIя кдючсЯК портфели, сумки дорожные сумки женские (клатчи^ сумки мужские (барса км). саквояжи. паши, дипломаты |кйсы) с маркировкой "КАКУА"
Типовой пред ставите,«, сумка дорожная (верх - натуральная кожа, подкладка -синтетический текстильный материл:! |
5097-АС-03
ИП Тихонович Александр Эдуардович
220104 (орол Минск у линя Петра Елсбки 112-4$. Респу блика Беларусь II02 2014
1$02.2014 -0403 2014т
IP ГС' 017/201 I "О бскшанкхти продукции к-ной промышленности' 'KARYA*
Nuiipau Mali Bckir Sühn«. Sc* 65 I No 57/2. /еуплЬмгпи ISTANBUL Турция РЕЗУЛЬТАТЫ ИСПЫТАНИЙ
Определяемый нокптль Мстил ипшгияИ Средства НШВЧ1— ПДК м нормм Pel) льготы
Омана мипечгекм
Иитенсимюсгь икихв итделмя ■ 0К1ЛЯ1 МУК 4.1/4 J. 14154)3 - небо ice 2 0
TufcCNMLIHI O-l и« МГНИЧГ «кме luiuuK.ia
Hilter с тшкичшхги % МУ 1 1 037-95 «AT-05» •0-120 947
Ф» fcNb'O-4 II 1 WHU4CI к не HiM.aiait.iH
Рпрыанаа нагрутка крспясниа ручек. И. не менее ГОСТ 2*6J1 -2005 ИР 5074-3 * 95
Прочное lb штомкно uiu И не менее ГОСТ 92W-Tfc ИР 5074-3 « 45
Устойчивость описки, балл. не менее (.средний тшоарасаи)
■ »ii>tcp ■Ч-. ipCIIHM) EOCT 9733.4-43 Г AST-O-TCSTfR ) 4
■ сумму трению ГОСТ 97)3 2743 SlAININ<¡IKSItR 3 4
Напряженность ллектростатчесиаго поля на r>ecpwDcn Kiac in«. кВ м. нс более МУК 4 1/4 3 1485-03 CT-i 13 14
Моде um* среди ас Нремя мкпомацин-24 «на 1ем ( iMiiMiHueiK нюшаин поверхности ofi HMiiitiUN а мцуии)п среду utuiHH среда перапра • ымсрс 14t pauu ь иОьсчл »nwp« - ImVm'
•Хкфма u.icmll «i '«•'. не боясе ГОСТ 2M.I7-U КФК-3 11,003 но
Лцслиьлсгмд, иг м), w 6o.«x MP 2V ФЦ828 ГЖХ «Кринки ЗОООМа 0.01 0,001
Лимпн irrpe^iiiui i«*h3. неболее МРМг29ФЦ'К28 ГЖХ «Крнсшм 200061. 0.01 0,004
Проверенные образин южаий ишн1Ч»>кч IT ТС 017/2011 Ч) бемшаежхти продкими легкой про iK«asm.Mtt Протокол pací
мгтея только и
Ретультаты неелмоямип подтверждаю Нпалыаа испытательною центра
Отястс таенный м протокол
(ерпкчятка протокола морским«
Фромма И В
Вилкам И Ф
Рис. 3. Обработанный с помощью программы документ с выделенным распознанным
образом оттиска печати
Полученный результат работы созданной программы позволяет сделать вывод, что контуры образа распознанной печати выделены достаточно качественно.
Заключение
Разработанный алгоритм и программа распознавания изображения с использованием технологий компьютерного зрения (в частности, алгоритма Хафа) и языка Python позволяет продемонстрировать уверенное достижение цели, поставленной в работе.
При этом не были использованы такие сложные технологии как например нейросети, ставшие уже стандартным решением в случае распознавания образов. Это является большим преимуществом рассмотренной в работе технологии, так как она позволяет выполнить распознавание гораздо более простыми приёмами, доступными даже людям, не являющимися профессионалами в данной области знаний. При этом доступен гибкий подбор параметров функций, используемых в алгоритме.
Разработанный алгоритм и написанная на его основе программа позволяет распознавать образы объектов на неподвижных изображениях. Однако, после некоторой модификации кода можно производить распознавание и динамических картин [12]. Описанный алгоритм можно использовать не только для распознавания печатей в отсканированных документах, но и других объектов в совершенно разных областях науки, техники и производств. Например, его можно рекомендовать для использования в робототехнике [9] и в интернет-приложениях [8]. Однако, следует отметить некоторые ограничения метода: он может применятся только для распознавания цветных и достаточно чётких элементов изображений.
Также описанная в статье программа может применяться для обучения работы с использованными в ней библиотеками языка Python [7].
Библиографический список:
1. Гнатушенко В.В., Шевченко В.Ю. Наложение аэрокосмических изображений высокого пространственного разрешения на основе hsv-преобразования и вейвлет-декомпозиции. // Вестник Херсонского национального технического университета. 2014. № 3 (50). С. 127-131.
2. Гриценко А.В., Дорошенко Н.С. Исследование и классификация методов распознавания изображений в системах компьютерного зрения. // Вестник Ставропольского государственного университета. 2011. № 4. С. 84-89.
3. Ильичев В.Ю., Лужецкий А.А. Методика технико-экономического обоснования применения пластинчатых рекуператоров в малоразмерных ГТУ. // Научное обозрение. Технические науки. 2021. № 1. С. 40-45.
4. Магамедова Д.М. OpenCV - инструмент компьютерного зрения. // Тенденции развития науки и образования. 2020. № 63-3. С. 42-48.
5. Размеры штампов и печатей. [Электронный ресурс]. URL: https://s-d77.ru/blog/razmery-shtampov-i-pechatey/ (Дата обращения 14.08.2021 г.).
6. Свирский С.Н. Алгоритмы детекции простейших геометрических фигур. // Инновационные технологии: теория, инструменты, практика. 2014. Т. 2. С. 311-315.
7. Таршхоева Ж.Т. Язык программирования Python. Библиотеки Python. // Молодой ученый. 2021. № 5 (347). С. 20-21.
8. Юсупов Р.М., Юсупов Ю.В. Состояние и перспективы развития информатики. // Труды СПИИРАН. 2007. № 5. С. 10-46.
9. Яковлева Т.А., Конради Т.А. Робототехника в процессе обучения. // Инновационные технологии в науке и образовании. 2015. № 3 (3). С. 143-145.
10. Ilichev V.Y. Development of program for determination of fractal dimensions of images. // International Research Journal. 2021. № 4-1 (106). С. 6-10.
11. Ilichev V.Yu. Development of procedure for determination of characteristics of heated polycarbonate greenhouses. // International Research Journal. 2021. № 2-1 (104). С. 132-135.
12. Raevsky Vladimir, Nasonov Dmitry, Ilichev Vladimir. Some recommendations for the calculation of pneumatic engines taking into account the smooth stop. // Vibroengineering PROCEDIA, Vol. 38, 2021, p. 166171. https://doi.org/10.21595/vp.2021.22064.
