СРАВНЕНИЕ КЛАССИЧЕСКИХ И ИННОВАЦИОННЫХ МЕТОДОВ ПОИСКА СЛАБОКОРРЕЛИРОВАННЫХ ИНФОРМАЦИОННЫХ ПАТТЕРНОВ В РАСТРОВЫХ ИЗОБРАЖЕНИЯХ Текст научной статьи по специальности «Компьютерные и информационные науки»

Библиографический список

1. Посевин Д.П., Никитин Д.К. «Анализ средств бюджетного протезирования и реабилитации» 64-я Всероссийская научная конференция МФТИ, 2021, 13 стр.

2. Шварц М. Интернет вещей с ESP8266, Издательство: БХВ-Петербург, Санкт-Петербург, 2019 г.

© А.Ю. Кабанов, Д.П. Посевин, 2022

УДК 004.932.72

СРАВНЕНИЕ КЛАССИЧЕСКИХ И ИННОВАЦИОННЫХ МЕТОДОВ ПОИСКА СЛАБОКОРРЕЛИРОВАННЫХ ИНФОРМАЦИОННЫХ ПАТТЕРНОВ В РАСТРОВЫХ

ИЗОБРАЖЕНИЯХ

Митин Григорий Владиславович Mitin Grigory Vladislavovich

Аспирант Graduate student Панов Александр Владимирович Panov Alexander Vladimirovich

к.т.н, доцент Candidate of Technical Sciences, docent РТУМИРЭА RTUMIREA Москва, Россия Moscow, Russia

COMPARISON OF CLASSICAL AND INNOVATIVE METHODS OF WEAKLY CORRELATED INFORMATION PATTERNS SEARCH IN BITMAP IMAGES

Аннотация: В статье приведена классификация методов поиска слабокоррелированных информационных паттернов в растровых изображениях, проведен сравнительный анализ эффективности классических и инновационных методов с применением технологий глубокого обучения, подтвержденные при помощи эксперимента.

Abstract: The article presents a classification of weakly correlated information patterns in raster images searching methods, a comparative analysis of the effectiveness of classical and innovative methods using deep learning technologies, confirmed by experiment.

Ключевые слова: машинное обучение, распознавание образов, сверточная нейронная сеть, гистограмма направленных градиентов.

Keywords: machine learning, pattern recognition, convolutional neural network, histogram of oriented gradients.

Введение

Одним из распространенных направлений применения методов поиска слабокоррелированных информационных паттернов (СКИП) является анализ графических данных, в обиходе также называемый распознаванием образов или техническим зрением. Год за годом они осваивают новые горизонты и с ростом эффективности позволяют решать все более широкий спектр прикладных задач. Сегодня применение подобных технологий возможно во многих отраслях: от подсчета уникальных посетителей торгового центра до подтверждения финансовых транзакций с использованием биометрических данных.

Долгое время методы распознавания целевых СКИП в растровых изображениях ограничивались узко специализированными математическими моделями систем технического зрения, такими как метод Виолы- Джонса или гистограммы направленных градиентов (HOG). Но в последнее время автоматизированный поиск СКИП получил новые возможности с распространением методов машинного обучения (МО). В частности, методы глубокого обучения (подмножество методов МО) позволяют как повысить точность распознавания целевых СКИП в стандартных условиях, так и преодолеть ограничения классических методов, являвшихся препятствиями для широкого применения в сложных «полевых» условиях.

Постановка задачи

В данной статье приведены результаты сравнительного анализа одного из классических методов поиска целевых СКИП в растровых изображениях - метода HOG, и одного из методов глубокого обучения - метода сверточных нейронных сетей CNN.

Эксперимент проведен на наборе растровых изображений, сгруппированных по степени сложности обнаружения целевых СКИП. В ходе эксперимента вычислялась средняя точность обнаружения и среднее время обработки для каждого из выбранных методов на изображениях каждой категории сложности, что позволило сделать вывод об их эффективности.

Реализация алгоритмов поиска СКИП взята из распространенных бесплатных Open Source-библиотек DLIB, OpenCV и face_recognition. Тест произведен на одиночном среднестатистическом ПК. Таким образом, оценен потенциал широкого применения рассмотренных методов на неспециализированном оборудовании.

Классификация методов поиска СКИП

В случае поиска СКИП в графических исходных данных для эффективного решения поставленной задачи часто используются сложные многоуровневые системы, где сложные задачи делятся на ряд подзадач, решаемых на разных уровнях. Подобный подход позволяет решать более сложные задачи и дает возможность оценить точность распознавания на отдельных уровнях.

Так процесс поиска целевых СКИП в графических данных можно разделить на две части: обнаружение и классификацию. Обнаружение - это выделение СКИП из потока входных данных. Классификация - это принятие решения об отнесении обнаруженного элемента СКИП к определенному классу.

Архитектура систем поиска СКИП подразумевает наличие информационной и аналитической частей. Информационная часть занимается описанием объектов поиска и множества классов в терминах конкретной системы. Аналитическая часть обеспечивает принятие решения о классификации СКИП.

Принято выделять три основных подхода к организации информационной части типичной системы поиска СКИП [2]:

•Сравнение с эталоном, заключающееся в простом сопоставлении данных, поступающих на вход распознающего алгоритма, с набором эталонных объектов в каждой заранее определенной категории, с использованием выбранной меры сходства. Это один из простейших подходов к распознаванию целевых СКИП, не требовательный к вычислительным ресурсам. Он может применяться для поиска конечного множества паттернов в устойчивой среде, например, в системах распознавания текста. В приложении к общим методам поиска СКИП, такой подход хорошо сочетается с эвристическими методами принятия решений.

•Кластеризация, заключающаяся в задании свойств СКИП посредством наборов векторов значений в пространстве признаков. При таком подходе, разделение СКИП на категории производится через разделение пространства признаков на области, называемые кластерами или таксонами. Этот подход имеет очень широкую сферу применения. В приложении к общим методам поиска СКИП, такой подход хорошо сочетается с математическими методами принятия решений.

•Общность свойств, предполагающая выявление характерных особенностей, которые объединяют СКИП из целевого набора. Эти особенности записываются в виде структур или функций, отражающих отношения между параметрами СКИП. Свойства СКИП, поступающих на вход, сравниваются с эталонными свойствами, что позволяет характеризовать СКИП. В приложении к общим методам поиска СКИП такой подход хорошо сочетается со структурными и эвристическими методами принятия решений.

Далее рассмотрим аналитическую часть типичной системы поиска СКИП. На Рис.1 представлена авторская классификация распространенных методов анализа СКИП. Синим цветом обозначены классические методы, а черным - методы с использованием технологий машинного обучения.

В ряде случаев допустимо использовать несколько методов анализа СКИП вместе. Так, математические методы используют некоторые эвристики для повышения эффективности, а структурные методы используют инструменты алгебры логики.

Дробящиеся

Полные

Методы эталонов

Рис. 1. Классификация методов анализа СКИП

Методы принятия решений о принадлежности СКИП к определенному виду можно разделить на три направления, которые напрямую соответствуют трем подходам к составлению информационной части, описанным выше:

Эвристические методы. Эти методы требуют принятия ряда неочевидных решений и основываются на опыте и интуиции разработчика, которые он должен реализовать в системе. Как правило, подобные методы слабо формализуемы и обеспечивают эффективное решение специфических задач конкретного типа.

Математические методы [5]. Эти методы опираются на использование классического математического аппарата: методов линейного программирования, корреляционного анализа, теории статистических решений и т.п. Они могут быть приспособлены под любой подход к представлению СКИП, но эффективнее всего применяются в тех случаях, когда признаки СКИП представлены численными измерениями (параметрами), а их связи могут быть описаны в виде аналитических зависимостей.

Структурные (лингвистические) методы [3]. Эти методы применяются в тех случаях, когда искомый СКИП представляет собой некоторую структуру, состоящую из так называемых непроизводных (первичных) элементов и признаков, описывающих связи между ними. В этих методах используется аппарат алгебры логики и теории формальных языков.

Перечисленные направления, в свою очередь, дробятся на группы. Так, эвристические методы делятся на:

Метод эталонов. Этот метод подразумевает установку нескольких «эталонных» объектов классов, представляющих центры классов в пространстве признаков. Разделение на классы производится с применением гиперсферы.

Полные эталоны - это разбиение использует метод «как есть».

Дробящиеся эталоны - это разбиение использует эталоны повышенных порядков в местах пресечения классов.

Метод полной эвристической модели [4]. Этот метод требует выполнения поиска СКИП по набору правил, составленных экспертом. Эти правила должны описывать модель искомого СКИП.

Метод поиска характерных инвариантных признаков. Этот метод предполагает описание признаков искомого СКИП, инвариантных относительно возможных искажений, при помощи комплекса правил, составленных экспертом.

Метод максиминного расстояния. Этот метод подразумевает такой выбор центра кластера, чтобы минимизировать расстояние до элементов кластера и максимизировать расстояние до центров других кластеров.

В общем случае математические методы делятся на статистические и детерминированные. В общем случае детерминированные методы проще для понимания и их легче настраивать для повышения точности, в то время как статистические методы лучше показывают себя, когда границы классов имеют сложную форму или пересекаются.

К детерминированным методам относятся:

Сверточная нейросеть (CNN) [1]. Этот метод является гибким и мощным инструментом анализа. Но он очень ресурсоемкий и требует большую обучающую выборку.

SVM [1]. Это популярный метод классификации на основе разделяющей гиперплоскости, показывающий хорошие результаты при бинарной классификации и имеющий модификации для многоклассовой классификации.

Нечеткая кластеризация [1]. Этот метод подразумевает присваивание объектам степени принадлежности каждому кластеру во всем спектре значений между 0 и 1.

Аномальные кластеры. Этот метод использует стратегию последовательного исчерпания данных, начиная с объекта, наиболее удаленного от центра тяжести всей выборки.

Кластеры по Апресяну или А-кластеры [4]. Этот метод заключается в нахождении так называемых А-кластеров, расстояние между любыми элементами которых меньше, чем расстояние до объектов вне А-кластера.

Матрицы связи. Этот метод подразумевает составление матрицы попарного сходства между объектами выборки и ее разбиения на кластеры.

Метод FOREL. Этот метод реализует агломеративную кластеризацию объектов выборки на основе гиперсфер.

Монотонные кластеры. Этот метод организует такое разбиение на кластеры, что сходство между любым объектом и его кластером окажется больше, чем между тем же объектом и объединением кластеров.

Аппроксимационные кластеры [4]. В этом методе искомый кластер представляется бинарным вектором принадлежности и уровнем интенсивности в виде положительного числа. Он позволяет задавать плотность кластеров, но неприменим к большим выборкам данных.

Бикластеры. Этот метод заключается в поиске бикластеров в матрице признаковых описаний. Бикластером называется пара множеств строк и столбцов, которые проявляют похожее поведение через регулярные интервалы.

К статистическим методам относятся:

Метод ISODATA. Этот метод выделяет больших скоплений объектов, основываясь на методе K-Means и исправляя его недочеты.

Методы построения иерархий.

Агломеративные. Эти методы начинают работу с разбиения множества объектов на кластеры, содержащие только один элемент. Далее происходит объединение ближайших кластеров.

Дивизимные. Эти методы создают кластеры путем разбиения больших кластеров на меньшие части, начиная со всего множества как единого кластера.

Байесовские методы (Naive Bayes). Эти методы основаны на теореме Байеса об условной вероятности. Их достоинства - небольшая обучающая выборка и высокая точность при сложной форме границ классов.

Имитирующие природу алгоритмы. Эти методы используются в задачах оптимизации. К ним относятся:

Генетический алгоритм Этот алгоритм решает задачи оптимизации с помощью моделей естественной эволюции, таких как наследование, мутации, отбор и кроссинговер.

Алгоритм роя частиц. Этот алгоритм моделирует поведение роя. Рой движется в случайном направлении, запоминая наилучшие места из уже посещенных.

Отдельно стоит выделить методы, относящиеся к обоим направлениям:

K-Means. Этот метод минимизирует суммарное расстояние от центра кластера до элементов кластера. Метод чувствителен к выбросам и не гарантирует достижения глобального минимума расстояний до центра кластера.

k-NN. Этот метод заключается в присвоении объекту той же метки класса, что и у большинства его ближайших соседей (количество значимых ближайших соседей задано заранее и равно k).

Также необходимо упомянуть Ансамблевые методы. Их основная идея в объединении нескольких «слабых» классификаторов в один, показывающий лучшие результаты, чем каждый из них по отдельности.

Беггинг. Этот метод основан на генерировании бутстреп-выборки. С ее помощью можно обучать несколько классификаторов на разных элементах одной и той же обучающей выборки, получая конечный результат взвешенным голосованием.

Random Forest. Этот метод заключается в обучении нескольких деревьев решений при помощи беггинга с определением верного ответа выбором большинства голосов.

Бустинг. Этот метод заключается в построении классификаторов каскадом, в котором каждый последующий классификатор исправляет ошибки предыдущего.

Каскады Хаара. Это ключевой элемент метода Виолы-Джонса. Он заключается в обучении каскада классификаторов на признаках Хаара - прямоугольных примитивах распределения яркости.

Каскады LBP. Этот метод использует локальные двоичные шаблоны (LBP) вместо признаков Хаара. Он быстрее, чем каскады Хаара, но менее точен.

Каскады HOG (гистограммы направленных градиентов). Этот метод опирается на допущение, что любой объект на изображении точно описывается распределением градиентов интенсивности. Он более гибкий, чем каскады Хаара и LBP.

Стекинг. Этот метод основан на обучении нескольких разнотипных классификаторов так, чтобы окончательное решение принимал метаалгоритм - классификатор, обучающийся на ответах других классификаторов.

Структурные методы представлены здесь Структурным анализом. Он предполагает ряд шагов:

Предобработка

Кодирование и аппроксимация. Описание объектов представляется в форме, понятной для алгоритмов, с последующим сжатием.

Фильтрация и восстановление. Для выделения искомого объекта или восстановления его свойств, применяется сглаживание или повышение контраста.

Генерация языка описания СКИП

Сегментация. Это разбиение объекта на фрагменты, в зависимости от характера описания. Основным инструментом такого разбиения являются пороговые значения параметров, разделяющие объекты на те, что «выше» и «ниже» порога.

Выбор непроизводных (терминальных) элементов. Необходимо выбрать множество непроизводных элементов, которое позволит описывать искомые СКИП. Такие элементы должны обеспечивать адекватное и сжатое описание исходных данных, и должны быть определимы несинтаксическими методами.

Составление грамматики и синтаксический анализ. Грамматика порождает язык описания СКИП. Описание сводится к преобразованию символа, соответствующего объекту, в цепочку символов, согласно грамматике. Непроизводные элементы не преобразуются. После нескольких итераций образуется предложение. Итогом является предложение из непроизводных элементов.

Сравнительный анализ методов поиска СКИП

Предварительный анализ, базирующийся на вышеприведенной классификации:

Эвристические методы - эти методы, несмотря на свои преимущества, являются непригодными для нашего анализа, ввиду ситуативности применения.

Математические методы - эти методы являются самыми гибкими и предсказуемыми. На этом основании можно говорить о перспективности их анализа. Они демонстрируют наибольшую эффективность в тех случаях, когда целевой СКИП может быть описан некоторой математической зависимостью.

Структурные или лингвистические методы - эти методы используют инструменты теории формальных языков, подразумевающих наличие определенных правил, по которым строится рассматриваемая структура, такая как СКИП. Они демонстрируют наибольшую эффективность в тех случаях, когда целевой СКИП представляет собой некоторую систему, и нужно раскрывать ее детали.

На основании этого считается целесообразным исследовать Структурные методы и Математические методы.

Среди Математических методов стоит выделить:

Детерминированные методы - эти методы являются наиболее требовательными к условиям работы. При выполнении соответствующих условий они показывают стабильно высокие результаты. Среди них стоит выделить метод SVM и «пограничный» метод k-NN. Отдельного внимания заслуживает сверточная нейросеть (метод CNN), имеющая еще большие возможности, но предъявляющая большие требования к ресурсам.

Статистические методы - эти методы по большей части универсальны, хотя и имеют ряд ограничений. Качество результатов менее стабильно, чем у детерминированных методов. Среди них стоит выделить Байесовские методы, методы, использующие генетический алгоритм и алгоритм роя частиц, а также «пограничный» метод k-NN.

Ансамблевые методы - эти методы позволяют сгладить недостатки каждого из составляющих их методов, как Каскады Хаара и Каскады HOG, но требуют больше процессорного времени для работы.

Таким образом, из перечисленных Математических методов для нашего анализа перспективнее всего использовать Каскады HOG и методы машинного обучения CNN, SVM, k-NN, Naive Bayes.

Следует различать методы обнаружения и методы распознавания СКИП - в первом случае производится выделение СКИП из потока информации, а во втором - присвоение найденному СКИП конкретной категории. В данной части рассматриваются методы обнаружения СКИП. При детальном рассмотрении методов машинного обучения выяснилось, что все выбранные методы МО кроме CNN предназначены для анализа СКИП, но не для их обнаружения. После ряда предварительных тестов было

принято решение о проведении экспериментального сравнения эффективности Каскадов HOG и метода CNN, как наиболее показательных представителей классических и инновационных методов поиска СКИП, пригодных для растровых изображений.

Тестирование проводилось на наборе данных, разделенном по сложности распознавания целевых СКИП на 13 категорий по 10-20 объектов в каждой. Каждая категория соответствует характерным искажениям объектов и имеет рейтинг сложности обнаружения по шкале от 0 до 99. Рейтинг категорий является экспертной оценкой, отражающей сложность в целом, а не какой-либо конкретный вычислимый аспект сложности.

Целевыми СКИП на входных растровых изображениях были выбраны лица людей, что отражает наиболее популярную в наше время задачу для поиска СКИП в графических данных.

Как показал эксперимент, для обоих типов методов время обработки не зависит от категории сложности. Для каскадов HOG этот параметр колебался от 0.35 до 0.36 секунд на объект, для CNN от 50.18 до 51.52 секунд на объект.

Точность распознавания СКИП для каждого объекта вычислялась по следующей формуле:

где pf - количество СКИП, верно определенных детектором, pr - количество СКИП, которое присутствовало на объекте. Чтобы абстрагироваться от количества объектов, для оценки точности распознавания на категории объектов использовалась средняя точность на категории, которая вычислялась по следующей формуле:

™rtn -

I Г-1*

(2)

где п - количество объектов данной категории, Лг - точность распознавания конкретного объекта, г =

1..п.

Как показал эксперимент, в отличие от времени распознавания, точность распознавания существенно отличается в зависимости от категории сложности. Полученные данные приведены в Таб. 1 и на Рис. 2.

КАТЕГОРИИ СЛОЖНОСТИ

Рис. 2. Результаты эксперимента.

Как можно видеть из полученных экспериментальных данных, точность метода CNN практически во всех категориях превышает точность каскадов HOG. В трех категориях из тринадцати у каскадов HOG

прослеживается серьезный провал в точности распознавания, в то время, как метод CNN не продемонстрировал затруднений в этих категориях.

Во время эксперимента в распознаваемых категориях точность метода CNN не опускалась ниже 50% точности, доходя до 97% в «легких» категориях. Это говорит об общей стабильности метода и его устойчивости к изменению качества входных данных. Каскады HOG показали большой разброс точности распознавания с резкими провалами в отдельных категориях - от 5% до 93%, что говорит об ограничениях в качестве входных данных для применения метода.

Вывод

Метод сверточной нейросети (CNN), являющийся общим методом глубокого обучения, показал высокую точность при решении задач поиска целевых СКИП в применении к графическим данным. Его точность значительно превзошла точность специализированного классического метода распознавания СКИП для растровых изображений - Каскадов HOG. Метод CNN также показал себя устойчивым к некоторым видам искажений исходных данных, с которыми не справился классический метод HOG. Это показывает что метод сверточной нейросети универсален и имеет большую гибкость и адаптируемость, чем классические целевые методы. Однако, он предъявляет высокие требования к вычислительным ресурсам, что необходимо учитывать при подборе метода для конкретных прикладных задач и условий их выполнения.

Таблица 1

Средняя точность распознавания целевых СКИП_

Категория HOG CNN

10 Анфас 0.93 0.96

20 Открытый рот 0.88 0.97

30 Рот заслонен 0.68 0.95

40 Глаза закрыты 0.42 0.94

45 Головной убор 0.75 0.91

50 Плохая освещенность 0.35 0.85

55 Нестандартный угол 0.08 0.83

60 3\4 оборота 0.42 0.81

70 Лицо заслонено 0.39 0.63

75 Много лиц 0.28 0.57

80 Профиль 0.05 0.53

90 Не в фокусе 0.33 0.48

99 Невозможно 0.06 0

Список источников

1. Л.А. Демидова, Г.В. Митин «Сравнительный анализ современных методов машинного обучения в контексте специфики их требований к обучающей выборке». Международная научная конференция «Актуальные проблемы прикладной математики, информатики и механики» Воронеж 13 - 15 декабря 2021 г.

2. Л.Н. Чабан, «ТЕОРИЯ И АЛГОРИТМЫ РАСПОЗНАВАНИЯ ОБРАЗОВ» М.: МИИГАиК. 2004. - 70с.

3. Н.М. Новикова «СТРУКТУРНОЕ РАСПОЗНАВАНИЕ ОБРАЗОВ» Издательско-полиграфический центр Воронежского государственного университета, 2008

4. Ф.Т. Алескеров, В.Ю. Белоусова, Л.Г. Егорова, Б.Г. Миркин «АНАЛИЗ ПАТТЕРНОВ В СТАТИКЕ И ДИНАМИКЕ, ЧАСТЬ 1: ОБЗОР ЛИТЕРАТУРЫ И УТОЧНЕНИЕ ПОНЯТИЯ» БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

5. А.Е. Лепский, А.Г. Броневич «МАТЕМАТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ ОБРАЗОВ» Технологический институт "Южный федеральный университет" 2009