CC BY
11
УДК 004.93'12 DOI 10.18522/2311-3103-2022-1-71-81
П.А. Гессен, А.И. Лизин, В.А. Павлова, В.А. Тупиков
МОДУЛЬ КОРРЕКТИРОВКИ ПАРАМЕТРОВ АЛГОРИТМОВ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ ДЛЯ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ
В целях создания инновационного модуля автоматической корректировки алгоритмов автоматического обнаружения и сопровождения объектов с обучением в реальном времени произведено исследование мирового опыта в области автоматического сопровождения общего назначения с возможностью распознавания объекта сопровождения для применения во встраиваемых вычислительных устройствах оптико-электронных систем перспективных робототехнических комплексов. На основе проведенных исследований отобраны и протестированы методы и подходы, которые позволяют с наибольшей точностью, при сохранении высокой вычислительной эффективности, обеспечивать обучение классификаторов на лету (online learning) без априорного знания о типе объекта слежения и обеспечивать последующую корректировку во время слежения и обнаружение исходного объекта в случае его кратковременной потери. В число таких способов входит гистограмма направленных градиентов - дескриптор ключевых признаков, основывающийся на анализе распределения градиентов яркости изображения объекта. Его использование позволяет сократить количество используемой информации без потери ключевых данных об объекте и увеличить скорость обработки изображений. В статье обоснован выбор одного из алгоритмов классификации в режиме реального времени, позволяющего решить задачу бинарной классификации - метода опорных векторов. В виду высокой скорости обработки данных и необходимости небольшого количества исходных обучающих данных для построения разделяющей гиперплоскости, на основе которой и происходит классификация объектов, данный метод выбран как наиболее подходящий для решения поставленной задачи. Для осуществления online-обучения была выбрана модификация метода опорных векторов, реализующая стохастический градиентный спуск на каждом шаге работы алгоритма - Pegasos. Еще одним вспомогательным способом является метод кластеризации ключевых точек - таким образом обеспечивается ускоренный выбор объектов для обучения и классификации. Авторами исследования проведена разработка и полунатурное моделирование предлагаемого модуля, проведена оценка эффективности его работы в задачах корректировки и обнаружения объекта интереса в режиме реального времени с предварительным online-обучением в процессе слежения за объектом. Разработанный алгоритм показал высокую эффективность при решении поставленной задачи. В заключении представлены предложения по дальнейшему повышению точности и вероятности обнаружения объекта интереса разработанным алгоритмом, а также по повышению его производительности путем оптимизации вычислений.
Автоматическое обнаружение; обучение на лету; метод опорных векторов; гистограмма направленных градиентов; кластеризация; автоматическое сопровождение.
P.A. Gessen, A.I. Lizin, V.A. Pavlova, V.A. Tupikov
MODULE FOR ADJUSTING PARAMETERS OF ALGORITHMS FOR AUTOMATIC DETECTION AND TRACKING OF OBJECTS FOR OPTOELECTRONIC SYSTEMS
In order to create an innovative module for automatic correction of algorithms for automatic detection and tracking of objects with real-time training, a study of world experience in the field of general-purpose automatic tracking with the ability to recognize the tracking object for use in embedded computing devices of optoelectronic systems of promising robotic complexes was carried out. Based on the conducted research, methods and approaches have been selected and tested that allow with the greatest accuracy, while maintaining high computational efficiency, to provide on-the-fly training of classifiers (online learning) without a priori knowledge of the type of track-
ing object and to ensure subsequent correction during tracking and detection of the original object in case of its short-term loss. Such methods include a histogram of directional gradients - a descriptor of key features based on the analysis of the distribution of brightness gradients of an object image. Its use allows you to reduce the amount of information used without losing key data about the object and increase the speed of image processing. The article substantiates the choice of one of the classification algorithms in real time, which allows solving the problem of binary classification - the method of support vectors. Due to the high speed of data processing and the need for a small amount of initial training data to build a separating hyperplane, on the basis of which the classification of objects takes place, this method is chosen as the most suitable for solving the task. To implement online training, a modification of the support vector machine was chosen, implementing stochastic gradient descent at each step of the algorithm - Pegasos. Another auxiliary method is the clustering method of key points - this ensures an accelerated selection of objects for classification and training. The authors of the study carried out the development and semi-natural modeling of the proposed module, evaluated the effectiveness of its work in the tasks of correcting and detecting the object of interest in real time with preliminary online training in the process of tracking the object. The developed algorithm has shown high efficiency in solving the problem. In conclusion, proposals are presented to further improve the accuracy and probability of detecting an object of interest by the developed algorithm, as well as to improve its performance by optimizing calculations.
Automatic detection; on-the-fly training; support vector machine; histogram of directional gradients; clustering; automatic tracking.
Введение. В современных робототехнических системах на данный момент остро стоит вопрос обнаружения и сопровождения недетерминированных объектов. В данной области уже существует большое количество готовых решений, начиная простой корреляцией, заканчивая последними разработками в области нейронных сетей, и с течением времени предлагаются более совершенные и точные методы. Однако, разработка новых алгоритмов идет в сторону повышения точности путем увеличения затрачиваемых ресурсов [1-3], что подразумевает под собой увеличение вычислительных мощностей для поддержания режима работы реального времени, что может быть несовместимо с множеством встраиваемых оптико-электронных систем в виду ограничений, которые те имеют. При этом существует множество алгоритмов, уже работающих в таких системах. Такие алгоритмы проигрывают новым в точности, однако многократно опережают в плане скорости, при этом они могут не иметь возможности обнаружения цели после ее потери или же вообще понимания о потере цели слежения [4, 5]. Таким образом, разработка отдельного модуля, который бы обеспечивал улучшение точности сопровождения цели и обеспечивал повторное обнаружение цели является приоритетной задачей. В таком случае появится возможность адаптировать уже созданные алгоритмы под современные стандарты сопровождения и обнаружения, не теряя в скорости работы, что является актуальным направлением развития в данной области.
В данной статье предлагается новый модуль по улучшению существующих алгоритмов на основе машинного обучения и кластеризации, который предоставляет следующий функционал: улучшение точности сопровождения путем корректировки положения описывающего прямоугольника, добавление масштабной и поворотной инвариантности, добавление повторного определения положения цели после ее кратковременной потери. Статья состоит из следующих разделов: предварительный разбор используемых внутри модуля методов, описание алгоритма работы, результаты работы.
Гистограмма направленных градиентов (HOG). Перед тем, как приступить к исполнению любой задачи, которая связана с обработкой изображений, часто важно предварительно провести обработку изображения, чтобы сделать его более подходящим для использования в качестве входных данных в других алгоритмах. Использование значений яркостей хоть и применяется, однако зачастую крайне неэффективно и
затратно, поэтому большая часть алгоритмов обработки изображений, как правило, извлекают из поступающих на вход данных самую значимую для дальнейшего использования информацию - некоторые ключевые признаки изображения или его дескриптор. Они позволяют описать объект интереса наименьшим количеством данных, сохраняя всю важную информацию, при этом сокращая размерность входных данных и, тем самым, упрощая их последующую обработку.
В дескрипторе ключевых признаков HOG [6] такими признаками являются распределения (гистограммы) направлений и магнитуд градиентов (ориентированные градиенты). Градиенты изображения полезны, так как их значение велико на краях и углах какой-либо фигуры (областях резкого изменения интенсивности), а именно эти области несут в себе ключевую информацию о форме объекта, в отличие от плоских (монотонных) областей.
Опишем алгоритм преобразования изображения в HOG-дескриптор:
1. Масштабирование выбранной части кадра к единому, заранее определенному размеру.
2. Вычисление градиента изображения по осям x и y (рис. 1).
3. Составление гистограммы градиентов в ячейках 8x8 (рис. 1).
4. Нормализация гистограмм в блоках по 4 гистограммы (ячейки).
5. Финальное вычисление вектора ключевых признаков.
Таким образом на выходе, после преобразования из исходных значений яркости получается вектор численных значений, описывающий изображение.
HOG-дескриптор является хорошим методом описания изображения ввиду своей высокой дискриминативности, скорости работы, малого количества хранимой информации, нашедшим признание среди исследователей в различных областях применения [7-9], а также имеет широкие возможности для оптимизации и ускорения своей работы за счет применения векторных команд [10] и других методов [11]. К недостаткам данного метода можно отнести отсутствие инвариантности к повороту в финальном виде (на стадии составления гистограмм возможен ограниченный поворот на фиксированный угол) и необходимость этапа предварительной обработки изображения, который оказывает сильное влияние на качество работы алгоритма, если исходные изображения имеют сильные различия в масштабе. В нашей реализации этап предварительной обработки сводится к масштабированию изображения к фиксированной величине, определяемой в зависимости от исходного размера выделенной части изображения, и происходит вычислительно быстро.
Рис. 1. Формирование гистограммы ориентированных градиентов
Классификаторы режима реального времени. Режим реального времени означает такой режим обработки данных, при котором скорость взаимодействия системы со внешними процессами соизмерима со скоростью протекания этих про-
цессов. Для решения задачи классификации (построение алгоритма способного по известным соотношениям объект - его принадлежность распределить ранее неизвестные объекты по известным группам принадлежностей) в таких условиях, используют алгоритмы машинного обучения, подразделом которых являются и нейронные сети. Применение искусственных нейронных сетей является более точным и прогрессивным подходом, однако он страдает от двух главных недостатков: необходимость обработки заранее предоставленных (априорных) данных и достаточно низкая скорость работы ввиду высокой вычислительной сложности обучения. И если первый недостаток еще можно обойти, то второй на данный момент не позволяет использовать нейронные сети для обучения и обнаружения в реальном времени во встраиваемых системах. Поэтому для поставленной задачи выбран подход машинного обучения без использования нейронных сетей.
Для решения задачи бинарной классификации (распределения объектов на два множества: объект - не объект) [12] был выбран один из наиболее успешных классических методов машинного обучения - метод опорных векторов (англ. SVM - Support Vector Machine) [13-15].
SVM. Основная идея метода состоит в разделении векторов признаков обучающей выборки некоторой гиперплоскостью оптимальным образом. Мерой оптимальности в данном случае выступает расстояние между разделяющей гиперплоскостью и объектами разделяемых классов: чем оно больше, тем меньше будет средняя ошибка классификатора.
Главным достоинством такого метода, по сравнению с другими известными решениями, является необходимость достаточно малого объема исходных данных для получения высокой точности предсказания результата, а также высокая скорость работы - это один из быстрейших методов нахождения решающей функции, что имеет ключевое значение для задач обработки в режиме реального времени. Еще одним достоинством является возможность регулировки параметра, позволяющего избежать переобучения - ситуации, при которой классификатор чересчур точно определяет модель объекта и становится восприимчивым даже к самым небольшим ее изменениям. К недостаткам данного метода можно отнести чувствительность к выбросам в исходных данных (шумам) и необходимости стандартизации входных данных. Решение первого недостатка возлагается на алгоритм слежения за объектом. Проблема стандартизации решается при помощи применения HOG-дескриптора, описанного выше.
Методы машинного обучения, в которых данные поступают последовательно и используются для улучшения предсказываемого результата на каждом шаге, называются online-методы обучения (online learning) [16]. Основным их отличием от обычных является возможность обработки исходных данных (обучения), поступающих последовательно и поэтапно, то есть без необходимости наличия базы исходных данных об объекте обучения. Один из таких методов, реализующий метод опорных векторов в режиме online - Pegasos (Primal Estimated sub-GrAdient SOlver for SVM) [17]. Основная идея метода заключается в выполнении стохастического градиентного спуска на каждом шаге. Выбор именно этого метода обусловлен скоростью работы и достаточно ограниченным количеством тренировочных примеров, необходимых для обучения классификатора.
Кластеризация. Это задача разбиения множества объектов на группы, называемые кластерами. Внутри каждой группы должны оказаться «схожие/близкие» объекты. Главное отличие кластеризации от классификации состоит в том, что перечень групп четко не задан и определяется в процессе работы алгоритма.
Применение кластерного анализа в общем виде сводится к следующим этапам:
1. Отбор выборки объектов для кластеризации;
2. Определение множества переменных, по которым будут оцениваться объекты в выборке;
3. Вычисление значений меры сходства между объектами;
4. Применение метода кластерного анализа для создания групп схожих объектов (кластеров);
5. Представление результатов анализа.
В нашем случае объектами кластеризации являются части изображения; переменные, которые принимают участие в составлении кластеров - ключевые точки изображения, а одним из самых важных вопросов является следующий: как определить критерий, по которому можно считать, что ключевые точки схожи и являются частью одного и того же кластера? В литературе используются такие меры как евклидово расстояние, квадрат евклидова расстояния, расстояние городских кварталов (манхэттенское расстояние), расстояние Чебышева, степенное расстояние и другие. Однако не все они в должной мере подходят для решения нашей задачи ввиду неподходящего критерия или вычислительной сложности. Таким образом было принято решение в качестве критерия использовать расстояние от точек до границ уже существующих кластеров.
Применяемый подход. Реализация разработанного алгоритма используется в совокупности с каким-либо алгоритмом слежения за объектом. В данной статье для примера будет рассматриваться частный случай: многоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов [18].
Обучение. На вход модуля подаются видеопоток и описывающий прямоугольник, который определяет первоначальное положение объекта слежения. На стадии предварительной обработки, опираясь на соотношение сторон первоначальной рамки, выбирается фиксированный размер картинки, к которому будут приводиться изображения объекта даже при изменении их масштаба (фиксация размерности входных данных для классификатора). После на данном этапе происходит определение параметров кластеризации: детектором ключевых точек собираются все точки с кадра, а после разбиваются на кластера с использованием различны параметров. На первом шаге существует один кластер из одной ключевой точки. Далее последовательно перебираются точки изображения и либо расширяют границы уже существующего кластера, либо создают новый, если нет подходящего. Таким образом получаются описывающие рамки вокруг выделяющихся объектов на изображении. В зависимости от параметров соотнесения точек к кластерам можно получить различные выборки объектов - от крупных до очень малых. В итоге получаем одно разбиение изображения на кластеры, при этом рамки могут пересекаться, что обеспечивает большую вариативность. В итоге эталонными параметрами принимаются те, описывающий прямоугольник кластера которых имеет наибольшую площадь пересечения с истинным объектом. В дальнейшем, на каждом кадре видеопотока, изображение объекта, ограниченное прямоугольником, масштабируется к размеру, определенному на стадии инициализации, после чего для участка изображения с отслеживаемым объектом и небольшой сдвинутой области такого же размера вокруг него вычисляются дескрипторы HOG. Непосредственно перед вычислением дескриптора изображение поворачивается вдоль направления линии градиентов. Таким образом обеспечивается поворотная инвариантность. За точность предоставляемых входных данных на первых этапах обучения отвечает алгоритм сопровождения. Таким образом формируется эталонное описание объекта интереса в виде набора HOG-дескрипторов. Одновременно с этим происходит кластеризация ключевых точек с вычисленными ранее параметрами. Происходит отсев слишком неправдоподобных кластеров (а точнее, изображений внутри описывающего прямоугольника, построенного вокруг кластера), а
затем полученные результаты проверяются при помощи SVM. Поскольку в процессе слежения мы знаем, где находится истинный объект, мы можем классифицировать отклики текущего этапа обучения SVM. Таким образом формируется выборка ложноположительных откликов, определяемых откликом классификатора и площадью пересечения с настоящей целью. Выбранные окна "не-объекта" подвергаются предварительной фильтрации при помощи нормализованной кросс-корреляции (Normalized Cross Correlation) с истинным изображением - если разница меньше определенного порога (изображения не похожи), то они подаются для обучения методу опорных векторов с меткой "не-объект". Таким образом обеспечивается ускоренная сходимость классификатора и его сбалансированность на различных данных. После определенного количества кадров, когда данный метод сбора негативной выборки становится малоэффективным в виду обученности классификатора, начинает работать другой метод - выбираются и подготавливаются несколько произвольных окон на изображении, которые будут использоваться в качестве примеров "не-объекта" для обучения классификатора, с ними происходят все те же операции, что и с аналогичными изображениями, полученными кластеризацией, и они подаются для обучения классификатору. Данная предварительная отбраковка негативных примеров по результатам анализа позволяет повысить скорость сходимости обучения классификатора и, в дальнейшем, повысить стабильность его предсказаний. В соответствии с полученными данными происходит корректировка гиперплоскости. После описанных выше действий происходит переход к следующему кадру видеопотока, и вся процедура повторяется вновь.
Корректировка. Уточнение положения объекта в кадре происходит на основе последовательности откликов обученного классификатора. На протяжении всего времени слежения предлагаемый модуль осуществляет проверку корректности и точности описания истинного положения объекта в кадре. Для этого используются обученный классификатор и метод кластерезации ключевых точек. На каждом кадре после кластеризации находится такая описывающая рамка, которая лучшим образом описывает объект (исходя из положения рамки алгоритма слежения и текущих параметров кластеризации). После этого проводится проверка параметра пересечения рамки слежения и вышеописанного прямоугольника, а результат сохраняется. Если на протяжении нескольких последовательных кадров данный показатель ухудшается, то за рамку сопровождения принимается отклик описывающего прямоугольника кластеризации. При отсутствии рамки положительного отклика от алгоритма кластеризации и классификатора в предполагаемом месте истинного положения объекта на протяжении некоторого времени происходит пересчет параметров кластеризации, описанный в начале предыдущего подраздела, до тех пор, пока не будет найдена новая комбинация параметров. Данный подход обеспечивает масштабную инвариантность. Недостатком такого метода является его неспособность совершать корректировку на первых кадрах слежения, пока классификатор недостаточно обучен.
Обнаружение. На данный момент самым точным способом локализации объекта является метод скользящего окна, в котором применяется вычисление откликов обученного классификатора для большого количества накладываемых на изображение окон. Однако насколько этот способ точен, настолько он вычислительно неэффективен, что недопустимо для поставленной задачи. Поэтому предлагается новое решение на основе кластеризации и классификатора. Обнаружение объекта после потери во многом схоже с методом корректировки, описанным выше: на каждом кадре собирается множество точек и разбивается на кластеры в соответствии с параметрами, которые были на момент потери объекта. Изображения внутри описывающих рамок полученных кластеров в виде HOG-дескрипторов передаются для проверки классификатору. Данная последовательность действий по-
вторяется на нескольких соседних кадрах, после чего принимается решение о наличии объекта на основе множественных положительных откликов от SVM в одной области. При отсутствии положительных откликов на протяжении нескольких кадров или же положительных откликов, которые не воспроизводятся в схожих местах последовательно, происходит пересчет параметров кластеризации, и вышеописанные действия повторяются для новых значений.
Результаты. Тестирование выполнялось при помощи полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения, разработанного АО «НПП «АМЭ» [19], и реальных видеозаписей, полученных в различных условиях наблюдения. Для тестирования были размечены видеопоследовательности, содержащие объекты интереса типа «Кунг», «Здание», «Мост» и др. размером от ~64х64 до ~256х256 пикселей.
Для наиболее полной оценки точности предлагаемого модуля, использовалась метрика IoU (Intersection over Union) [20]. Данная метрика подразумевает оценку отношения площадей пересечения описывающих прямоугольников к площади их объединения. Один из прямоугольников (Si), определяющий истинное положение объекта в кадре, задается оператором при тестировании, второй (S2) является результатом работы того или иного алгоритма сопровождения:
IoU =
[0;1].
Si us, L J
Чем ближе получаемое значение 1ои к единице, тем более точное предсказание истинного положения объекта и его размеров даёт оцениваемый алгоритм. Также оценивается среднее расстояние от центра истинного прямоугольника до центра предсказанного прямоугольника (чем меньше, тем лучше)
Тестирование проводилось по следующей методике:
1. На интересующей видеозаписи в определенный момент выполнялся захват объекта на сопровождение.
2. На протяжении 100-200 кадров выполнялось обучение 8УМ классификатора предложенного модуля.
3. После прохождения порога обучения начиналась корректировка слежения.
4. Имитировался срыв сопровождения посредством перехода на другой кадр видеопоследовательности.
5. Зоны предполагаемого местонахождения объекта подвергались обработке по методике, описанной выше. Таким образом, выполнялось подтверждение наличия объекта.
6. Результирующие средние значения 1оИгаск для алгоритма сопровождения (без уточнения положения) и для алгоритма обнаружения 1оИ8УШ со всей последовательности видео записывались в таблицу.
7. Результирующие средние значения расстояния центров так же заносились в таблицу.
Рис. 2. Графики области пересечения IoUtrack (серый) и IoUsvm (оранжевый)
Рис. 3. Графики разницы расстояний центров обычный (серый) и с предложенным
модулем (оранжевый)
Результаты систематизации экспериментов, проведенных по данной методике, представлены на рис. 2 и 3. Среднее значение IoUtrack (то есть без использования предложенного модуля) по результатам 15 экспериментов составило IoUtrack = 0.458, тогда как среднее значение IoUsvm с применением предложенного модуля IoUsvm = 0.497, что даёт прирост AIoU = +0.039. Данное значение AIoU является средним по всем типам объектов интереса, при этом для малоразмерных целей оно меньше, а для крупноразмерных объектов значение AIoU значительно больше. Разница между центрами описывающих прямоугольников составляет 29.8 для оригинального алгоритма и 24.6 для улучшенного, что дает нам среднее улучшение в 5.2 условных единицы. Данные приросты точности охвата цели являются весьма существенным с учётом проведённого объема тестирования и могут служить объективным доказательством эффективности предложенного подхода.
Заключение. По результатам полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения использование предложенного алгоритма дало прирост точности охвата цели во время сопровождения AIoU = +0.039 и приближение центра охвата к истинному на 5.2 условных единицы, что может служить объективным доказательством эффективности предложенного подхода.
Таким образом, резюмируя результаты проведенных исследований можно сделать вывод, что разработанный модуль позволяет осуществлять корректировку положения объекта во время сопровождения и подтверждение наличия объекта в заданной области, а также уточнять его координаты с точностью, достаточной для обоснованного использования во встраиваемых вычислительных системах перспективных робототехнических комплексов.
На дальнейших этапах развития планируется также при обучении классификатора использовать дополнительно дескрипторы текстуры, например, локальные бинарные паттерны (local binary patterns, LBP) [21, 22], что должно положительно сказаться на точности классификации [23]. Также перспективным является вынесение работы модуля в отдельные потоки для большей вычислительной эффективности.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Bertinetto L., Valmadre J., Henriques J.F., Vedaldi A., Torr P.H.S. Fully-Convolutional Siamese Networks for Object Tracking / In: Hua G., Jégou H. (eds) // Computer Vision - ECCV 2016 Workshops: Lecture Notes in Computer Science. - Springer, Cham, 2016. - Vol. 9914.
2. Zhang Y., Wang L., Qi J., Wang D., Feng M., Lu H. Structured Siamese Network for Real-Time Visual Tracking / In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds) // Computer Vision - ECCV 2018: Lecture Notes in Computer Science. - Springer, Cham, 2018. - Vol. 11213.
3. Li D., Yu Y. & Chen X. Object tracking framework with Siamese network and re-detection mechanism // J Wireless Com Network. - 2019. - 261.
4. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, No. 7. - P. 1409-1422.
5. Bertinetto L., Valmadre J., Golodetz S., Miksik O. and Torr P.H.S. Staple: Complementary Learners for Real-Time Tracking // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 1401-1409. - DOI: 10.1109/CVPR.2016.156.
6. Dalal N., Triggs B. Histograms of oriented gradients for human detection // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), San Diego, CA, USA, 2005. - Vol. 1. - P. 886-893. - DOI: 10.1109/CVPR.2005.177.
7. Rybski P.E., Huber D., Morris D.D., Hoffman R. Visual classification of coarse vehicle orientation using Histogram of Oriented Gradients features // 2010 IEEE Intelligent Vehicles Symposium, La Jolla, CA, USA, 2010. - P. 921-928. - DOI: 10.1109/IVS.2010.5547996.
8. Dollar P., Appel R., Belongie S. and Perona P. Fast Feature Pyramids for Object Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - Aug. 2014. - Vol. 36, No. 8. - P. 1532-1545.
9. Самсонов Н.А., Гнеушев А.Н. Дескриптор в аккумуляторном пространстве Хафа градиентного поля изображения для детектирования пешеходов // Машинное обучение и анализ данных. - 2017. - № 3, Т. 3. - С. 203-215. - eISSN: 2223-3792.
10. Misra I., Shrivastava A., Hebert M. HOG and Spatial Convolution on SIMD Architecture // Technical report. Robotics Institute, Carnegie Mellon University, 2013.
11. Huang C., Huang J. A Fast HOG Descriptor Using Lookup Table and Integral Image // ArXiv, abs/1703.06256, 2017.
12. Roshan K., Saurabh S. Machine Learning: A Review on Binary Classification // International Journal of Computer Applications. - 2017.
13. Cortes C., Vapnik V. Support Vector Networks // Mach. Learn. - 1995. - Vol. 20. - P. 273-297
14. Burges J.C. A tutorial on support vector machines for pattern recognition // Data Min. Knowl. Disc. - 1998. - P. 121-167.
15. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and other kernelbased learning methods. - Cambridge University Press, Cambridge, 2000.
16. Zhou X., Zhang X., Wang B. Online Support Vector Machine: A Survey / In: Kim J., Geem Z. (eds) // Harmony Search Algorithm. Advances in Intelligent Systems and Computing. - Vol. 382.
- Springer, Berlin, Heidelberg, 2016.
17. Shalev-Shwartz S., Singer Y., Srebro N. et al. Pegasos: primal estimated sub-gradient solver for SVM // Math. Program. - 2020. - Vol. 127. - P. 3-30.
18. Бондаренко В.А., Ельцова Д.К., Лизин А.И., Павлова ВА., Созинова М.В., Тупиков ВА. Мно-гоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов // Известия ЮФУ. Технические науки. - 2020. - № 1 (211). - С. 218-232.
19. Бондаренко В.А., Гагарина А.Ю., Павлова В.А., Тупиков В.А. Программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения объектов на видеопоследовательностях // Перспективные системы и задачи управления: Матер. XVI Всероссийской научно-практической конференции и XII молодежной школы-семинара «Управление и обработка информации в технических системах». - Таганрог: ИП Марук М.Р., 2021. - 355 с.
20. Rezatofighi H., Tsoi N., Gwak J., Sadeghian A., Reid I. Savarese S. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019. - P. 658-666.
21. Heikkila M., Pietikainen M. A texture-based method for modeling the background and detecting moving objects // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- 2006. - Vol. 28 (4). - P. 657-662.
22. Kertesz C. Texture-Based Foreground Detection, International Journal of Signal Processing // Image Processing and Pattern Recognition (IJSIP). - 2011. - Vol. 4, No. 4.
23. Khalifa T. §engul G. The Integrated Usage of LBP and HOG Transformations and Machine Learning Algorithms for Age Range Prediction from Facial Images // Tehnicki Vjesnik. - Vol. 25.
- P. 1356-1362. - 10.17559/TV-20170308030459, 2018.
REFERENCES
1. Bertinetto L., Valmadre J., Henriques J.F., Vedaldi A., Torr P.H.S. Fully-Convolutional Siamese Networks for Object Tracking, In: Hua G., Jégou H. (eds), Computer Vision - ECCV 2016 Workshops: Lecture Notes in Computer Science. Springer, Cham, 2016, Vol. 9914.
2. Zhang Y., Wang L., Qi J., Wang D., Feng M., Lu H. Structured Siamese Network for RealTime Visual Tracking, In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds), Computer Vision - ECCV2018: Lecture Notes in Computer Science. Springer, Cham, 2018, Vol. 11213.
3. Li D., Yu Y. & Chen X. Object tracking framework with Siamese network and re-detection mechanism, J Wireless Com Network, 2019, 261.
4. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, Vol. 34, No. 7, pp. 1409-1422.
5. Bertinetto L., Valmadre J., Golodetz S., Miksik O. and Torr P.H.S. Staple: Complementary Learners for Real-Time Tracking, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, P. 1401-1409. DOI: 10.1109/CVPR.2016.156.
6. Dalal N., Triggs B. Histograms of oriented gradients for human detection, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), San Diego, CA, USA, 2005, Vol. 1, pp. 886-893. DOI: 10.1109/CVPR.2005.177.
7. Rybski P.E., Huber D., Morris D.D., Hoffman R. Visual classification of coarse vehicle orientation using Histogram of Oriented Gradients features, 2010 IEEE Intelligent Vehicles Symposium, La Jolla, CA, USA, 2010, pp. 921-928. DOI: 10.1109/IVS.2010.5547996.
8. Dollár P., Appel R., Belongie S. and Perona P. Fast Feature Pyramids for Object Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Aug. 2014, Vol. 36, No. 8, pp. 1532-1545.
9. Samsonov N.A., Gneushev A.N. Deskriptor v akkumulyatornom prostranstve Hafa gradientnogo polya izobrazheniya dlya detektirovaniya peshekhodov [Descriptor in the accumulator space of the Hough gradient field of the image for detecting pedestrians], Mashinnoe obuchenie i analiz dannykh [Machine learning and data analysis], 2017, No. 3, Vol. 3, pp. 203215. eISSN: 2223-3792.
10. Misra I., Shrivastava A., Hebert M. HOG and Spatial Convolution on SIMD Architecture, Technical report. Robotics Institute, Carnegie Mellon University, 2013.
11. Huang C., Huang J. A Fast HOG Descriptor Using Lookup Table and Integral Image, ArXiv, abs/1703.06256, 2017.
12. Roshan K., Saurabh S. Machine Learning: A Review on Binary Classification, International Journal of Computer Applications, 2017.
13. Cortes C., Vapnik V. Support Vector Networks,Mach. Learn., 1995, Vol. 20, pp. 273-297
14. Burges J.C. A tutorial on support vector machines for pattern recognition, Data Min. Knowl. Disc., 1998, pp. 121-167.
15. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and other kernelbased learning methods. Cambridge University Press, Cambridge, 2000.
16. Zhou X., ZhangX., Wang B. Online Support Vector Machine: A Survey, In: Kim J., Geem Z. (eds), Harmony Search Algorithm. Advances in Intelligent Systems and Computing, Vol. 382. Springer, Berlin, Heidelberg, 2016.
17. Shalev-Shwartz S., Singer Y., Srebro N. et al. Pegasos: primal estimated sub-gradient solver for SVM, Math. Program, 2020, Vol. 127, pp. 3-30.
18. Bondarenko V.A., El'cova D.K., Lizin A.I., Pavlova V.A., Sozinova M.V., Tupikov V.A. Mnogoagentnyy algoritm avtomaticheskogo obnaruzheniya i soprovozhdeniya nedetermini rovannykh ob"ektov [Multi-agent algorithm for automatic detection and tracking of nondeter-ministic objects], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2020, No. 1 (211), pp. 218-232.
19. Bondarenko V.A., Gagarina A.Yu., Pavlova V.A., Tupikov V.A. Programmnyy kompleks avtomatizatsii testirovaniya algoritmov obnaruzheniya i soprovozhdeniya ob"ektov na videoposledovatel'nostyakh [Software package for testing automation of algorithms for detecting and tracking objects on video sequences], Perspektivnye sistemy i zadachi upravleniya: Mater. XVI Vserossijskoy nauchno-prakticheskoy konferentsii i XII molodezhnoy shkoly-seminara «Upravlenie i obrabotka informatsii v tekhnicheskikh sistemakh» [Promising management systems and tasks: Materials of the XVI All-Russian Scientific and Practical Conference and the XII Youth School-seminar "Information Management and processing in technical systems"]. Taganrog: IP Maruk M.R., 2021, 355 p.
20. RezatofighiH., Tsoi N., Gwak J., Sadeghian A., ReidI. Savarese S. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression, 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 658-666.
21. Heikkila M., Pietikainen M. A texture-based method for modeling the background and detecting moving objects, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, Vol. 28 (4), pp. 657-662.
22. Kertesz C. Texture-Based Foreground Detection, International Journal of Signal Processing, Image Processing and Pattern Recognition (IJSIP), 2011, Vol. 4, No. 4.
23. Khalifa T. §engul G. The Integrated Usage of LBP and HOG Transformations and Machine Learning Algorithms for Age Range Prediction from Facial Images, Tehnicki Vjesnik, Vol. 25, pp. 1356-1362. 10.17559/TV-20170308030459, 2018.
Статью рекомендовал к опубликованию к.т.н. С.Н. Крюков.
Тупиков Владимир Алексеевич - АО «Научно-производственное предприятие «Авиационная и морская электроника»; e-mail: tupikov@nppame.ru, г. Санкт-Петербург, Россия; тел.: 88123274667; д.т.н.; профессор; зам. ген. директора; директор научно-производственного комплекса робототехнических систем специального назначения (НПК РТС СН).
Павлова Валерия Анатольевна - e-mail: pavlova@nppame.ru; к.т.н.; зам. директора НПК РТС СН по НИОКР.
Лизин Алексей Игоревич - e-mail: lizin_a@nppame.ru; начальник центра средств интеллектуальной обработки изображений (ЦСИОИ) НПК РТС СН.
Гессен Павел Алексеевич - e-mail: pasha.gessen@outlook.com; старший научный сотрудник центра средств интеллектуальной обработки изображений.
Tupikov Vladimir Alekseevich - SPE "Research and Production Enterprise "Air and Marine Electronics"; e-mail: tupikov@nppame.ru; Saint Petersburg, Russia; phone: +78123274667; dr. of eng. sc.; professor; Deputy Director General, Director of Research and production complex of special purpose robotic systems.
Pavlova Valeria Anatolyevna - e-mail: pavlova@nppame.ru; cand. of eng. sc.; Deputy Director of research at Research and production complex of special purpose robotic systems.
Lizin Aleksey Igorevich - e-mail: lizin_a@nppame.ru; Chief of intellectual image processing center (IIPC) RPCSPRS.
Gessen Pavel Alekseevich - e-mail: pasha.gessen@outlook.com; senior researcher at Department of Advanced Image Processing Techniques.
УДК 004.89; 004.77; 681.58; 631.158 Б01 10.18522/2311-3103-2022-1-81-91
З.В. Нагоев, В.М. Шуганов, А.У. Заммоев, К.Ч. Бжихатлов, З.З. Иванов
РАЗРАБОТКА ИНТЕЛЛЕКТУАЛЬНОЙ ИНТЕГРИРОВАННОЙ СИСТЕМЫ
«УМНОЕ ПОЛЕ»*
Производство сельскохозяйственной продукции в настоящее время тесно связано с применением цифровых технологий, элементов точного земледелия, автоматизацией и роботизацией сельского хозяйства, так как они дают возможность осуществлять постоянный мониторинг, своевременно реагировать на производственные риски, повышать эффективность производства и использования ресурсов. Особое внимание уделяется необхо-
* Работа выполнена при поддержке гранта РФФИ № 20-010-00269 «Механизм управления развитием горных регионов на основе новой архитектуры локальных социально-экономических систем».
