CC BY
35Научная статья
УДК 004.932.2:519.688
ао1:10.24151/1561-5405-2023-28-1-129-139
Алгоритм выделения объектов на изображениях на основе слияния суперпикселей
12 1 12 А. В. Сотников ' , Е. А. Шипатов , А. В. Шипатов '
1 Национальный исследовательский университет «МИЭТ»,
г. Москва, Россия
2
АО «Зеленоградский инновационно-технологический центр», г. Москва, Россия
100av@olvs.miee.ru
Аннотация. В большинстве существующих систем сопровождения объектов на видеоизображениях применяется автоматическое выделение областей интереса с помощью детектора, который работает с предварительно построенной моделью искомого объекта, принадлежащего некоторому заранее известному множеству классов. Такой подход существенно ограничивает область применения системы автоматического сопровождения. В работе решена задача полуавтоматического выделения объектов на изображениях. Показана возможность реализации безмодельного подхода к выделению объекта с помощью методов низкоуровневой сегментации изображений. Проанализированы недостатки основных методов сегментации, ограничивающие их применение в алгоритме автоматического сопровождения объектов в системе обработки потокового видео для беспилотных летательных аппаратов. Предложен алгоритм выделения объекта на изображении методом слияния суперпикселей. Приведены результаты тестирования рассмотренного алгоритма на реальных и синтезированных изображениях. Экспериментальные исследования показали возможность применения предложенного алгоритма в составе программного обеспечения системы автоматического сопровождения объектов на видеоизображениях.
Ключевые слова: автоматическое сопровождение, выделение объекта, сегментация изображений
Для цитирования: Сотников А. В., Шипатов Е. А., Шипатов А. В. Алгоритм выделения объектов на изображениях на основе слияния суперпикселей // Изв. вузов. Электроника. 2023. Т. 28. № 1. С. 129-139. https://doi.org/10.24151/1561-5405-2023-28-1-129-139
© А. В. Сотников, Е. А. Шипатов, А. В. Шипатов, 2023
Original article
An algorithm for object extraction in images based on superpixel fusion
A. V. Sotnikov1'2, E. A. Shipatov1, A. V. Shipatov1'2
1National Research University of Electronic Technology, Moscow, Russia 2 "ZelenogradInnovation and Technology Center" JSC, Moscow, Russia
100av@olvs.miee.ru
Abstract. In most existing video tracking systems, automatic region of interest extraction is used, utilizing a detector that works with a prebuilt model of the desired object belonging to some pre-known set of classes. This approach significantly limits applicability of the automatic tracking system. In this work, the problem of semi-automatic object extraction for visual scene images has been solved. The possibility of implementation of a model-free approach to object extraction using low-level image segmentation methods was demonstrated. The analysis of drawbacks of the basic methods for image segmentation limiting their application in the developed automatic tracking algorithm of the video stream processing system for unmanned aerial vehicles was conducted. The algorithm for extracting an object in the image by superpixel fusion is proposed. The testing results with real and synthetic images for the proposed algorithm are presented. Experimental studies have shown the possibility to apply the proposed algorithm as part of automatic video tracking system software.
Keywords: automatic tracking, object extraction, image segmentation
For citation: Sotnikov A. V., Shipatov E. A., Shipatov A. V. An algorithm for object extraction in images based on superpixel fusion. Proc. Univ. Electronics, 2023, vol. 28, no. 1, pp. 129-139. https://doi.org/ 10.24151/1561-5405-2023-28-1-129-139
Введение. Алгоритмы автоматического сопровождения объектов на видеоизображениях широко применяются в бортовых системах управления различных беспилотных летательных аппаратов (БПЛА). В работе алгоритма сопровождения можно выделить два основных этапа: захват объекта - фиксация начального образа объекта путем его локализации (выделения) в пределах некоторого окна (рамки захвата); автоматическое сопровождение выделенного объекта по команде оператора. Объект в широком смысле определяется как любая область изображения, представляющая интерес для наблюдателя. При таком определении необходимо различать локализованный объект и участок местности. В настоящей работе при использовании понятия объекта имеется в виду локализованный объект, т. е. область изображения, в которой распределение визуальных характеристик (яркости, цвета, текстуры) отличается от распределения тех же признаков в остальной части кадра (фоне). Благодаря этому свойству множество пикселей, составляющих объект, воспринимается наблюдателем как целое и позволяет отделить его от фона.
Реализация захвата объекта сопровождения может быть выполнена одним из трех способов.
Автоматический захват. Оператор принимает решение по выбору на автосопровождение одного из множества отмеченных маркерами потенциальных объектов, выделенных системой, выполняющей непрерывный поиск с обнаружением областей интереса. В данном случае алгоритм детектора использует предварительно построенную модель искомого объекта, который либо принадлежит конкретному классу или множеству классов, известному заранее, либо имеет свойства, благодаря которым детектор сможет локализовать их на видеоизображении (контрастные объекты, объекты, имеющие определенную форму, цвет, текстуру, подвижные объекты и т. д.). При таком подходе область применения системы автоматического сопровождения существенно ограничена. Также довольно часто объекты на изображениях сильно зашумлены, имеют слабый контраст, частичное перекрытие фоном, что актуально при обработке реальных видеоизображений с камер, установленных на БПЛА. Нередки случаи, когда невозможно идентифицировать объекты, принадлежащие одной из известных алгоритму категорий, поскольку не всегда удается выявить набор устойчивых признаков, необходимых для распознавания объектов, образы которых могут существенно изменяться от кадра к кадру.
Полуавтоматический захват. Оператор наводит курсор, центр которого является центром рамки захвата, в любую точку объекта интереса. Параметры объекта (положение на изображении и размеры), находящегося под курсором, определяются алгоритмом детектора. Далее система переходит к автосопровождению указанного объекта.
Полуавтоматический способ захвата объекта наиболее удобен для оператора ввиду гибкости и универсальности. Данный подход позволяет расширить область применения алгоритмов сопровождения вследствие увеличения количества классов сопровождаемых объектов, предоставляя оператору больше свободы при работе с системой управления по видеоизображению. Система с полуавтоматическим захватом позволяет при решении задачи выделения областей интереса в кадре видеопоследовательности реализовать так называемый безмодельный подход, в котором объект сопровождения заранее неизвестен либо имеется минимальное количество априорной информации об объекте.
Ручной захват. Оператор выбирает область изображения для сопровождения, задавая размер рамки захвата, после чего алгоритм начинает сопровождение выделенной области по его команде. При ручном захвате скорость работы оператора с системой автоматического сопровождения значительно снижается. Кроме того, повышается уровень его утомлямости и вероятность ошибки при выборе объекта сопровождения.
В настоящей работе предлагается алгоритм выделения объекта на изображении методом слияния суперпикселей. Представленный алгоритм может быть использован для решения задачи полуавтоматического захвата объектов сопровождения в программном комплексе обработки потокового видео для БПЛА мониторинга экологической ситуации.
Безмодельные методы выделения объектов на изображениях. В результате работы алгоритма выделения объекта кадр видеопоследовательности разбивается на две непересекающиеся области: участок изображения, занимаемый объектом, и область фона. Поскольку суть сегментации состоит в разбиении изображения на несколько областей (сегментов) по какому-либо критерию, задача выделения объекта может быть сведена к частному случаю проблемы сегментации изображения. Классические алгоритмы сегментации относятся к низкоуровневым методам обработки изображений, поскольку выполняют разбиение на сегменты только на основе анализа распределения локальных атрибутов изображения, таких как яркость и цвет. Методы низкоуровневой сегментации не требуют предварительных знаний об объекте, представленных в виде
его модели, поэтому могут быть использованы при реализации безмодельного подхода к выделению объекта.
Для описания области, занимаемой объектом, можно рассматривать как все множество пикселей, составляющих объект, так и его границу (контур). Поэтому задача сегментации изображения сопряжена с двойственной ей задачей выделения границ, так как границы объектов и сегментов, полученных в результате разбиения, как правило, совпадают. Эффективным методом выделения объектов на изображении является метод активных контуров. Алгоритм на основе вариационного геометрического метода активных контуров, предложенного в работе [1], успешно применен для инициализации алгоритма слежения в разработанной системе автоматического сопровождения объектов на видеоизображениях. Однако в ходе испытаний данного алгоритма выявлен ряд недостатков. Во-первых, эволюция неявно заданного контура требует расчета характеристической функции во всей области объекта на каждой итерации, что даже при исключении вычислительно дорогой процедуры реинициализации существенно снижает производительность алгоритма захвата по мере увеличения размеров выделяемого объекта. При этом быстрый захват объекта (десятые доли секунды) - одно из принципиальных требований, предъявляемых к современным системам автоматического сопровождения. Во-вторых, результат работы данного алгоритма в значительной степени зависит от выбора одного из его параметров (коэффициента V в энергетическом функционале), который определяет направление и скорость движения контура, представленного линией нулевого уровня характеристической функции. В работе [1] значение указанного параметра определялось экспериментально, а критерием останова являлось условие малости изменения активного контура, который мог либо перейти границу объекта, либо не дойти до нее, в зависимости от величины коэффициента v и начального положения контура. Настройка параметра v для достижения наилучших результатов сегментации оказалась достаточно нетривиальной задачей.
Сегментация также может осуществляться в результате объединения пикселей изображения в связные области. В процессе сегментации отдельные пиксели изображения, имеющие сходство по заданному критерию, группируются в относительно однородные сегменты. К наиболее известным методам сегментации, в которых реализован данный подход, относятся следующие: методы, основанные на кластеризации (кластеризация методом сдвига среднего [2], метод ^-средних и его усовершенствованная версия -&-средних++ [3]); методы разрастания областей [4]; метод водораздела [5]; методы теории графов (методы поиска минимального разреза графа: нормализованные разрезы графов [6], сегментация на основе минимального остовного дерева [7]). Общая проблема перечисленных методов - необходимость настройки параметров алгоритма, от которых зависит результат сегментации. Так, в эффективном и широко применяемом на практике методе сегментации на основе минимального остовного дерева изменение параметра масштаба наблюдения в предикате сравнения областей приводит к различным вариантам разбиения одного и того же изображения. Полученные сегменты часто не соответствуют границам объектов, захватывая участки фона либо, наоборот, выделяя только часть объекта (рис. 1).
Для решения описанной проблемы могут применяться иерархические методы сегментации. Одно и то же изображение может быть разбито на сегменты с разной степенью детализации. Это позволяет рассматривать иерархию разбиений, в которой сегменты на более высоком уровне, соответствующем «грубому» разбиению, получены в результате слияния областей, сформированных на более низком уровне сегментации, представляющем собой «точное» разбиение. В работе [8] для исходного изображения с
Рис. 1. Результаты сегментации на основе минимального остовного дерева [7] исходного изображения (a) при различных значениях масштаба наблюдения K: б - 100; в - 300; г - 500 Fig. 1. Segmentation results of the original image (a) with different values of the observation scale K in the segmentation method based on the minimum spanning tree [7]: b - 100; c - 300; d - 500
применением сегментации на основе минимального остовного дерева строится множество разбиений, выполненных с разными масштабами наблюдения. В результате образуется набор вложенных сегментаций, в котором области, полученные при меньшем масштабе, включены в области, соответствующие большему масштабу наблюдения. Из-за нарушения принципа вложенности сегментов при изменении масштаба метод сегментации на основе минимального остовного дерева [7] в исходном виде неприменим для построения иерархии разбиений. Поэтому в работе [8] используются более сложный критерий слияния областей и анализ в пространстве масштабов разбиений для выбора оптимального масштаба, вследствие чего быстродействие алгоритма значительно снижается. На среднем по производительности персональном компьютере время выполнения алгоритма составляет 2,7 с для изображения с разрешением 480 х 320 пикселей, что исключает возможность его применения для реализации функции захвата объектов в реальных системах автоматического сопровождения. Также может выполняться подробное начальное разбиение с последующим анализом полученных областей и объединение похожих сегментов для выделения объектов.
Алгоритм выделения объекта. В предложенном алгоритме выделения объекта используется метод, основанный на анализе областей, полученных в результате пересегментации, т. е. разбиения исходного изображения на множество мелких фрагментов - суперпикселей - с практически равномерным распределением визуальных признаков внутри них. Суперпиксели достаточно малы, поэтому реальные сегменты изображения, т. е. относительно однородные области, воспринимаемые как один объект, как правило, состоят из нескольких суперпикселей. Для разбиения изображения на суперпиксели может быть использован один из перечисленных методов низкоуровневой сегментации с параметрами, настроенными на получение максимальной степени детализации. Для иерархических методов это нижний уровень иерархии разбиений. Существует специальный класс алгоритмов сегментации, позволяющих получить суперпиксели, которые имеют три значимых свойства: компактность, однородность и соответствие их границ границам объектов на изображении. К известным методам данной категории относятся алгоритмы SLIC (Simple Linear Iterative Clustering), SEEDS (Superpixels Extracted via Energy-Driven Sampling) и LSC (Linear Spectral Clustering). Пример разбиения изображения на суперпиксели различными методами приведен на рис. 2.
а
б
в
г
Рис. 2. Пример сегментации исходного изображения (a) различными методами выделения суперпикселей: б - SEEDS; в - SLIC; г - LSC Fig. 2. Example of the original image (a) partitioning using different methods for superpixel segmentation:
b - SEEDS; с - SLIC; d - LSC
В последнее время широкое распространение получили нейросетевые алгоритмы обработки изображений. В частности, для решения многих задач в области компьютерного зрения успешно применяют сверточные нейронные сети. Однако работ по использованию нейронных сетей для поиска суперпикселей не так много. Это объясняется тем, что стандартная операция свертки определена на регулярной сетке и становится неэффективной при работе с суперпикселями. Несмотря на некоторые попытки адаптации архитектур нейросетей для выделения суперпикселей [9], выполнение свертки на нерегулярной структуре остается сложной задачей. В работе [10] обученная глубокая нейронная сеть применяется для извлечения локальных признаков пикселей изображения, которые затем кластеризуются методом ^-средних. В методе, предложенном в [11], данный подход получил развитие: принадлежность пикселя к определенному суперпикселю предсказывается нейронной сетью напрямую по входному изображению, минуя этап кластеризации. Такой алгоритм позволяет ускорить процесс построения ассоциативной карты пиксель / суперпиксель. Современные нейросетевые методы разбиения изображений на суперпиксели характеризуются большими затратами вычислительных ресурсов и не применяются в системах автоматического сопровождения, работающих в реальном масштабе времени.
В настоящей работе используется алгоритм LSC [12], так как он характеризуется высоким качеством сегментации, вычислительной эффективностью и использованием глобальной информации. Алгоритм позволяет корректно выделять области с множеством локальных изменений интенсивности, что присуще зашумленным изображениям и областям с ярко выраженной текстурой.
Для выделения объекта необходимо найти все принадлежащие ему суперпиксели и объединить их в один сегмент. Объединяемые сегменты должны иметь определенное сходство и отличаться от фоновых областей. В предложенном алгоритме степень близости суперпикселей определяли на основе расстояния между гистограммами распределения яркости или цвета внутри сегментов. Гистограмма - глобальная характеристика участка изображения, устойчивая к шумам и небольшим колебаниям яркости и цвета. Для сравнения гистограмм можно применять различные статистические метрики, например евклидово расстояние и коэффициент Бхаттачария. В настоящей работе применена следующая метрика [13]:
Здесь коэффициент Бхаттачария, позволяющий определить степень близости двух распределений, представленных нормализованными гистограммами Щ и Н2 с частотами
к[ и И2 соответственно для /-го интервала, имеет вид
(1)
N
р(Я1,Я2) = . (2)
i=1
Выражение (2) имеет простую геометрическую интерпретацию: это скалярное произведение векторов и которое с учетом того, что
N
^ И\ = 1, ] = 1, 2, равно косинусу угла между ними. Таким образом, для близких распределений угол между векторами частот близок к 0, а его косинус - к 1, что соответствует минимальному расстоянию (1) между гистограммами ( ё (Н, Н2) = 0 ).
Наиболее простым способом получения условия для объединения суперпикселей на основе сравнения гистограмм является использование глобального порога расстояния между гистограммами. Порог может быть как фиксированным, что требует его ручной настройки, так и адаптивным.
Экспериментально установлено, что применение порогового критерия слияния суперпикселей не позволяет провести качественное выделение объекта, так как приводит к большим ошибкам сегментации. В связи с этим разработан метод наращивания областей последовательным включением наиболее похожих суперпикселей. При определении критерия слияния суперпикселей условие малости расстояния между нормализованными гистограммами дополнено проверкой наличия границы между двумя областями по правилу, предложенному в [7]:
с = Г1, если Ш(С, С2) > тт^С ),ЫС)), 1 2 [ 0, если иначе,
где 0(С, С2) - решение о наличии границы между областями С и С2; , С2) -
внешнее расстояние, т. е. минимальное расстояние между пикселями, принадлежащими С и С; 1п1(С), 1п1;(С2) - внутренние расстояния, определяемые как максимальные расстояния между пикселями внутри областей С и С соответственно.
Под расстоянием между пикселями понимается евклидово расстояние в цветовом пространстве для цветных изображений либо абсолютная разность интенсивностей для изображений в градациях серого. Проверка условия (3) означает, что если внешнее расстояние между областями С и С больше внутреннего расстояния хотя бы для одной из этих областей, то это свидетельствует о наличии границы между ними. Если условие (3) не выполняется, принимается решение о слиянии областей С и С2 . Предикат наличия границы (3) имеет ряд преимуществ: простота вычисления, адаптивность к локальным особенностям изображения, возможность корректного сравнения областей с неравномерным распределением яркости и цвета.
Приведем алгоритм выделения объекта на основе предложенного подхода.
Шаг 1. Выделить начальный сегмент, совпадающий с центральным суперпикселем, который соответствует указанной оператором точке на изображении.
Шаг 2. Для начального сегмента рассмотреть соседние с ним суперпиксели, среди которых выбрать ближайшего соседа на основе расстояния между гистограммами.
Шаг 3. Для выбранного ближайшего соседа и начального сегмента вычислить условие (3). При невыполнении условия 0(С, С2) = 0 происходит слияние областей, т. е. начальный сегмент расширяется за счет ближайшего соседа. В этом случае выполнить переход к шагу 4, иначе - завершить работу.
Шаг 4. Если размер сегмента превысил максимальный размер объекта, завершить работу, иначе - перейти к шагу 2.
Необходимо отметить, что постепенное разрастание области объекта за счет слияния соседних суперпикселей позволяет неявно использовать критерий пространственной близости при поиске похожих сегментов.
Результаты и их обсуждение. Для оценки предложенного алгоритма выделения объекта проведено экспериментальное исследование его работы на реальных и синтезированных изображениях. Результаты тестирования алгоритма представлены на рис. 3. Для сегментации взяты три изображения: синтезированное зашумленное слабоконтрастное изображение (рис. 3, а), съемка местности с квадрокоптера (рис. 3, д) и теплови-зионное изображение человека (рис. 3, и). Выделенные объекты обозначены соответствующими рамками захвата, полученными для каждого объекта. Как показано на рисунке, предложенный алгоритм позволяет выделить области интереса с неравномерным распределением визуальных характеристик, а также слабоконтрастные объекты на сильно зашумленных изображениях.
и к л м
Рис. 3. Результаты работы предложенного алгоритма выделения объектов: а, д, и - исходные изображения; б, е, к - разбиения изображений на суперпиксели с объединением сегментов объектов;
в, ж, л - маски объектов; г, з, м - выделенные объекты Fig. 3. The results of object extraction using the proposed algorithm: a, e, i - original images; b,f j - superpixel image segmentations with merged object segments; c, g, k - objects' masks; d, h, l - extracted objects
Все тесты проводили на компьютере с процессором Intel Core 2 Duo с тактовой частотой 2,2 ГГц и 4 ГБ ОЗУ. Среднее время выполнения алгоритма захвата объекта на изображении с разрешением 320 х 240 составило 120 мс.
Заключение. В результате проведенного анализа существующих алгоритмов сегментации выявлен ряд недостатков, не позволяющих использовать их для захвата объектов в современных системах автоматического сопровождения. В предложенном алгоритме для выделения объекта используется подробное начальное разбиение изображения (пересегментация), после которого осуществляется слияние полученных суперпикселей. Проведенное экспериментальное исследование для подтверждения работоспособности алгоритма позволяет сделать вывод о возможности его применения в составе программного обеспечения разработанной системы автоматического сопровождения объектов на видеоизображениях. Программная реализация алгоритма выполняет в данной системе функцию полуавтоматического захвата объектов.
В дальнейшем планируется внедрение рассмотренного алгоритма в программный комплекс универсальной открытой программно-аппаратной платформы для проектирования устройств обработки потокового видео для БПЛА экологического мониторинга [14].
Литература
1. Li C., Xu C., Gui C., Fox M. D. Level set evolution without re-initialization: a new variational formulation // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). San Diego, CA: IEEE, 2005. Vol. 1. P. 430-436. https://doi.org/10.1109/CVPR.2005.213
2. Comaniciu D., Meer P. Mean shift: a robust approach toward feature space analysis // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2002. Vol. 24. No. 5. P. 603-619. https://doi.org/ 10.1109/34.1000236
3. Arthur D., Vassilvitskii S. k-means++: the advantages of careful seeding // Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms (S0DA'07). New Orleans, LA: SIAM, 2007. P. 1027-1035.
4. Haralick R. M., Shapiro L. G. Image segmentation techniques // Computer Vision, Graphics, and Image Processing. 1985. Vol. 29. Iss. 1. P. 100-132. https://doi.org/10.1016/S0734-189X(85)90153-7
5. Beucher S., Lantuejoul C. Use of watersheds in contour detection // International Workshop on Image Processing: Real-time Edge and Motion Detection/Estimation. Rennes, 1979. P. 2.1-2.12.
6. Shi J., Malik J. Normalized cuts and image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. Vol. 22. No. 8. P. 888-905. https://doi.org/10.1109/34.868688
7. Felzenszwalb P. F., Huttenlocher D. P. Efficient graph-based image segmentation // International Journal of Computer Vision. 2004. Vol. 59. Iss. 2. P. 167-181. https://doi.org/10.1023/B:VISI.0000022288.19776.77
8. Guimaraes S. J. F., Cousty J., Kenmochi Y., Najman L. A hierarchical image segmentation algorithm based on an observation scale // Structural, Syntactic, and Statistical Pattern Recognition: Joint IAPR International Workshop (Hiroshima, Japan, Nov. 7-9, 2012). Berlin; Heidelberg: Springer, 2012. P. 116-125. https://doi.org/10.1007/978-3-642-34166-3_13
9. Suzuki T., Akizuki S., Kato N., Aoki Y. Superpixel convolution for segmentation // 2018 25th IEEE International Conference on Image Processing (ICIP). Athens: IEEE, 2018. P. 3249-3253. https://doi.org/10.1109/ICIP.2018.8451721
10. Superpixel sampling networks / V. Jampani, D. Sun, M.-Y. Liu et al. // Computer Vision - ECCV 2018 / eds V. Ferrari, M. Hebert, C. Sminchisescu, Y. Weiss. Cham: Springer, 2018. P. 363-380. https://doi.org/10.1007/978-3-030-01234-2_22
11. Yang F., Sun Q., Jin H., Zhou Z. Superpixel segmentation with fully convolutional networks // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA: IEEE, 2020. P. 13961-13970. https://doi.org/10.1109/CVPR42600.2020.01398
12. Li Z., Chen J. Superpixel segmentation using Linear Spectral Clustering // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA: IEEE, 2015. P. 1356-1363. https://doi.org/ 10.1109/CVPR.2015.7298741
13. ComaniciuD., Ramesh V., Meer P. Kernel-based object tracking // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003. Vol. 25. Iss. 5. P. 564-577. https://doi.org/10.1109/ TPAMI.2003.1195991
14. Разработка и создание универсальной открытой программно-аппаратной платформы для проектирования устройств обработки потокового видео для беспилотных летающих аппаратов мониторинга экологической ситуации и состояния природных объектов: Резюме проекта // ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2021 годы» [Электронный ресурс] / Министерство науки и высшего образования Российской Федерации. URL: https://fcpir.ru/upload/iblock/900/stageSummary_corebofs000080000mt8b4nl 5jopa7nc.pdf (дата обращения: 05.09.2022).
Статья поступила в редакцию 09.09.2022 г.; одобрена после рецензирования 26.09.2022 г.;
принята к публикации 29.11.2022 г.
Информация об авторах
Сотников Александр Васильевич - инженер Научно-исследовательского института вычислительных cредств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), инженер АО «Зеленоградский инновационно-технологический центр» (Россия, 124527, г. Москва, г. Зеленоград, Солнечная аллея, 8), 100av@olvs.miee.ru
Шипатов Евгений Андреевич - студент Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), eashipatov@gmail. com
Шипатов Андрей Владимирович - кандидат технических наук, доцент Института микроприборов и систем управления имени Л. Н. Преснухина, начальник отдела Научно-исследовательского института вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), начальник отдела АО «Зеленоградский инновационно-технологический центр» (Россия, 124527, г. Москва, г. Зеленоград, Солнечная аллея, 8), avsh@mail.ru
References
1. Li C., Xu C., Gui C., Fox M. D. Level set evolution without re-initialization: a new variational formulation. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR '05). San Diego, CA, IEEE, 2005, vol. 1, pp. 430-436. https://doi.org/10.1109/CVPR.2005.213
2. Comaniciu D., Meer P. Mean shift: a robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, vol. 24, no. 5, pp. 603-619. https://doi.org/ 10.1109/34.1000236
3. Arthur D., Vassilvitskii S. k-means++: the advantages of careful seeding. Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms (SODA'07). New Orleans, LA, SIAM, 2007, pp. 1027-1035.
4. Haralick R. M., Shapiro L. G. Image segmentation techniques. Computer Vision, Graphics, and Image Processing, 1985, vol. 29, iss. 1, pp. 100-132. https://doi.org/10.1016/S0734-189X(85)90153-7
5. Beucher S., Lantuejoul C. Use of watersheds in contour detection. International Workshop on Image Processing: Real-time Edge and Motion Detection/Estimation. Rennes, 1979, pp. 2.1-2.12.
6. Shi J., Malik J. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, vol. 22, no. 8, pp. 888-905. https://doi.org/10.1109/34.868688
7. Felzenszwalb P. F., Huttenlocher D. P. Efficient graph-based image segmentation. International Journal of Computer Vision, 2004, vol. 59, iss. 2, pp. 167-181. https://doi.org/10.1023/B:VISI.0000022288.19776.77
8. Guimaraes S. J. F., Cousty J., Kenmochi Y., Najman L. A hierarchical image segmentation algorithm based on an observation scale. Structural, Syntactic, and Statistical Pattern Recognition, Joint IAPR International Workshop, Hiroshima, Japan, Nov. 7-9, 2012. Berlin, Heidelberg, Springer, 2012, pp. 116-125. https://doi.org/10.1007/978-3-642-34166-3_13
9. Suzuki T., Akizuki S., Kato N., Aoki Y. Superpixel convolution for segmentation. 2018 25th IEEE International Conference on Image Processing (ICIP). Athens, IEEE, 2018, pp. 3249-3253. https://doi.org/ 10.1109/ICIP.2018.8451721
10. Jampani V., Sun D., Liu M.-Y., Yang M.-H., Kautz J. Superpixel sampling networks. Computer Vision -ECCV 2018, eds V. Ferrari, M. Hebert, C. Sminchisescu, Y. Weiss. Cham, Springer, 2018, pp. 363-380. https://doi.org/10.1007/978-3-030-01234-2_22
11. Yang F., Sun Q., Jin H., Zhou Z. Superpixel segmentation with fully convolutional networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, IEEE, 2020, pp. 13961-13970. https://doi.org/10.1109/CVPR42600.2020.01398
12. Li Z., Chen J. Superpixel segmentation using Linear Spectral Clustering. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, IEEE, 2015, pp. 1356-1363. https://doi.org/10.1109/CVPR.2015.7298741
13. Comaniciu D., Ramesh V., Meer P. Kernel-based object tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, vol. 25, iss. 5, pp. 564-577. https://doi.org/10.1109/TPAMI.2003.1195991
14. Development and establishment of a universal open hardware and software platform for designing streaming video processing devices for unmanned aerial vehicles monitoring ecological situation and natural objects condition, project summary. Ministry of Education and Science of the Russian Federation. FTsP "Issledovaniya i razrabotki po prioritetnym napravleniyam razvitiya nauchno-tekhnologicheskogo kompleksa Rossii na 2014-2021 gody". Available at: https://fcpir.ru/upload/iblock/900/stageSummary_corebofs000080000mt8b4nl 5jopa7nc.pdf (accessed: 05.09.2022).
The article was submitted 09.09.2022; approved after reviewing 26.09.2022;
accepted for publication 29.11.2022.
Information about the authors
Alexander V. Sotnikov - Engineer of the Research Institute of Computing Facilities and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), Engineer, "Zelenograd Innovation and Technology Center" JSC (Russia, 124527, Moscow, Zelenograd, Solnechnaya ave., 8), 100av@olvs.miee.ru
Evgeny A. Shipatov - Student of the Institute of Biomedical Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), eashipatov@gmail.com
Andrey V. Shipatov - Cand. Sci. (Eng.), Assoc. Prof. of the Institute of Microdevices and Control Systems named after L. N. Presnukhin, Head of the Department of the Research Institute of Computing Facilities and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), Head of the Department, "Zelenograd Innovation and Technology Center" JSC (Russia, 124527, Moscow, Zelenograd, Solnechnaya ave., 8), avsh@mail.ru
