CC BY
40
УДК 004.932
Б01: 10.17277/уе81шк.2022.04.рр.573-585
АЛГОРИТМЫ ОБРАБОТКИ ДАННЫХ В АВТОМАТИЧЕСКИХ СИСТЕМАХ УПРАВЛЕНИЯ НА ОСНОВЕ КОМПЬЮТЕРНОГО ЗРЕНИЯ
А. Д. Обухов, К. И. Патутин, А. О. Назарова
Кафедра «Системы автоматизированной поддержки принятия решений», obuhov.art@gmail.com; ФГБОУВО «ТГТУ», Тамбов, Россия
Ключевые слова: алгоритмы обработки информации; компьютерное зрение; машинное обучение; преобразование изображений.
Аннотация: Изложены основные алгоритмы обработки графической информации, используемые для организации процесса управлении на основе технологий компьютерного зрения. Исходные данные в большинстве случаев требуют предварительной обработки, включая снижение их размерности, выделение ключевых признаков, преобразование, восстановление и повышение качества. Рассмотрены основные классы задач в этой предметной области и алгоритмы их решения, включающие как математическое преобразование изображений, так и применение технологий машинного обучения и компьютерного зрения в автоматических системах управления.
Введение
В настоящее время технологии компьютерного зрения широко применяются в различных областях человеческой деятельности. Если человеческое зрение лучше всего подходит для качественной интерпретации сложных и расплывчатых кадров, то машинное зрение более целесообразно использовать при количественном определении характеристик упорядоченных кадров благодаря таким его особенностям, как скорость, точность и воспроизводимость. Однако эффективность работы напрямую зависит от формы представления данных, содержания, качества исходной графической информации.
Методы предварительной обработки позволяют существенно улучшить входные данные и упростить процесс анализа и последующей организации процесса управления, основанного на технологиях компьютерного зрения. Предварительная обработка данных является первым и неотъемлемым этапом организации процесса управления на основе компьютерного зрения, поскольку качество данных и полезная информация, которая может быть получена из изображений, напрямую влияют на эффективность реализуемой системы управления и используемых алгоритмов.
Главная цель предварительной обработки информации - создание условий, которые в дальнейшем повысят эффективность и качество анализа изображения. Выбор того или иного метода предобработки зависит от специфики используемых данных. На этом этапе могут решаться как относительно простые задачи (фильтрация от шумов, выделение контуров, сегментация, коррекция яркости и контрастности), так и более сложные в реализации (генерация изображений, кодирование, поиск и сегментация объектов).
Классификация основных типов задач при обработке информации в области компьютерного зрения
В рамках данного исследования выделим четыре основных направления обработки информации (рис. 1). Все задачи напрямую связаны с областью компьютерного зрения и решаются в процессе организации программно-аппаратных систем на основе данной технологии.
Сжатие. Исходная графическая информация представляет относительно большой объем данных (размерность равна количество каналов*ширинахдлина изображения). Поэтому актуальным направлением является уменьшение размерности за счет применения различных алгоритмов: изменение размера, выделение, удаление цветовых каналов (перевод в оттенки серого или черно-белую цветовую палитру), сжатие при помощи нейронных сетей автоэнкодеров или вейвлет-преобразований, сохраняющих ключевые признаки изображений.
Поиск. Алгоритмы компьютерного зрения и машинного обучения используются для решения задач сегментирования, обнаружения объектов и их классификации, трекинга, поиска ключевых точек объектов.
Восстановление. К данному классу задач относится повышение качества исходных изображений за счет увеличения динамического диапазона и резкости, увеличения разрешения кадра; восстановление поврежденных участков (дорисовка изображения); удаления шумов и артефактов (капель, грязи, тумана и т.д.)
Преобразование. Включает применение различных эффектов, изменение цветовых схем, а также создание на основе исходных кадров новых изображений с добавлением стилевых эффектов. Кроме того, к этому классу можно отнести генерацию следующего кадра на основе предыдущих с использованием рекуррентных и сверточных нейронных сетей.
Для перечисленных задач обработки графических данных проведен сравнительный анализ, на основе которого сформулированы характерные особенности каждой задачи (табл. 1). Под X в данной таблице понимается исходная графическая информация, У - выходные данные. Знак «+» в /-м столбце обозначает, что данное свойство выполняется для /-й задачи, а знак «-» - что указанное свойство в /-й категории задач отсутствует либо не выполняется.
Изменение размерности; выделение ключевых признаков; сжатие автознкодерами. Сегментация и поиск объектов; классификация объектов; трекинг; поиск ключевых точек объектов.
1. Сжатие 2. Поиск информации
Задачи обработки изображений
4. Преобразование 3. Восстановление
Применение эффектов; Удаление шумов и артефактов;
перенос стиля; повышение размера и резкости;
предсказание следующего кадра. восстановление поврежденных
участков.
Рис. 1. Классификация задач обработки информации
Таблица 1
Сравнение задач генерации данных в области компьютерного зрения
Задача/Свойство т > и |У| < |Х| 1 1 У задан
1. Сжатие - + - -
2. Поиск - + - +
3. Восстановление + - + +
4. Преобразование - - + +
Дадим пояснения к каждому свойству табл. 1.
Свойство «|У| > |Х|»: размерность выходных данных |У| превышает размерность входных данных |Х|. Для задачи 3 это выражено в том, что на вход поступает поврежденная информация с отсутствующими значениями, фрагментами, либо кадр меньшего разрешения, а на выходе необходимо получить полноценное изображение.
Свойство «|У| < Х|»: размерность выходных данных меньше размерности входных данных. Оно означает, что в ходе первой задачи будет производиться сжатие данных либо будет создан новый информационный объект, обладающий также меньшими размерами, чем исходный.
Свойство «|У| = Х|»: размерность выходных и входных данных совпадает. Данное свойство выполняется для задач 3-4, так как при восстановлении изображения от шумов, преобразовании и прогнозировании следующего кадра ожидается графическая информация исходной размерности.
Свойство «У задан» определяет необходимость подготовки размеченных выходных данных для успешного решения задачи. В задаче 1 это не требуется, так как в качестве выходных данных используются исходные входные. В задаче поиска необходимо разметить кадр (обозначить ключевые точки, сегменты, указать классы объектов), а в задаче восстановления - задать ожидаемый кадр без потерь или в высоком разрешении. В четвертой задаче выходные данные могут как обрабатываться на основе заданных алгоритмов, так и требоваться изначально, например, для прогнозирования или извлечения стиля.
Таким образом, обозначены основные классы задач обработки графической информации, далее необходимо сформулировать алгоритмы их решения.
Алгоритмы обработки графической информации
Для решения поставленных выше классов задач сформулируем общий алгоритм действий. Условно его можно разбить на три основные блока:
1. Предварительная обработка изображения. Включает этапы: извлечение данных из файла изображения с определением исходных размеров, количества цветовых каналов, нормализация значений интенсивности цвета (с переходом от целочисленного диапазона 0...255 к вещественному 0...1), выравнивание и преобразование размеров кадра под заданный формат (соотношение сторон, размеры, количество цветовых каналов). На выходе этапа формируется массив численных значений исходного изображения размером Х*У*С (ширина, высота, цветовые каналы).
2. Основной этап обработки изображения. Реализует необходимые операции для решения задач, перечисленных в предыдущем разделе с использованием технологий компьютерного зрения, машинного обучения, преобразования данных.
Для каждой конкретной задачи требуется реализовать свой алгоритм данного этапа. Обобщенно в результате этапа формируется массив обработанных численных значений, удовлетворяющих требованиям поставленной задачи.
3. Сохранение итогового изображения. Полученный на выходе второго этапа массив информации преобразуется в графический файл требуемого размера, цветовой схемы, битности, формата, после чего сохраняется на накопитель.
Этапы 1 и 3 являются стандартными в сфере обработки изображений и реализуются средствами программных библиотек выбранного языка программирования. Наибольший интерес представляет этап 2 из-за наличия специфики в каждом классе рассмотренных задач. Реализуем алгоритмы решения задач для каждого из классов. В качестве инструмента решения задач будем использовать язык программирования Python, библиотеки обработки изображений, машинного обучения и компьютерного зрения.
Блок схема реализации основного этапа обработки изображений для задачи класса «Сжатие» представлена на рис. 2. В зависимости от подзадачи сжатия используются различные программные библиотеки.
Исходное изображение (Х*У*С)
Дискретное косинус-преобразование (функция dct библиотеки OpenCV)
Рис. 2. Алгоритм решения задачи сжатия графической информации
Первой подзадачей можно выделить изменение размерности изображения. Для ее решения можно выделить четыре различных метода, которые можно найти для применения в библиотеке Pillow. Первый метод - это изменение размера изображения. В основе данного метода лежит принцип выполнения аффинных преобразований (поворот, растяжение/сжатие, сдвиг) над изображением. Следующий метод - преобразование цветового режима изображения к определенным оттенкам серого. Данный вариант преобразования изображения передает меньше информации об объектах, однако они распространены в обработке изображений, потому что использование изображения в оттенках серого требует меньше доступного пространства и увеличивает скорость вычислений. Также следует отметить еще один метод преобразования цветового режима - преобразование в черно-белый формат. Если прошлый метод содержал в себе 255 различных значений серого цвета, то для данной реализации используются лишь 2 варианта - черный и белый соответственно. Данный метод полезен при явном выделении объектов и удалении избыточной информации. Последним методом для подзадачи изменения размерности можно выделить метод обрезания изображений (crop), с помощью которого выделяется необходимый объект или область, а остальная часть отбрасывается за ненадобностью.
Сжатие изображения автоэнкодером - один из известных подходов, основанный на применении двух специализированных нейронных сетей (кодера и декодера), первая осуществляет сжатие данных в некоторое скрытое представление, а вторая - его обратное восстановление из представления в исходный вид. В процессе такого сжатия могут дополнительно быть удалены шумы, понижена резкость и качество, однако полученное сжатое представление включает набор ключевых признаков исходных данных и может использоваться для сравнения или анализа изображений.
Последним направлением для задач класса «Сжатие» является выделение ключевых признаков изображения, включающих огромное количество различных методов. Первым таким методом можно назвать спектральный анализ на основе преобразования Фурье [1]. Преобразование Фурье представляет спектральную функцию в виде суммы бесконечного числа тригонометрических функций с определенными амплитудами и фазами, рассматриваемыми на заданном отрезке. Также группой методов выделения ключевых признаков на изображении можно отметить вейвлет-преобразования [2]. К вейвлет-сжатию относится класс методов кодирования изображений с использованием двумерных функций-вейвлетов, которые позволяют раскладывать и анализировать данные в зависимости от их частотных компонентов. Результат операции заключается в том, чтобы усилить резкие перепады яркости, то есть выделить контуры изображения. Далее следует отметить метод главных компонент (PCA - Principal Component Analysis) [3]. Данный метод заключается в аппроксимации и-размерного количества признаков, в разной степени зависящих друг от друга, до эллипсоида, полуоси которого представляют собой главные компоненты, то есть если есть два признака, коррелирующих друг с другом, то при применении метода PCA находится признак-комбинация, выражающая два предыдущих признака одним новым. Далее стоит отметить дискретное косинус-преобразование (DCT - Discrete Cosine Transform), при использовании которого изображение разбивается на блоки. Затем они конвертируются в набор коэффициентов косинусных функций с возрастающими частотами [4].
Следующее направление - поиск информации на изображении (рис. 3).
В данном направлении также выделено три подзадачи. Одной из них является сегментация и определение ключевых точек. Сегментация - процесс разделения цифрового изображения на несколько сегментов. Цель сегментации заключается
Исходное изображение (X*Y*C)
Использование нейронной сети для классификации изображений
Рис. 3. Алгоритм решения задачи поиска информации на изображении
в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать. Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Для выделения ключевых точек могут быть использованы различные нейронный сети, например, библиотека Media Pipe Hands. Она состоит из двух модулей, один из которых распознает требуемый объект, а другой распределяет ключевые точки вдоль распознанного объекта.
Второй подзадачей выделена классификация объектов на изображении. Данная подзадача решается созданием и обучением сверточной нейронной сети [5]. Сверточная нейросеть является алгоритмом глубокого обучения, способным получать в качестве ввода изображение, присваивать степень важности различным его аспектам/объектам и отличать одно от другого.
Для трекинга объектов в библиотеке OpenCV существует много реализаций: BOOSTING, MIL, KCF, CSRT, MedianFlow, MOSSE, GOTURN. Чтобы определиться с выбором того или иного алгоритма следует понимать слабые и сильные их стороны. Рассмотрим два часто используемых способа распознавания объектов: CSRT и KCF. Способ CSRT (англ. Discriminative Correlation Filter with Channel and Spatial Reliability) используется, когда нужна высокая точность
отслеживания объектов и не значительно количество кадров в секунду. Этот алгоритм использует карты пространственной надежности для настройки поддержки фильтра на часть выделенной области из кадра для отслеживания, что дает возможность увеличить область поиска и отслеживать непрямоугольные объекты. Показатели надежности отражают качество исследуемых фильтров по каналам и используются в качестве весов для локализации [6]. Способ KCF (англ. Kernelized Correlation Filters) применяется, когда необходима большая пропускная способность FPS и не нужна существенная точность отслеживания объектов. Данный метод представляет собой комбинацию из существующих в OpenCV алгоритмов BOOSTING и MIL. Суть метода заключается в том, что набор изображений, полученный методом MIL, имеет множество перекрывающихся областей. Корреляционная фильтрация, примененная к этим областям, позволяет с высокой точностью отслеживать перемещение объекта и прогнозировать его дальнейшее положение [7]. Также для трекинга движущихся объектов можно применять функцию absdiff библиотеки OpenCV. Работа данной функции заключается в том, что каждый следующий кадр вычитается из предыдущего, разница этих изображений и будет являться движущейся целью.
Следующей темой для работы с изображениями посредством использования нейронных сетей является описание задач класса «Восстановление» (рис. 4).
Рис. 4. Алгоритм решения задачи восстановления графической информации
Рассмотрим первую подзадачу - удаление шумов и артефактов. Первым для рассмотрения является метод удаление шумов на изображении, реализованный в функции fast NlMeans Denoising Colored в библиотеке OpenCV. Идеей алгоритма является подбор похожих участков изображения и их усреднение для сглаживания. Следующим методом является применение нейронной сети DehazeNet для удаления дымки. Данная нейронная сеть принимает затуманенное изображение в качестве входных данных и выводит свою карту среднего пропускания изображения, которая впоследствии будет использоваться для восстановления изображения без дымки. Далее рассмотрим, как с помощью нейронной сети автоэнкоде-ра удалять артефакты на изображении. Автоэнкодер принимает на вход данные (картинку) и переводит их в функцию, а далее восстанавливает входные данные по их функции. То есть в процессе удаления артефактов нейронная сеть пытается выучить такую тождественную функцию, которая сможет минимизировать функционал ошибки.
Рассмотрим процессы восстановления потерянных данных. Для решения этой задачи можно применять одну из библиотек нейронных сетей: TensorFlow, Keras, PyTorch и др. Для примера выберем библиотеку Keras. Для того чтобы обучить нейронную сеть, необходимо сравнивать зашумленные данные с данными без шума. Сначала необходимо создать модель, которая будет видоизменять исходное изображение, для этого можно использовать класс Image Data Generator. Затем обучаем нейронную сеть посредством подачи исходного изображения и зашумленного.
Улучшения качества изображения можно добиться, применяя класс Super Resolution библиотеки OpenCV, который повышает качество изображения методами масштабирования или улучшения деталей. Так как для увеличения размеров изображения лишние пиксели нужно интерполировать, то для решения этой задачи в OpenCV реализованы 4 метода: ED SR, ESPCN, FSRCNN, LapSRN [8 - 11]. Первые 3 алгоритма предлагают коэффициент масштабирования в 2, 3 и 4 раза больше исходного размера, а последний - в 2, 4 и 8 раз.
Одно из крупнейших направлений в обработке графических данных -их преобразование (рис. 5). Первой подзадачей преобразования изображений рассмотрим применение эффектов. Для применения фильтров на изображении используется функция filter модуля Image Filter. В данном модуле содержится набор фильтров: BLUR - размытие, CONTOUR - контур, DETALL - детализация, EDGE_ENHANCE - улучшение краев, EDGE_EHANCE_MORE - усиленное улучшение краев, EMBOSS - рельеф, FIND_EDGES - поиск по краю, SMOOTH -сглаживание, SMOOTH_MORE - усиленное сглаживание, SHARPEN - резкость. Также для применения эффектов на изображении возможно использование функции cvtColor, при изменении параметров которой происходит преобразование изображения из одного цветового пространства в другое.
Далее следует изучить способ изменения стиля изображения. Neural style transfer библиотеки Tensor flow Hub - одно из приложений компьютерного зрения с использованием глубокого обучения [12]. В этом методе два изображения -на первом будет основываться основное содержание результирующего изображения, другое будет его стилем. Подход, который используется для решения задачи, заключается в использовании глубоких сетей, например, модели трансферного обучения сверточной нейронной сети VGG-19. Через модель VGG-19 будут отправлены три параметра, а именно изображение-содержание, изображение-стиль и сгенерированное изображение. Сгенерированное изображение первоначально инициализируется как шум, затем, после процесса обучения, оно станет похоже на сочетание картинок контента и стиля. При передаче входных данных
Рис. 5. Алгоритм решения задачи преобразования графической информации
слоям VGG-19 обеспечивается удаление выходных и плотных слоев, чтобы это была плотная свертка, содержащая только сверточные и объединяющие слои.
Как пример методов прогнозирования изображений можно привести нейронную сеть ESRGAN и ее класс Super Resolution, находящиеся в библиотеке OpenCV [13]. Методы реконструируют изображение или последовательность с более высоким разрешением из существующих изображений с более низким разрешением, например, масштабирование изображения 720p до 1080p. А также для прогнозирования кадра возможно использование filter2D библиотеки OpenCV. При работе с изображениями в обработке изображений filter2D функция используется для изменения значения интенсивности пикселей изображения на основе значений интенсивности окружающих пикселей. Данный метод может улучшить или удалить определенные функции изображения для создания нового изображения.
Применение алгоритмов обработки изображения в процессе управления на основе компьютерного зрения
Представленные в работе алгоритмы обработки изображений находят применение при реализации различных систем управления, основанных на компьютерном зрении. Рассмотрим некоторые примеры успешного внедрения данных алгоритмов.
Одним из наиболее развивающихся направлений применения компьютерного зрения является разработка автопилотов для наземного транспорта. При их реализации используется большая цепочка взаимосвязанных алгоритмов обработки изображения: поиск движущихся объектов, выделение контуров, удаление шу-
мов и тумана, после чего - распознавание и классификация объектов. На основе полученной с кадра информации формируется управляющее воздействие на систему автопилотирования: изменить скорость или траекторию движения. Подобные системы также внедряются в авиакосмической отрасли.
В промышленности технологии компьютерного зрения активно применяются для реализации автоматических систем управления конвейерами, станками, сборочными роботами. Рассмотренные в работе алгоритмы позволяют оценить состояние детали, ее размеры и класс, осуществить компоновку деталей в изделие и выполнить другие технологические операции. При этом, помимо решения непосредственно задач управления оборудованием, компьютерное зрение позволяет осуществлять мониторинг изготавливаемой продукции, отслеживать степень износа оборудования, предупреждать о возникающих чрезвычайных ситуациях.
В сельском хозяйстве алгоритмы обработки изображений позволяют отслеживать состояние зерновых и плодово-ягодных культур, осуществлять управление роботизированными комплексами по их сбору и обработке, повысить точность позиционирования орудий обработки, в том числе автоматизировать сельскохозяйственные процесса за счет использования автопилотов.
Таким образом, востребованность рассмотренных подходов к обработке изображений при решении задач управления крайне высока. Современные автоматические системы управления для обеспечения высокого уровня надежности особенно в условиях присутствия человека должны постоянно отслеживать состояние окружающей среды и корректно реагировать на изменения в ней. Технологии компьютерного зрения и алгоритмы обработки изображений являются одним из эффективных инструментов для решения данной задачи.
Заключение
В рамках данной статьи рассмотрена классификация задач обработки изображений, возникающих при реализации систем управления, среди которых выделены четыре основных направления: сжатие, поиск, восстановление и преобразование. Для каждой категории представлены основные алгоритмы обработки изображений, а также программные библиотеки для их реализации.
Проанализированные в работе алгоритмы обработки изображений основываются на математических преобразованиях, применении методов машинного обучения и компьютерного зрения. Показаны основные направления их применения в современных системах управлениях.
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ в рамках гранта Президента РФ МК-857.2022.1.6.
Список литературы
1. Image Registration with Fourier-Based Image Correlation: A Comprehensive Review of Developments and Applications / X. Tong, Z. Ye, Y. Xu [et al.] // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2019. -Vol. 12, No. 10. - P. 4062 - 4081. doi: 10.1109/JSTARS.2019.2937690
2. Выделение границ на изображениях на основе модели энергетических признаков вейвлет-преобразования / М. П. Шлеймович, А. П. Кирпичников, С. А. Ляшева, М. В. Медведев // Вестн. Казанского технологического ун-та. -2017. - Т. 20, № 21. - С. 103 - 107.
3. Kurita, T. Principal Component Analysis (PCA) / T. Kurita // Computer Vision: A Reference Guide. - Springer, Cham., 2021. - P. 1013 - 1016.
4. Dct-Mask: Discrete Cosine Transform Mask Representation for Instance Segmentation / X. Shen, J. Yang, C. Wei [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2021. - P. 8720 - 8729.
5. Сирота, А. А. Анализ алгоритмов поиска объектов на изображениях с использованием различных модификаций сверточных нейронных сетей / А. А. Сирота, Е. Ю. Митрофанова, А. И. Милованова // Вестн. Воронежского гос. ун-та. Серия: Системный анализ и информационные технологии. - 2019. - № 3. -С. 123 - 137.
6. Discriminative Correlation Filter TracNer with Channel and Spatial Reliability / A. Lukezic, T. Vojir, L. Cehovin Zajc [et al.] // International Journal of Computer Vision. - 2018. - Vol. 126, No. 7. - P. 671 - 688. doi: 10.1007/s11263-017-1061-3
7. High-Speed Tracking with Kernelized Correlation Filters / J. F. Henriques, R. Caseiro, P. Martins, J. Batista // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2014. - Vol. 37, No. 3. - P. 583 - 596. doi: 10.1109/TPAMI. 2014.2345390
8. Enhanced Deep Residual Networks for Single Image Super-Resolution / B. Lim, S. Son, H. Kim [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. - 2017. - P. 136 - 144.
9. Real-Time Single Image and Video Super-Resolution Using an Efficient SubPixel Convolutional Neural Network / W. Shi, J. Caballero, F. Huszar [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2016. - P. 1874 - 1883.
10. Dong, C. Accelerating the Super-Resolution Convolutional Neural Network / C. Dong, C. C. Loy, X. Tang // European Conference on Computer Vision. - 2016. -P. 391 - 407.
11. Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks / W. S. Lai, J. B. Huang, N. Ahuja, M. H. Yang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2018. - Vol. 41, No. 11. - P. 2599 - 2613.
12. Gatys, L. A. A Neural Algorithm of Artistic Style / L. A. Gatys, A. S. Ecker, M. A. Bethge // Journal of Vision. - 2016. - Vol. 16, No. 12. - P. 1 - 16. doi: 10.1167/16.12.326
13. Esrgan: Enhanced Super-Resolution Generative Adversarial Networks / X. Wang, K. Yu, S. Wu [et al.] // Proceedings of the European Conference on Computer Vision (ECCV) Workshops. - 2018. - P. 1 - 16.
Data Processing Algorithms in Automatic Control Systems Based on Computer Vision
A. D. Obukhov, K I. Patutin, A. O. Nazarova
Department of Automated Decision Support Systems, obuhov.art@gmail.com; TSTU, Tambov, Russia
Keywords: information processing algorithms; computer vision; machine learning; image conversion.
Abstract: The main algorithms for processing graphic information are used to organize the management process based on computer vision technologies. The initial data in most cases require pre-processing, including reduction of their dimension,
extraction of key features, transformation, restoration and quality improvement. The main classes of problems in this subject area and algorithms for their solution, including both the mathematical transformation of images and the use of machine learning and computer vision technologies in automatic control systems, are considered.
References
1. Tong X., Ye Z., Xu Y. [et al.] Image Registration with Fourier-Based Image Correlation: A Comprehensive Review of Developments and Applications, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, vol. 12, no. 10, pp. 4062-4081, doi: 10.1109/JSTARS.2019.2937690
2. Shleymovich M.P., Kirpichnikov A.P., Lyasheva S.A., Medvedev M.V. [Boundary detection on images based on the model of energy features of the wavelet transform], Vestnik Kazanskogo tekhnologicheskogo universiteta [Bulletin of the Kazan Technological University], 2017, vol. 20, no, 21, pp. 103-107. (In Russ.)
3. Kurita T. Computer Vision: A Reference Guide, Springer, Cham., 2021, pp. 1013-1016.
4. Shen X., Yang J., Wei C. [et al.] Dct-Mask: Discrete Cosine Transform Mask Representation for Instance Segmentation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 8720-8729.
5. Sirota A.A., Mitrofanova Ye.Yu., Milovanova A.I. [Analysis of object search algorithms in images using various modifications of convolutional neural networks], Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Sistemnyy analiz i informatsionnyye tekhnologii [Bulletin of the Voronezh State University. Series: System Analysis and Information Technologies], 2019, no. 3, pp. 123-137. (In Russ., abstract in Eng.)
6. Lukezic A., Vojir T., Cehovin Zajc L., Matas J., Kristan M. Discriminative Correlation Filter TracNer with Channel and Spatial Reliability, International Journal of Computer Vision, 2018, vol. 126, no. 7, pp. 671-688, doi: 10.1007/s11263-017-1061-3
7. Henriques J.F., Caseiro R., Martins P., Batista J. High-Speed Tracking with Kernelized Correlation Filters, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, vol. 37, no. 3, pp. 583-596, doi: 10.1109/TPAMI. 2014.2345390
8. Lim B., Son S., Kim H., Nah S., Lee K.M. Enhanced Deep Residual Networks for Single Image Super-Resolution, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017, pp. 136-144.
9. Shi W., Caballero J., Huszar F. [et al.] Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1874-1883.
10. Dong C., Loy C.C., Tang X. Accelerating the Super-Resolution Convolutional Neural Network, European Conference on Computer Vision, 2016, pp. 391-407.
11. Lai W.S., Huang J.B., Ahuja N., Yang M.H. Fast and Accurate Image SuperResolution with Deep Laplacian Pyramid Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, vol. 41, no. 11, pp. 2599-2613.
12. Gatys L.A., Ecker A.S., Bethge M.A. A Neural Algorithm of Artistic Style, Journal of Vision, 2016, vol. 16, no. 12, pp. 1-16, doi: 10.1167/16.12.326
13. Wang X., Yu K., Wu S. [et al.] Esrgan: Enhanced Super-Resolution Generative Adversarial Networks, Proceedings of the European Conference on Computer Vision (ECCV) Workshops, 2018, pp. 1-16.
Datenverarbeitungsalgorithmen in automatischen Steuersystemen
Zusammenfassung: Es sind die wichtigsten Algorithmen für die Verarbeitung der grafischen Information zur Organisation des Steuerprozesses auf der Grundlage von Computer-Vision-Technologien dargelegt. Die Ausgangsdaten erfordern in den meisten Fällen eine Vorverarbeitung, einschließlich der Verringerung ihrer Dimension, der Hervorhebung von Schlüsselmerkmalen, der Transformation, der Wiederherstellung und der Qualitätsverbesserung. Die Hauptklassen von Problemen auf diesem Fachgebiet und Algorithmen deren Lösungen sind betrachtet, darunter sowohl mathematische Transformation von Bildern als auch die Anwendung von maschinellen Lerntechnologien und Computer-Vision-Technologien in automatischen Steuersystemen.
Algorithmes du traitement des données dans les systèmes de contrôle automatiques
Résumé: Sont décrits les principaux algorithmes du traitement graphique des informations utilisées pour organiser le processus de commande basé sur la technologie de vision par ordinateur. Dans la plupart des cas, les données brutes nécessitent un prétraitement, y compris une réduction de leur dimensionnalité, la division des caractéristiques clés, la transformation, la restauration et l'amélioration de la qualité. Sont examinés les principales classes de tâches dans ce domaine et les algorithms de leurs solutions impliquant à la fois la transformation mathématique des images et l'application des technologies d'apprentissage automatique et de vision par ordinateur dans les systèmes de commande automatiques.
Авторы: Обухов Артем Дмитриевич - доктор технических наук, доцент кафедры «Системы автоматизированной поддержки принятия решений»; Патутин Кирилл Игоревич - магистрант; Назарова Александра Олеговна -студент, ФГБОУ ВО «ТГТУ», Тамбов, Россия.
