CC BY
36
Научная статья
УДК 004.4:528.71+004.3'142:621.317.752
ББК 32.813.52
М 54
DOI: 10.53598 / 2410-3225-2021-4-291-58-69
Метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам
(Рецензирована)
1 2
Алексей Николаевич Самойлов , Николай Евгеньевич Сергеев ,
Александр Валерьевич Волошин3, Александр Вячеславович Козловский4
1, 2, з, 4 Южный федеральный университет, Таганрог, Россия
1 asamoylov@sfedu.ru
2 nesergeev@sfedu.ru
3 avoloshin@sfedu.ru
4 kozlovskiy@sfedu.ru
Аннотация. Актуальность задач цифровизации деятельности предприятий возрастает вместе с расширением возможностей средств компьютерной обработки информации и интеллектуальных технологий. В области лесной и трубной промышленности важной задачей цифровизации является автоматизация измерения геометрических параметров объектов, позволяющая ускорить процессы информационного обмена при реализации складских или торговых операций. Длительное время автоматизация измерения геометрических параметров выполнялась путем развертывания сложных программно-аппаратных комплексов, эксплуатация которых требовала привлечения персонала соответствующей квалификации. В итоге выгоды от ускорения информационного обмена и снижения доли ошибок, вызванных человеческим фактором, нивелировались возросшей стоимостью выполнения бизнес-процессов. Благодаря развитию технологий компьютерного зрения, методов фотограмметрии, облачных технологий и мобильных вычислений появилась возможность снижения требований к комплексности программно-аппаратной части измерительных систем и персонала, эксплуатирующего эти системы. В данной статье представлены результаты фундаментального исследования, посвященного разработке теоретических основ для построения систем фотограмметрических измерений, инвариантных к фоторегистрирующим устройствам. Полученные в ходе исследования результаты включают в себя методику подготовки исходных данных для измерения, методику динамического распределения задач по мобильной и облачной подсистемам, методику вычисления значений на базе рассуждений на основе прецедентов.
Ключевые слова: фотограмметрия, облачные вычисления, метод, измерение, трубная промышленность, лесная промышленность
Original Research Paper
Method of photogrammetric measurement of geometric parameters of objects invariant to photo-recording devices
12 Aleksey N. Samoylov , Nikolay E. Sergeev ,
Aleksandr V. Voloshin3, Aleksandr V. Kozlovsky4
1 2 3 4 Southern Federal University, Taganrog, Russia
1 asamoylov@sfedu.ru
2 nesergeev@sfedu.ru
3 avoloshin@sfedu.ru
4 kozlovskiy@sfedu.ru
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 1907-00577.
Abstract. The relevance of the tasks of digitalization of the activities of enterprises is increasing along with the expansion of the capabilities of computer processing of information and intelligent technologies. In the field of the timber and pipe industry, an important task of digitalization is to automate the measurement of the geometric parameters of objects, which makes it possible to speed up the processes of information exchange during the implementation of warehouse or trade operations. For a long time, the automation of the measurement of geometric parameters was carried out by deploying complex software and hardware systems, the operation of which required the involvement of personnel of appropriate qualifications. As a result, the benefits from the acceleration of information exchange and a decrease in the proportion of errors caused by the human factor were offset by the increased cost of performing business processes. Thanks to the development of computer vision technologies, photogrammetry methods, cloud technologies and mobile computing, it became possible to reduce the requirements for the complexity of the software and hardware of measuring systems and the personnel operating these systems. This paper presents the results of fundamental research devoted to the development of theoretical foundations for the construction of photogrammetric measurement systems that are invariant to photo-recording devices. The results obtained in the course of the study include a methodology for preparing input data for measurement, a methodology for the dynamic distribution of tasks across mobile and cloud subsystems, a method for calculating values based on CBR.
Keywords: photogrammetry, cloud computing, method, measurement, pipe industry, forestry industry
Введение. Прикладные измерительные задачи в трубной и лесной промышленности, связанные с автоматизацией складских и торговых бизнес-процессов, подразумевают выполнение рутинной части на программно-аппаратный комплекс. Такая рутинная часть состоит из операций подсчета количества объектов, в том числе с учетом их типизации, выполняемых многократно за одну задачу. Автоматизация рутинных операций решается с применением технических устройств, регистрирующих первичную информацию (фотокамер, лидаров и пр.), и программной части, выполняющей функции обработки информации.
Для подсчета количества объектов требуется разработка и применение методов их идентификации на изображении (или полигоне), формируемом с помощью регистрирующих устройств. Для учета типизации объектов при их подсчете требуется разработка и применение методов измерения геометрических параметров (формы, габаритов). Анализ современного состояния науки в данной сфере показывает, что на сегодняшний день разработано достаточно методов и технологий, позволяющих решать вышеуказанные задачи, отличия между которыми состоят в точности, скорости и пригодности для определенных условий [1-7]. Отдельные работы подтверждают тот факт, что багаж подходящих методов был накоплен уже достаточно давно [8]. Между тем остается очевидным тот факт, что универсальных методов наукой не получено. Из этого следует, что актуальные проблемы построения фотограмметрических измерительных систем лежат в области подбора методов, адекватных для конкретной ситуации и условий применения.
Другая проблема - вычислительная мощность, требуемая для имплементации методов. Она выражается в сложности и громоздкости существующих измерительных комплексов, для нормального функционирования которых требуется применение крупногабаритной вычислительной техники. Отдельные исследователи отмечают, что производительность мобильных устройств на сегодняшний день достигла достаточного уровня для решения задач, посильных ранее только для персональных компьютеров [9]. Следовательно, возникает возможность заменить крупногабаритные узлы измерительных комплексов на мобильные устройства. Сложные вычислительные задачи при этом могут быть перенесены на облачную платформу с сохранением функционала мобильного устройства [10].
Однако при переходе на мобильные устройства в качестве основного компонента измерительных систем возникает задача, не рассматриваемая в современных публикациях, которая состоит в получении цифровых изображений с применением встроен-
ных в эти устройства камер. Для подсчета и различения объектов с применением технологий распознавания образов требуются изображения большого разрешения, на которых каждый объект занимает область в сотни пикселей.
Таким образом, возникает комплексная научная задача, связанная с обеспечением возможности выбора фотограмметрических методов и методов распознавания образов, походящих для решения конкретной измерительной задачи в конкретной ситуации. При решении этой задачи должны быть учтены возможности балансировки вычислительной нагрузки между мобильной и облачной платформами, а также предусмотрена возможность программного получения изображения высокого разрешения с камеры мобильного устройства. В дальнейших разделах данной статьи представлены результаты фундаментального исследования, посвященного разработке теоретических основ для построения систем фотограмметрических измерений, инвариантных к фоторегистрирующим устройствам. В первой части отражено современное состояние науки по данной тематике. Во второй главе показаны результаты разработки методики подготовки исходных данных для измерения. В третьей части показана разработанная методика динамического распределения задач по мобильной и облачной подсистемам. В четвертой части приводится метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам в виде пошагового алгоритма.
1. Современное состояние науки
Проблема автоматического подбора методов, пригодных для решения задачи с учетом ее специфики в научном мире, проработана слабо. Это связано с отсутствием исходных обучающих выборок, позволяющих выделять успешные случаи применения и их особенности. Известно лишь несколько работ, близких по тематике к разработанным в ходе исследования результатам. Они связаны с параметризацией методов [11, 12]. Системное решение проблемы подбора методов предложено не было.
В области решения сложных вычислительных задач с применением мобильных устройств, а также их компоновкой с облачными вычислениями посвящено множество работ [9, 13]. Суть современных подходов сводится к передаче вычислительных задач от серверной (облачной) части к мобильным устройствам и использование их в качестве вычислительных узлов. В статье, наоборот, ставится задача переноса сложных вычислений на облачную платформу, при этом управляет процессом мобильное устройство.
Повышение качества изображений, рассмотренное в работах [14-19], сводится к программному улучшению уже полученного ранее изображения. Такой подход связан с множеством ограничений и допущений, главное из которых - форма и геометрические параметры исходного объекта на улучшенном изображении могут значительно отличаться от реальных, что приведет к ошибкам в вычислениях.
Основываясь на вышеизложенном, можно утверждать, что научной новизной предлагаемых в статье решений является:
- возможность подбирать методы, подходящие для решения измерительной задачи в конкретных условиях, которая в отличие от известных подходов базируется на накоплении опыта применения в ходе эксплуатации системы;
- возможность балансировать вычислительную нагрузку между мобильной и облачной частями с сохранением управляющих функций на стороне мобильного устройства;
- возможность получать изображения высокого разрешения с помощью камеры мобильного телефона путем управления процессом съемки, а не программным улучшением полученного стандартного изображения.
Рассмотрим далее каждый элемент новизны.
2. Методика подготовки исходных данных
Исходными данными для фотограмметрического измерительного комплекса являются цифровые изображения. Качество решения фотограмметрической задачи напрямую зависит от качества изображения. Поскольку камеры мобильных устройств не обладают достаточными характеристиками для решения задачи получения качественных изображений напрямую [20], была разработана специализированная методика подготовки исходных данных.
Суть этой методики состоит в следующем. Независимо от методов и алгоритмов сжатия, форматов представления данных и прочих факторов, характеризующих отдельно взятое устройство, любое цифровое изображение I в каноническом виде может быть представлено двумерной матрицей размерности m*n, где m и n количество пикселей по горизонтали и вертикали. В ячейках такой матрицы записаны значения, характеризующие пиксель, например интенсивность цвета в модели RGB:
Следовательно, такая матрица описывает морфологическую структуру изображения и может быть использована в качестве управляющего шаблона для получения детализированных снимков отдельных его частей. Для этого в пределе необходимо в каждую ячейку матрицы W, описывающей цифровое изображение, внести не параметры отображения пикселя, а матрицы, описывающей отдельные упорядоченные фрагменты изображения одинакового размера. То есть в итоге будет сформирована матрица матриц размерности рхд;
Полученная таким образом матрица будет существенно меньшего размера, поскольку каждая содержащаяся в ее ячейках матрица представляет собой полноценное изображение. Так, матрица W размерности 3x3, состоящая из матриц I размерности 1000x1000, представляет собой изображение размером 3000 на 3000 пикселей. В реальных задачах вместо отдельных пикселей используются группы пикселей, количество которых кратно множителю, необходимому для получения изображения с достаточным разрешением. Например, для получения изображения разрешением 4800х3600 пикселей с помощью камеры, формирующей исходное изображение в разрешении 800х600 пикселей, потребуется разбить его на 6 групп по вертикали и 6 групп по горизонтали, а затем каждую группу с полученным разрешением 133х100 пикселов требуется заместить новым изображением в разрешении 800х600 точек. При этом исходное изображение будет использоваться в качестве маски, устраняющей искажения при получении детализированного снимка. Приведенные выше гипотезы приводят к тому, что за один фотоснимок формируется лишь часть изображения, а полную картину можно получить, сняв рхд фотографий объекта. А именно частей объекта, идущих в таком же порядке, как и значения в ячейках матрицы W. Это можно проиллюстрировать следующей блок-схемой (рис. 1).
Рис. 1. Блок-схема алгоритма получения исходных данных Fig. 1. Flowchart of initial data acquisition
Представленная на рисунке 1 блок-схема соответствует в общих чертах имеющимся алгоритмам получения панорамных и объемных снимков, однако ее ключевым отличием является использование в качестве отправной точки снимка общего плана измеряемого объекта. Данный снимок используется в качестве маски, позволяющей устранить искажения, вызванные сменой ракурса и точки съемки.
3. Методика динамического распределения задач по мобильной и облачной частям
Распределение задач по мобильной и облачной частям должно приводить к установлению конечного набора модулей, решающих задачи предварительной и основной обработки, а также анализа изображений, установления последовательности применения этих модулей и взаимосвязи между ними. Наиболее важным при этом является размещение модулей на мобильной и облачной частях системы.
Суть данной методики сводится к построению на базе предварительно синтезированной мобильно-облачной измерительной системы ее частного экземпляра. Для этого требуется выполнение следующей последовательности действий:
Шаг 1. Определение характеристик Интернет-соединения. Если Интернет-соединение устойчиво и его скорость не ниже соответствующей стандарту 2G/EDGE, дальнейший процесс синтеза осуществляется облачным сервером. Если параметры соединения ниже или оно отсутствует, дальнейшее конфигурирование осуществляется мобильным устройством.
Дальнейшие шаги будем рассматривать для двух случаев (отсутствующего или приемлемого качества Интернет-соединения). В первом случае каждый шаг обозначим буквой (а), во втором - буквой (b).
Шаг 2. Определение перечня методов и их комбинаций исходя из измерительной задачи. На основании выбранной пользователем задачи, которую может выполнять базовая измерительная система, определяется полный цикл обработки и анализа изображений. (а) Мобильное устройство осуществляет поиск наиболее релевантного варианта в наборе предопределенных конфигураций измерительной системы. (b) Облачный сервер осуществляет выборку из базы знаний с целью определения подходящей комбинации методов.
Шаг 3. Выбор конфигурации имплементации измерительной системы. (а) Мобильное устройство выполняет инициализацию выбранных методов из локальной копии. (b) Облачный сервер, основываясь на оценках качества соединения, полученных от мобильного устройства и от собственного модуля, осуществляет вычисления на основе продукционных правил, в результате чего определяется место имплементации методов предварительной обработки, анализа изображений и методов измерения.
Шаг 4. Мониторинг устойчивости соединения. В случае изменения характеристик канала связи более чем на 15% и сохранения этого изменения в течение более чем 30 секунд измерительная система по окончании очередного расчета переходит на шаг 3 и выполняет опять выбор конфигурации имплементации измерительной системы.
Установленный в результате применения методики набор модулей представляет собой уникальную версию измерительной системы, адаптированную под конкретные условия применения. Важно отметить, что каждая версия системы создается динамически, в соответствии с решаемой задачей. Успешные компоновки системы сохраняются в базе знаний для ускорения и полной автоматизации синтеза по мере накопления опыта использования.
Еще одной особенностью разрабатываемой методики является полное управление процессом синтеза. В связи с тем, что линейные сотрудники на предприятиях внедрения измерительного комплекса не обладают достаточной квалификацией, требуется минимизация влияния сотрудника на результат синтеза и в последующем - на результат измерения. Для этого сначала пользователем формируется обратная связь в виде ответов на ряд уточняющих вопросов, позволяющих определить тип измеряемого объекта, измерительную задачу и условия съемки. В систему для этого закладывается онтология методов и их комбинаций, соотнесенная с моделью принятия решений на основе case-based reasoning [21]. Пользователю требуется лишь передать параметры, уточняющие запрос на языке OWL. На втором этапе обратная связь от пользователя сводится к оценке качества результатов измерения, полученных с помощью первично синтезированной системы. На третьем этапе обратная связь от пользователя сводится к принятию уточненной конфигурации или возврату ко второму этапу, если результирующая погрешность выходит за допустимые рамки.
Таким образом, общая процедура синтеза прикладной фотограмметрической системы может быть представлена следующим образом (рис. 2).
Рис. 2. Процедура динамического синтеза фотограмметрической системы Fig. 2. Procedure for dynamic synthesis of photogrammetric system
Методика вычисления значений
Методика вычисления значений при эксплуатации синтезированной фотограмметрической системы представляет собой процесс, основанный на использовании онтологии методов и их комбинаций, позволяющей для заранее известных типовых комбинаций подбирать конфигурацию измерительной процедуры.
На первом этапе методики инициируется новая измерительная задача, которая предполагает получение от пользователя ответов на ряд уточняющих вопросов: тип измеряемого объекта (вид лесоматериала, вид металлопроката или др.), тип места измерения (ангар, открытая площадка и пр.), тип измерительной задачи (счет, подсчет объема и др.), условия съемки (облачность, наличие осадков). На основании этого происходит первичный отбор комбинаций методов, содержащихся в онтологии и настроен-
ных с помощью оператора-эксперта. Предполагается, что в системе на каждую типовую комбинацию задачи есть подобная настройка.
На втором этапе система, проанализировав изображение объекта и получив дополнительные параметры, характеризующие фоторегистрирующее устройство, выбирает конкретную комбинацию методов, наиболее релевантную задаче измерения и условиям ее решения. Предполагается, что чем больше в базе знаний системы будет зарегистрировано комбинаций, тем точнее будет результат синтеза. В пределе алгоритм должен привести к тому, что окончательный синтез как этап алгоритма не будет востребован.
На третьем этапе система снова управляет оператором, выдавая ему подсказки по дальнейшему сбору данных для синтеза. На этом этапе произвольным образом выбираются области на изображении, для которых оператору требуется произвести ручной подсчет. Введенные оператором данные сопоставляются с результатами измерения, и далее, если эти результаты укладываются в допустимую погрешность, определенную при развертывании копии мобильно-облачной измерительной системы, конфигурация методов в совокупности с полученными первичными данными заносится в базу знаний. В противном случае, если погрешность лежит за пределами допустимых значений, применяется алгоритм получения изображений высокого разрешения с помощью камеры мобильного устройства, и происходит повторная процедура синтеза.
4. Метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам
Совокупность вышеизложенных методик составляют разработанный в рамках исследования метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам.
Суть данного метода заключается в выполнении следующих шагов;
Шаг 1. Первичный синтез прикладной измерительной системы в соответствии с введенными оператором параметрами. Перечень параметров включает в себя, но не ограничивается уточнением следующих значений; тип объекта (труба, арматура, лес и пр.), вид измерительной задачи (подсчет, площадь, объем), характеристика условий съемки (погода (ясно, пасмурно), место съемки (открытая площадка, ангар)). На данном этапе формируется предварительно отобранный перечень методов (комбинаций методов) решения измерительной задачи, для которого есть соответствие в онтологии и, возможно, кейс, сохраненный в модели СВК
Шаг. 2 Окончательный синтез прикладной измерительной системы. Путем получения изображения требуемого разрешения осуществляется тестовое измерение. Решающую роль в качестве получаемых результатов здесь играет оператор, в чьи задачи входит сверка полученных тестовых данных и фактических значений и их корректировка. На данном этапе формируется конкретный экземпляр системы, включающий в себя отобранную по результатам тестирования (в перспективе - автоматически отобранную) комбинацию методов, а также их распределение по мобильной и облачной частям, адекватное текущему состоянию канала связи.
Шаг 3. Применение прикладной измерительной системы. На данном этапе оператор, управляемый подсказками системы, решает измерительные задачи. В его обязанности входит фотографирование и, при необходимости, подтверждение полученных результатов.
Заключение
Проведенные в рамках исследования работы позволили получить ряд значимых научных и прикладных результатов, отличающихся новизной и превосходящих современный уровень.
Так, разработана методика получения изображений высокого разрешения, в которой в отличие от известных во главу угла поставлено качество снимка, а не скорость его получения. За счет этого программное улучшение изображения заменено процедурой детализированной съемки его частей, качество которой обеспечивается путем использования исходного изображения в качестве маски.
Разработан ряд моделей и процедур, опубликованных в предыдущих работах авторского коллектива [22-24], который предлагает оригинальные архитектурные решения, способы хранения знаний о методах и их комбинациях, а также методики пополнения этих знаний в процессе эксплуатации системы.
Разработана методика, позволяющая синтезировать прикладную фотограмметрическую измерительную систему, соответствующую конкретной измерительной задаче и конкретным условиям съемки. Важной отличительной особенностью данной методики является смена фокуса управления в процессе синтеза: управляет система, оператор выполняет роль помощника, а также учет пропускной способности канала передачи данных, позволяющий динамически распределять нагрузку между мобильной и облачной частями системы.
Разработана методика измерения, позволяющая в большинстве случаев исключить вероятность ошибки оператора и снизить требования к его квалификации. Отличительной особенностью методики является управление измерительным процессом со стороны системы, а не наоборот.
Разработан метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам, отличительной особенностью которого является возможность использования любых методов обработки и анализа изображений, доступных и вновь разрабатываемых, а также возможность синтеза прикладных измерительных систем на основе имеющейся онтологии методов и базы знаний по их применению.
Примечания
1. Salient object detection techniques in computer vision - A survey / A. Gupta, A. Seal, M. Prasad, P. Khanna // Entropy. 2020. No. 22. P. 1-49.
2. Gullapelly A., Banik B.G. Exploring the techniques for object detection, classification, and tracking in video surveillance for crowd analysis // Indian Journal of Computer Science and Engineering. 2020. No. 11. P. 321-326.
3. Labeni M., Boufenar C., Taffar M. Objects Counting in Videos via Deep Learning and Image Processing // 4th International Symposium on Informatics and its Applications in ISIA. 2020 -Proceedings / Institute of Electrical and Electronics Engineers Inc. DOI: 10.1109/ISIA51297.2020.9416535
4. A survey of deep convolutional neural networks applied for prediction of plant leaf diseases / V.S. Dhaka [et al.] // Sensors. 2021. No. 21. DOI: 10.3390/s21144749
5. Вольф Г.С., Бухтояров В.В. Исследование эффективности методов распознавания графической информации // Актуальные проблемы авиации и космонавтики: сб. материалов V Междунар. науч.-практ. конф., посвящ. Дню космонавтики: в 3-х т., Красноярск, 08-12 апреля 2019 года / под общ. ред. Ю.Ю. Логинова. Красноярск: Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева, 2019. С. 216-218.
6. Исследование применимости алгоритмов и методов распознавания образов для подсчета количества людей в аудиторном помещении / Д.М. Бобырев, А.О. Румянцев, Д.И. Волобуев, Ю.А. Егоров // Математическое и информационное моделирование: материалы Всерос. конф. молодых ученых, Тюмень, 01-08 июня 2020 г. Тюмень: Тюменский государственный университет, 2020. С. 144-154.
7. Грицик В.В., Дунас А.Я. Исследование методов распознавания образов для систем компьютерного зрения роботов будущего // Вестник Херсонского национального технического университета. 2017. № 3 (62). С. 297-301.
8. Pandit A., Rangole J. Literature Review on Object Counting using Image Processing Tech-
niques // International Journal of Advanced Research in Electrical, Electronics and Instrumentation Engineering. 2014. No. 3. P. 8509-8512.
9. Pfeuffer Ken, Yang Li. Analysis and Modeling of Grid Performance on Touchscreen Mobile Devices // Proceedings: Conference on Human Factors in Computing Systems. 2018. Vol. 288. Association for Computing Machinery. DOI: 10.1145/3173574.3173862
10. Profiling performance of application partitioning for wearable devices in mobile cloud and fog computing / C. Fiandrino, N. Allio, D. Kliazovich, P. Giaccone, P. Bouvry // IEEE Access. 2019. No. 7. P. 12156-12166.
11. Черемисинова О.Н., Ростовцев В.С. Методы автоматического подбора гиперпараметров сверточной нейронной сети // Нейрокомпьютеры: разработка, применение. 2021. Т. 23, № 2. С. 26-34. DOI 10.18127/j 19998554-202102-03; либо с жестко заданной предметной областью [J. Kalina, A. Neoral, P. Vidnerova. Effective Automatic Method Selection for Nonlinear Regression Modeling // International Journal of Neural Systems. 2021. No. 31. DOI: 10.1142/S0129065721500209].
12. Luo G. A review of automatic selection methods for machine learning algorithms and hyper-parameter values // Network Modeling Analysis in Health Informatics and Bioinformatics. 2016. No. 5. DOI: 10.1007/s13721-016-0125-6
13. A Survey of Mobile Cloud Computing Challenges and Solutions / G. Alwafi, M. Alrougi, R. Alsulami, S. Salama // International Journal of New Technology and Research. 2021. No. 7. DOI: 10.31871/ijntr.7.3.6
14. Ratna Babu K., Sunitha K. V. N. A New Approach to Enhance Images of Mobile Phones With in-Built Digital Cameras Using Mean and Variance // International Conference on Advances in Computer Engineering. 2013.
15. WESPE: Weakly supervised photo enhancer for digital cameras / A. Ignatov, N. Koby-shev, R. Timofte, K. Vanhoey & L. Van Gool // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2018. URL: https://doi.org/10.1109/CVPRW.2018.00112
16. Road Image Update using in Vehicle Camera Images and Aerial Image / Noda Masafumi, Takahashi Tomokazu, Deguchi Daisuke [et al.] // IEEE Intelligent Vehicles Symposium, BadenBaden, June 5-9 2011. Vol. IV. P. 460-465. Baden-Baden, 2011.
17. Bendoumi Mohamed Amine, He Mingyi, Mei Shaohui. Hyperspectral Image Resolution Enhancement Using High-Resolution Multispectral Image Based on Spectral Unmixing // IEEE Transactions on Geoscience and Remote Sensing. 2014. Vol. 52, Iss. 10. P. 6574-6583.
18. Personal photograph enhancement using internet photo collections / C. Zhang, J. Gao, O. Wang [at al.] // IEEE Transactions on Visualization and Computer Graphics. 2014. No. 20 (2). P. 262-275.
19. Real-time guidance camera interface to enhance photo aesthetic quality / Y. Xu, J. Ratcliff, J. Scovell [at al.] // Conference on Human Factors in Computing Systems - Proceedings. 2015.
Vol. 2015-April. P. 1183-1186. Association for Computing Machinery. URL: https://doi.org/10.1145/2702123.2702418
20. Чумичев В.С., Гайдуков А.Б. Исследование характеристик фоторегистрирующих средств, встроенных в мобильные устройства // Технологии разработки информационных систем ТРИС-2019: материалы IX Междунар. науч.-техн. конф., Геленджик, 06-13 сентября 2019 года. Геленджик: Южный федеральный университет, 2019. С. 195-199.
21. Самойлов А.Н., Волошин А.В., Козловский А.В. Алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений для задач прикладной фотограмметрии // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2019. Вып. 3 (246). С. 96-102. URL: http://vestnik. adygnet.ru
22. Samoylov A. The method of constructing the structures of configurable automated system for measuring volume of roundwood // WIT Transactions on Information and Communication Technologies. Ser.: Information and Communication Technology for Education. 2014. P. 277-284. DOI: 10.2495/ICTE130341
23. Самойлов А.Н., Бородянский Ю.М., Волошин А.В. Алгоритм формирования фотограмметрической измерительной системы по первичным входным данным // Вестник Адыгейского государственного университета. Сер: Естественно-математические и технические науки. 2021. Вып. 2 (281). С. 82-89. URL: http://vestnik.adygnet.ru
24. The ontology-based methodology for determining the objects' geometric parameters from pre-processed digital images for applied photogrammetry / A. Samoylov, N. Sergeev, I. Polovko,
A. Voloshin // 20th International Multidisciplinary Scientific Geo Conference SGEM 2020, Albena, 18-August 24, 2020. Sofia, 2020. P. 381-388. DOI: 10.5593/sgem2020/2.1/s07.049
References
1. Salient object detection techniques in computer vision - A survey / A. Gupta, A. Seal, M. Prasad, P. Khanna // Entropy. 2020. No. 22. P. 1-49.
2. Gullapelly A., Banik B.G. Exploring the techniques for object detection, classification, and tracking in video surveillance for crowd analysis // Indian Journal of Computer Science and Engineering. 2020. No. 11. P. 321-326.
3. Labeni M., Boufenar C., Taffar M. Objects Counting in Videos via Deep Learning and Image Processing // 4th International Symposium on Informatics and its Applications in ISIA. 2020 -Proceedings / Institute of Electrical and Electronics Engineers Inc. DOI: 10.1109/ISIA51297.2020.9416535
4. A survey of deep convolutional neural networks applied for prediction of plant leaf diseases / V.S. Dhaka [et al.] // Sensors. 2021. No. 21. DOI: 10.3390/s21144749
5. Volf G.S., Bukhtoyarov V.V. Research of the effeciency of graphic information recognition methods // Actual problems of aviation and cosmonautics: coll. of proceedings of the V Intern. scient. and pract. conf., dedicated to Cosmonautics Day: in 3 volumes, Krasnoyarsk, April 08-12, 2019 / ed. by Yu.Yu. Loginov. Krasnoyarsk: Siberian State University of Science and Technology named after Academician M.F. Reshetnev, 2019. P. 216-218.
6. Study of the applicability of algorithms and methods of pattern recognition for counting the number of people in the classroom / D.M. Bobyrev, A.O. Rumyantsev, D.I. Volobuev, Yu.A. Egorov // Mathematical and information modeling: proceedings of all-Russian conf. of young scientists, Tyumen, June 01-08, 2020. Tyumen: Tyumen State University, 2020. P. 144-154.
7. Gritsik V.V., Dunas A.Ya. Research of pattern recognition methods for computer vision systems of robots of the future // Bulletin of Kherson National Technical University. 2017. No. 3 (62). P. 297-301.
8. Pandit A., Rangole J. Literature Review on Object Counting using Image Processing Techniques // International Journal of Advanced Research in Electrical, Electronics and Instrumentation Engineering. 2014. No. 3. P. 8509-8512.
9. Pfeuffer Ken, Yang Li. Analysis and Modeling of Grid Performance on Touchscreen Mobile Devices // Proceedings: Conference on Human Factors in Computing Systems. 2018. Vol. 288. Association for Computing Machinery. DOI: 10.1145/3173574.3173862
10. Profiling performance of application partitioning for wearable devices in mobile cloud and fog computing / C. Fiandrino, N. Allio, D. Kliazovich, P. Giaccone, P. Bouvry // IEEE Access. 2019. No. 7. P. 12156-12166.
11. Cheremisinova O.N., Rostovtsev V.S. Methods of automated hyperparameters tuning of a convolutional neural network // Neurocomputers: development, application. 2021. Vol. 23, No. 2. P. 26-34. DOI 10.18127/j19998554-202102-03; or with a rigidly defined subject area [J. Kalina, A. Neoral, P. Vidnerova. Effective Automatic Method Selection for Nonlinear Regression Modeling // International Journal of Neural Systems. 2021. No. 31. DOI: 10.1142/S0129065721500209].
12. Luo G. A review of automatic selection methods for machine learning algorithms and hyper-parameter values // Network Modeling Analysis in Health Informatics and Bioinformatics. 2016. No. 5. DOI: 10.1007/s13721 -016-0125-6
13. A Survey of Mobile Cloud Computing Challenges and Solutions / G. Alwafi, M. Alrougi, R. Alsulami, S. Salama // International Journal of New Technology and Research. 2021. No. 7. DOI: 10.31871/ijntr.7.3.6
14. Ratna Babu K., Sunitha K. V. N. A New Approach to Enhance Images of Mobile Phones With in-Built Digital Cameras Using Mean and Variance // International Conference on Advances in Computer Engineering. 2013.
15. WESPE: Weakly supervised photo enhancer for digital cameras / A. Ignatov, N. Koby-shev, R. Timofte, K. Vanhoey & L. Van Gool // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2018. URL: https://doi.org/10.1109/CVPRW.2018.00112
16. Road Image Update using in Vehicle Camera Images and Aerial Image / Noda Masafumi, Takahashi Tomokazu, Deguchi Daisuke [et al.] // IEEE Intelligent Vehicles Symposium, BadenBaden, June 5-9 2011. Vol. IV. P. 460-465. Baden-Baden, 2011.
17. Bendoumi Mohamed Amine, He Mingyi, Mei Shaohui. Hyperspectral Image Resolution
Enhancement Using High-Resolution Multispectral Image Based on Spectral Unmixing // IEEE Transactions on Geoscience and Remote Sensing. 2014. Vol. 52, Iss. 10. P. 6574-6583.
18. Personal photograph enhancement using internet photo collections / C. Zhang, J. Gao, O. Wang [at al.] // IEEE Transactions on Visualization and Computer Graphics. 2014. No. 20 (2). P. 262-275.
19. Real-time guidance camera interface to enhance photo aesthetic quality / Y. Xu, J. Ratcliff, J. Scovell [at al.] // Conference on Human Factors in Computing Systems - Proceedings. 2015.
Vol. 2015-April. P. 1183-1186. Association for Computing Machinery. URL: https://doi.org/10.1145/2702123.2702418
20. Chumichev V.S., Gaidukov A.B. Characteristics of photo-recording funds embedded in mobile devices survey // Technologies for the development of information systems TRIS-2019: proceedings of the 9th Intern. scient. and techn. conf., Gelendzhik, September 06-13, 2019. Gelendzhik: Southern Federal University, 2019. P. 195-199.
21. Samoylov A.N., Voloshin A.V., Kozlovsky A.V. Algorithmic support of intelligent digital image processing system for applied photogrammetry tasks // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2019. Iss. 3 (246). P. 96-102. URL: http://vestnik.adygnet.ru
22. Samoylov A. The method of constructing the structures of configurable automated system for measuring volume of roundwood // WIT Transactions on Information and Communication Technologies. Ser.: Information and Communication Technology for Education. 2014. P. 277-284. DOI: 10.2495/ICTE130341
23. Samoylov A.N., Borodyansky Yu.M., Voloshin AV. Photogrammetric measurement system generating algorithm by primary input data // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2021. Iss. 2 (281). P. 82-89. URL: http://vestnik. adygnet.ru
24. The ontology-based methodology for determining the objects' geometric parameters from pre-processed digital images for applied photogrammetry / A. Samoylov, N. Sergeev, I. Polovko, A. Voloshin // 20th International Multidisciplinary Scientific Geo Conference SGEM 2020, Albena, 18-August 24, 2020. Sofia, 2020. P. 381-388. DOI: 10.5593/sgem2020/2.1/s07.049
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 1.11.2021; одобрена после рецензирования 28.11.2021; принята к публикации 29.11.2021.
The article was submitted 1.11.2021; approved after reviewing 28.11.2021; accepted for publication 29.11.2021.
© А.Н. Самойлов, Н.Е. Сергеев, А.В. Волошин, А.В.Козловский, 2021
