CC BY
17
Научная статья
УДК 004.4:528.721
ББК 32.813.52
С 17
doi: 10.53598/2410-3225-2021-2-281-82-89
Алгоритм формирования фотограмметрической измерительной системы по первичным входным данным
(Рецензирована)
Алексей Николаевич Самойлов1, Юрий Михайлович Бородянский2, Александр Валерьевич Волошин3
1 3 Южный федеральный университет, Таганрог, Россия
1 asamoylov@sfedu.ru
2 Санкт-Петербургский государственный университет телекоммуникаций им. профессора М.А. Бонч-Бруевича, Санкт-Петербург, Россия, borodyanskyum@gmail.com
3 avoloshin@sfedu.ru
Аннотация. В процессе автоматизации решения прикладных измерительных задач, в том числе на базе фотограмметрических методов, возникает проблема соответствия измерительной системы объекту и условиям измерения. Для того чтобы измерительная система позволяла заранее оценить возможность получения достоверных результатов, а также наилучшим образом подстраивалась под условия измерения, необходимо наличие специализированных алгоритмов и моделей. В общем случае такие модели ориентированы на квалифицированных технических специалистов, обладающих необходимыми знаниями в области информационных технологий. Особенностью применения фотограмметрических измерительных систем в лесной и металлургической промышленности является низкая квалификация пользователей в сфере информационных технологий, что обуславливается характером выполняемых работ и условиями привлечения. Данный фактор не позволяет решить задачу подстройки системы традиционными методами, в которых процессом настройки управляет пользователь. В этой связи в статье предлагается модель и алгоритм формирования измерительной системы по первичным входным данным, в котором процессом настройки управляет сама система.
Ключевые слова: фотограмметрия, распознавание образов, лесная промышленность, трубная промышленность, измерительная система, мобильное приложение, автоматизация, настройка
Original Research Paper
Photogrammetric measurement system generating algorithm
by primary input data
Aleksey N. Samoylov1, Yuriy M. Borodyansky2, Aleksandr V. Voloshin3
1 3 Southern Federal University, Taganrog, Russia
1 asamoylov@sfedu.ru
2 St. Petersburg State University of Telecommunications named after Professor M.A. Bonch-Bruevich, St. Petersburg, Russia, borodyanskyum@gmail.com
3 avoloshin@sfedu.ru
Abstract. In the process of automating the solution of applied measurement tasks, including on the basis of photogrammetric methods, there is a problem of compliance of the measurement system with the object and measurement conditions. In order for the measuring system to assess in advance the possibility of obtaining reliable results, as well as to best adapt to the conditions of measurement, it is necessary to have specialized algorithms and models. In general, such models are aimed at qualified technicians with the necessary knowledge in the field of information technology. A feature of the application of photogrammetric measurement systems in the forestry and metallurgical industry is the low qualification of users in the field of information technology, which is determined by the nature of the work performed and the conditions of attraction. This factor does not solve the problem of adjusting the system by traditional methods in which the user controls the configuration process. In this regard, the article proposes a model and algorithm for forming a measuring system from primary input data, in which the system itself controls the adjustment process.
Keywords: photogrammetry, pattern recognition, forest industry, pipe industry, measuring system, mobile application, automation, adjusting
Введение
На сегодняшний день существует множество прикладных решений на базе технологий фотограмметрии [1-3]. Как правило, эти системы представляют собой узкоспециализированные комплексы, направленные на решение ограниченного круга задач. В то же время известны системы, способные решать различные виды измерительных задач из предопределенного набора [4], и системы, которые могут быть адаптированы под вновь возникающие задачи [5]. Последние являются предметом разработки и исследования авторского коллектива и базируются на комбинации методов предварительной обработки, анализа изображений, технологии case-based reasoning и онтологических моделях. Разработанный базис с технической стороны позволяет решать задачу синтеза частных систем под вновь возникающие задачи. Однако на сегодняшний день остается нерешенной задача управления процессом синтеза таких систем.
Анализ литературных источников на предмет актуальных трендов в области методов и алгоритмов управления синтезом прикладных систем показывает, что вне зависимости от конкретного видения исследователей процесс всегда управляется пользователем. Так, модельно-ориентированная разработка (MDD) предполагает управление процессом синтеза систем за счет перестройки высокоуровневых моделей: PIM, CIM [6]. Разработка, ориентированная на свойства (FODA), предполагает, что пользователь определяет систему как набор свойств, под выполнение которых происходит синтез [7]. Аппарат предметно-ориентированных языков (DSL) позволяет управлять напрямую, синтезировать систему из описания на языке предметной области, созданного пользователем [8].
Основную проблему применения данных методов в области прикладных задач фотограмметрии, таких, как подсчет штабелированного пиломатериала, арматуры и труб, составляет квалификация пользователей. Проведенные опросы и наблюдения показывают, что специалисты, выполняющие функции подсчета, не обладают профильным образованием в сфере информационных технологий. С этой точки зрения перспективное направление на первый взгляд мог бы составить подход предметно-ориентированных языков, однако его применение также невозможно. Причина данного ограничения кроется в следующем: достаточно высокоуровневое описание системы, доступное для понимания конечным пользователем, будет одинаковым для всех возможных конфигураций, а описание системы, учитывающее нюансы обработки изображений и применение методов их анализа, вновь потребует от пользователя квалификации в сфере ИТ.
Выходом из данной ситуации может быть смена концепции процесса синтеза систем, которая заключается в том, что не пользователь должен управлять процессом, а система должна управлять пользователям. В действительности разница между конкретными реализациями системы состоит в составе отобранных методов и их комбинаций. Критерием выбора комбинации является минимальная погрешность измерения, укладывающаяся в рамки допустимых норм и стандартов. Очевидно, что в данном случае возможно разработать такой метод, который позволит автоматизировать процесс синтеза, получая от пользователя лишь внешнюю оценку качества получаемых решений, что, в свою очередь, не требует от него наличия специальных технических знаний.
В данной статье предлагается алгоритм формирования фотограмметрической измерительной системы по первичным входным данным, ориентированный на пользователя, не обладающего знаниями в области информационных технологий.
Принцип управления синтезом систем
В контексте мобильно-облачных измерительных систем, работающих на принципах фотограмметрии, под синтезом понимается установление конечного набора модулей, решающих задачи предварительной и основной обработки, а также анализа изображений, установления последовательности применения этих модулей и взаимосвязи между ними. Установленный в процессе синтеза набор модулей представляет собой уникальную версию измерительной системы, адаптированную под конкретные условия применения. В опубликованных ранее работах был изложен метод индуктивного обучения системы, основанный на ее использовании оператором-экспертом [9].
Особенностью процесса синтеза прикладных систем в реальных условиях является то, что конечный их пользователь не может и не должен обладать знаниями в области информационных технологий. Следовательно, синтез на основе индуктивного обучения системы в реальных условиях затруднен.
Как уже отмечалось во введении, основу предлагаемого процесса синтеза составляют:
1. Смена фокуса управления: не пользователь управляет процессом синтеза, а система;
2. Критерием качества синтеза является ее способность выдавать достоверный результат в условиях применения.
Основываясь на данных особенностях, сформулируем принцип управления синтезом мобильно-облачных измерительных систем. Принцип состоит в следующем: в отличие от классического подхода, полностью управляемого извне [10], фотограмметрические мобильно-облачные измерительные системы должны самостоятельно управлять процессом своего синтеза, основываясь на внешних данных двух видов - цифровых изображениях объекта измерения и ответах оператора, подтверждающих или отклоняющих результаты работы синтезированной системы. Решение о подтверждении или отклонении оператор должен принимать на основании простого и понятного критерия, не требующего специализированных знаний. Таким критерием может являться разница между результатом измерений, полученным ручным способом, и результатом, полученным с помощью синтезированной системы.
Чтобы исключить проблему полного перебора требуется также ввести ряд процедур, обеспечивающих оператору возможность предварительного ограничение множества альтернативных структур системы, которые могут быть синтезированы. Основываясь на вышеизложенном, перейдем к формулировке алгоритма формирования фотограмметрических систем.
Алгоритм формирования фотограмметрической измерительной системы по
первичным входным данным
Чтобы реализовать вышеизложенный принцип, алгоритм должен решать ряд следующих задач:
1. Ограничение множества альтернатив, чью работу следует оценить пользователю;
2. Первичный синтез на основании полученных данных (фотографии объекта измерения и ограничения на множество альтернатив);
3. Окончательный синтез с учетом реакции пользователя.
На каждом этапе система должна самостоятельно управлять пользователем, который в контексте решаемой задачи должен выполнять функцию обратной связи. На первом этапе обратная связь, получаемая от пользователя, состоит в ответах на ряд уточняющих вопросов, позволяющих определить тип измеряемого объекта, измерительную задачу и условия съемки. В систему заложена онтология методов и их комбинаций, соотнесенная с моделью принятия решений на основе case-based reasoning. Пользователю требуется лишь передать параметры, уточняющие запрос на языке OWL.
На втором этапе обратная связь от пользователя сводится к оценке качества результатов измерения, полученных с помощью первично синтезированной системы. Как известно, оценка погрешности измерения является нетривиальной задачей, тем более, если речь идет об автоматизации данного процесса. Чтобы снизить вычислительную нагрузку на узлы системы, а также упростить ее функциональную структуру, предложено принимать решение о допустимости погрешности на основании сопоставления результатов, которые пользователь получил вручную, и результатов, которые получила система. Эффективность такого подхода тем выше, чем больше объектов будет измерено за один сеанс в одном расположении.
На третьем этапе обратная связь от пользователя сводится к принятию уточненной конфигурации или возврату ко второму этапу, если результирующая погрешность выходит за допустимые рамки.
Основываясь на полученных ранее результатах [11], а также вышеизложенной информации, перейдем к описанию алгоритма формирования фотограмметрической измерительной системы по первичным входным данным. Схема алгоритма представлена на рисунке 1.
Для полноты изложения в алгоритм включена роль системы, с помощью которой показаны возможности разработанных ранее решений. Алгоритм, в соответствии с изложенной концепцией, разделен на три этапа. На первом этапе инициируется новая измерительная задача, которая предполагает получение от пользователя ответов на ряд уточняющих вопросов: тип измеряемого объекта (вид лесоматериала, вид металлопроката или др.), тип места измерения (ангар, открытая площадка и пр.), тип измерительной задачи (счет, подсчет объема и др.), условия съемки (облачность, наличие осадков). На основании этого происходит первичный отбор комбинаций методов, содержащихся в онтологии и настроенных с помощью оператора-эксперта. Предполагается, что в системе на каждую типовую комбинацию задачи есть подобная настройка.
На втором этапе система, проанализировав изображение объекта и получив дополнительные параметры, характеризующие фоторегистрирующее устройство, выбирает конкретную комбинацию методов, наиболее релевантную задаче измерения и условиям ее решения. Предполагается, что чем больше в базе знаний системы будет зарегистрировано комбинаций, тем точнее будет результат синтеза. В пределе алгоритм должен привести к тому, что окончательный синтез как этап алгоритма не будет востребован.
Алгоритм формирования фотограмметрической измерительной системы
Пользователь
Последовательный ответ на вопросы системы
Тестовая фотосъемка объекта измерения
£
Измерение части объекта по рекомендации системы
Ручное измерение части объекта, измеренного с помощью системы
I
Сопоставление результатов
Создание дополнительных фотографий по рекомендации системы
Система
Инициация задачи измерения
Формирование списка вопросов
Подгрузка модулей обработки в соответствии с данными об измерительной задаче
Обработка изображения
т
Выбор подходящей комбинации методов на основе CBR
Синтез конфигурации системы
Сопоставление результатов
Погрешность
выше допустимой
Погрешность является допустимой
Внесение конфигурации синтезированной системы в базу знаний
Запуск задачи измерения
Рис. 1. Схема алгоритма формирования фотограмметрической измерительной системы
по первичным входным данным
На третьем этапе система снова управляет оператором, выдавая ему подсказки по дальнейшему сбору данных для синтеза. На этом этапе произвольным образом выбираются области на изображении, для которых оператору требуется произвести ручной подсчет. Введенные оператором данные сопоставляются с результатами измерения и далее, если эти результаты укладываются в допустимую погрешность, определенную при развертывании копии мобильно-облачной измерительной системы, конфигурация методов в совокупности с полученными первичными данными заносится в базу знаний. В противном случае, если погрешность лежит за пределами допустимых значений, применяется алгоритм получения изображений высокого разрешения с помощью камеры мобильного устройства, и происходит повторная процедура синтеза.
Заключение
В статье предложен алгоритм формирования фотограмметрической измерительной системы по первичным входным данным. Данный алгоритм базируется на разработанных ранее архитектуре, методологическом и алгоритмическом обеспечении мобильно-облачной измерительной системы. Основу алгоритма составляет новый принцип управления синтезом, в котором предполагается привлечение пользователя только в качестве обратной связи. Такое нововведение позволяет обойти проблему квалификации персонала на местах внедрения системы.
Значимым достоинством предложенного алгоритма является возможность пополнения базы знаний системы успешными комбинациями методов и то, что критерием успешности является достижение требуемого уровня погрешности, который задается при развертывании системы у заказчика. Это позволяет учесть всевозможные ситуации и ограничения на применение разработанных решений.
Предложенный алгоритм также имеет ряд ограничений, связанный с наполнением базы знаний и строгим выполнением пользователем инструкций, выдаваемых системой. Первое ограничение выражается в том, что на начальных этапах эксплуатации системы возможны измерительные задачи, для которых в базе знаний системы нет комбинации методов. В этом случае система будет переходить в экспертный режим, в котором осуществляется прямое наполнение базы знаний в терминах case-based reasoning. Второе ограничение требует дополнительной проработки в части UI/UX технологий. Требуется разработать решения, обеспечивающие однозначное понимание инструкций и автоматическую проверку корректности их исполнения.
Благодарности: Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-07-00577.
Acknowledgments: The study was carried out with the financial support of RFFI in the framework of scientificproject No. 19-07-00577.
Список литературы:
1. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2014. Vol. 40. P. 157-162.
2. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic applications // 9th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P.289-294.
3. Madeira S., Gonçalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Computers & Geosciences. 2010. No. 6. P. 699-706.
4. URL: https://countthings.com/
5. Mobile-cloud data processing system on digital images / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Industrial Informatics (INDIN). Helsinki, 2019. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161
6. Proll R., Rumpold A., Bauer B. Applying Integrated Domain-Specific Modeling for Multi-concerns Development of Complex Systems BT - Model-Driven Engineering and Software Development // L.F. Pires, S. Hammoudi, B. Selic / eds. Cham: Springer International Publishing, 2018. P. 247-271.
7. Marimuthu C., Chandrasekaran K. Feature-Oriented Domain Analysis Framework for Energy-Aware Self-Adaptive Software // IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData). 2016. P. 773-776. DOI: 10.1109/iThings-GreenCom-CPSCom-SmartData.2016.163
8. Systematic mapping study on domain-specific language development tools / A. Iung, J. Carbonell, L. Marchezan [et al.] // Empir Software. 2020. Eng 25. P. 4205-4249. URL: https://doi.org/10.1007/s10664-020-09872-1
9. Самойлов А.Н., Бородянский Ю.М., Волошин А.В. Метод и распределенная индуктивная процедура машинного обучения фотограмметрического алгоритма для решения задач определения геометрических параметров объектов по предварительно обработанным цифровым изображениям // Инженерный вестник Дона. 2020. № 12 (72). С. 220-230.
10. Пацей Н.Е., Придухо В.Т. Структурно-параметрический синтез автоматизированных систем контроля и учета электроэнергии // Информатика. 2011. № 3 (1(29)). С. 107-118.
11. Самойлов А.Н., Волошин А.В., Козловский А.В. Алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений для задач прикладной фотограмметрии // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2019. Вып. 3 (246). С. 96-102. URL: http://vestnik.adygnet.ru
References:
1. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2014. Vol. 40. P. 157-162.
2. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic applications // 9th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P. 289-294.
3. Madeira S., Gon?alves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Computers & Geosciences. 2010. No. 6. P. 699-706.
4. URL: https://countthings.com/
5. Mobile-cloud data processing system on digital images / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Industrial Informatics (INDIN). Helsinki, 2019. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161
6. Proll R., Rumpold A., Bauer B. Applying Integrated Domain-Specific Modeling for Multi-concerns Development of Complex Systems BT - Model-Driven Engineering and Software Development // L.F. Pires, S. Hammoudi, B. Selic / eds. Cham: Springer International Publishing, 2018. P. 247-271.
7. Marimuthu C., Chandrasekaran K. Feature-Oriented Domain Analysis Framework for Energy-Aware Self-Adaptive Software // IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData). 2016. P. 773-776. DOI: 10.1109/iThings-GreenCom-CPSCom-SmartData.2016.163
8. Systematic mapping study on domain-specific language development tools / A. Iung, J. Carbonell, L. Marchezan [et al.] // Empir Software. 2020. Eng 25. P. 4205-4249. URL: https://doi.org/10.1007/s10664-020-09872-1
9. Samoylov A.N., Borodyansky Yu.M., Voloshin A.V. Method and distributed inductive procedure of machine learning of a photogrammetric algorithm for solving the problems of determining
the geometric parameters of objects from pre-processed digital images // Engineering Journal of Don. 2020. No. 12 (72). P. 220-230.
10. Patsey N.E., Pridukho V.T. Structural and parametric synthesis of automated systems for accounting and control of electricity // Informatics. 2011. No. 3 (1 (29)). P. 107-118.
11. Samoylov A.N., Voloshin A.V., Kozlovsky A.V. Algorithmic support of intelligent digital image processing system for applied photogrammetry tasks // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2019. Iss. 3 (246). P. 96-102. URL: http://vestnik.adygnet.ru
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 26.05.2021; одобрена после рецензирования 27.06.2021; принята к публикации 28.06.2021.
The article was submitted 26.05.2021; approved after reviewing 27.06.2021; accepted for publication 28.06.2021.
© А.Н. Самойлов, Ю.М. Бородянский, А.В. Волошин, 2021
