CC BY
20
УДК 681.518.3:630'524.15 ББК 32.965.07 С 32
Сергеев Николай Евгеньевич
Доктор технических наук, профессор кафедры вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: nesergeev@sfedu.ru Самойлов Алексей Николаевич
Кандидат технических наук доцент, заведующий кафедрой вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: asamoylov@sfedu.ru Половко Иван Юрьевич
Кандидат технических наук, доцент кафедры безопасности информационных технологий института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: iypolovko@sfedu.ru
Онтологическое представление фотограмметрических методов для решения задач определения геометрических параметров объектов по предварительно обработанным цифровым изображениям*
(Рецензирована)
Аннотация. Основу построения систем, работающих на принципах анализа изображений, составляют конкретные методы обработки и их комбинации, чья эффективность доказана при решении множества прикладных задач. В условиях частоты изменения и вариативности условий, при которых производится фотосъемка, а также постоянном пополнении пула методов, доступных для использования встает задача выбора таких методов на основе опыта разработки и применения. Очевидно, что компоненты, решающие такую задачу выбора, должны основываться на интеллектуальных технологиях. Это следует из того, что описания методов и их применения зачастую не формализованы и не подлежат обработке классическими методами. Для решения задачи выбора оптимального метода или совокупности методов авторами была решена задача составления единой модели на основе онтологий, которая позволяет выполнять такие задачи, как поиск, подбор и извлечение. В предложенной онтологии содержатся знания о применимости методов и их сочетаний для отдельно взятых задач. Онтология описана на языке OWL и размещается в облачной среде, что обеспечивает её непрерывную доступность.
Ключевые слова: онтология, прикладная фотограмметрия, обработка изображений.
Sergeev Nikolay Evgenyevich
Doctor of Technical Sciences, Professor of the Department of Computer Engineering, Institute of Computer Technologies and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: nesergeev@sfedu.ru
Samoylov Aleksey Nikolaevich
Candidate of Technical Sciences, Associate Professor, Head of the Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: asamoylov@sfedu.ru Polovko Ivan Yuryevich
Candidate of Technical Sciences, Associate Professor of the Department of Information Technology Security, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: iypolovko@sfedu.ru
Ontological presentation of photogrammetric methods for solving the problems of determining the geometric parameters of objects from pre-processed digital images
Abstract. The basis for constructing systems operating on the principles of image analysis is made up of specific processing methods and their combinations, whose effectiveness has been proven in solving a variety of applied problems. Given the frequency of change and variability of the conditions under which photography is performed, as well as the constant replenishment of the pool of methods available for use, the problem arises of choosing such methods based on the experience of development and application. It is obvious that the components that solve such a selection problem must be based on intelligent technologies. This follows from the fact that descriptions of methods and their application
" Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-07-00577.
are often not formalized and cannot be processed by classical methods. To solve the problem of choosing the optimal method or a set of methods, the authors solved the problem of compiling a single model based on ontologies, which allows performing tasks such as search, selection and extraction. The proposed ontology contains knowledge about the applicability of methods and their combinations for individual tasks. The ontology is described in the OWL language and is hosted in the cloud, which ensures its continuous availability.
Keywords: ontology, appliedphotogrammetry, image processing.
Введение
Построение цифровых измерительных комплексов для нужд промышленности требует соблюдения определенных условий и ограничений, накладываемых нормативными документами, регламентами и требованиями к обеспечению качества технологических процессов. Можно выделить класс задач, для которых требуется соблюдение жестких ограничений по части предельно допустимых значений погрешности измерения и которые, в то же время, могут быть решены средствами автоматизации. К такому классу задач можно отнести измерение объема круглого лесоматериала, подсчет количества трубной продукции/арматуры (в особенности при пересортице) [1]. Задачи подсчета в отдельных случаях могут быть решены с помощью методов машинного обучения и нейронных сетей, эффективно справляющихся с задачами классификации объектов. В случае решения измерительных задач требуется комбинация методов, реализуемых как программными, так и аппаратными средствами, поскольку машинное обучение и нейронные сети позволяют говорить лишь о приблизительной точности получаемых результатов.
Это приводит к появлению цифровых измерительных комплексов, таких, как «Каштан», «Ско-3», а также различных авторских подходов и методов [2-5]. Подобные решения, в свою очередь, применимы только для крупных предприятий в силу своей стоимости (в том числе стоимости создания инфраструктуры) и требований к квалификации персонала, использующего данные комплексы. Таким образом, складывается ситуация, когда малые предприятия не имеют возможности использования эффективных средств автоматизации и вынуждены использовать ручные методы обмера и обсчета.
Чтобы обеспечить малые предприятия автоматизированными средствами решения измерительных, задач необходимо создание малогабаритных мобильных комплексов, использующих оборудование общего назначения. Авторы в течение последних лет ведут исследования в данном направлении, что привело к созданию концепции мобильно-облачной технологии измерения геометрических параметров объектов, использующей преимущества современных мобильных устройств, снабженных цифровыми фотокамерами в части мобильности, автономности, сложности эксплуатации и облачных технологий, обеспечивающих доступность вычислительных ресурсов из любой точки планеты [1].
Реализация данной концепции требует создания методов, методик и алгоритмов, позволяющих автоматизировать процедуру измерения, обеспечивая заданный уровень погрешности, и выдвигающих минимальные требования к квалификации оператора. Основную проблему при этом составляет определение методов и комбинаций методов, которые дают эффективный результат измерения в каждой отдельно взятой ситуации. Иными словами, должна решаться задача структурно-параметрического синтеза измерительной системы, соответствующей условиям применения и характеру измерительной задачи.
С учетом известных подходов, решение проблемы подбора комбинации методов для проведения измерительной процедуры возможно следующими способами:
1. Итеративный ручной подбор. В данном случае выбор метода или комбинации методов осуществляется оператором, который, проводя непрерывную сверку с эталоном, находит оптимальный набор и параметры методов, дающие желаемую точность результата;
2. Интеллектуальный подбор, основанный на методах машинного обучения. В данном случае используется обучающая выборка на множестве снимков, описывающих различные ситуации измерения (освещенность, ракурс, расстояние съемки и пр.) [6-15]. На основе этой выборки происходит обучение классификатора, работающего либо на базе искусственных нейронных сетей, либо на базе формализованных методов. С помощью классификатора оп-
ределяются кластеры, для каждого из которых в дальнейшем происходит подбор метода. Реальные измерения при этом предполагают отнесение нового снимка к одному из выделенных на этапе обучения кластеров и последующий подбор соответствующего метода.
Первый способ не решает проблему автоматизации и, наоборот, увеличивает трудоемкость измерительной процедуры. Второй способ требует наличия датасета [12-14], способного учесть все возможные ситуации, и не гарантирует требуемой точности в случае, когда новый снимок не будет четко отнесен к одному из кластеров. Особенности реализации подобных инструментов таковы, что оператор не получит информации о том, что измерение может быть неточным.
Для устранения недостатков вышеизложенных подходов необходимо комбинирование ручного и интеллектуального способов подбора, учитывающих опыт применения методов в прошлом. Система должна «запоминать» опыт применения методов и комбинаций методов в каждой конкретной ситуации, а также выполнять эффективный поиск подходящего метода, дающего наиболее точный результат измерения при сохранении баланса вычислительных нагрузок.
В данной статье представлена онтология фотограмметрических методов, позволяющая реализовать данную комбинацию в системе, предназначенной для определения геометрических параметров объектов по предварительно обработанным цифровым изображениям.
Нечеткая онтология фотограмметрических методов
Основу системы, использующей интеллектуальные технологии, должна составлять база знаний. На сегодняшний день известно несколько базовых технологий, позволяющих хранить знания. К ним относятся фреймовые модели, продукционные правила, семантические сети и онтологии. Каждая из моделей нацелена на решение определенного круга задач. Однако с точки зрения решаемых в статье проблем ни одна из представленных моделей не применима, так как они основываются на точном сопоставлении: для слотов фрейма однозначно сопоставляется демон; для продукционных правил - значение антецедента и консеквентна; для семантических сетей и онтологий - вершины (узлы).
В реальной ситуации при использовании камеры мобильного устройства невозможно обеспечить настолько близкие параметры фотоснимков измеряемых объектов, чтобы по ним можно было однозначно установить соответствие подходящих методов в условиях применения одной из вышеуказанных технологий хранения знаний. Выходом из ситуации может быть нечеткая онтология [16], которая позволяет выстроить взаимосвязи методов (комбинаций методов) с каждой отдельно взятой ситуацией.
Для построения подобных онтологий используется язык OWL и его расширение FuzzyOWL. В результате предварительно проведенных исследований нами была разработана нечеткая онтология методов и их комбинаций, применяемых для измерения объема круглого лесоматериала. Фрагмент данной онтологии, построенный в средстве Protégé 4.3 c расширением FuzzyOWL, представлен на рисунке 1.
В данной онтологии определены следующие классы верхнего уровня:
1. Класс "Measurement" - определяет доступные на данный момент виды измерений, выполняемые программно-аппаратным комплексом. Содержит подклассы, определяющие виды измерений:
a. Подкласс "Quantity" - определяет самый простой случай измерения - подсчет количества объектов разных типов. Экземпляры класса содержат спецификации типов объектов, подсчет количества которых может производить система;
b. Подкласс "Area" - определяет случай измерения площади объектов, расположенных на фотографии. Экземпляры класса содержат спецификации типов объектов, подсчет площади которых может производить система;
c. Подкласс "Volume" - определяет случай измерения объема объектов, расположенных на фотографии. Экземпляры класса содержат спецификации типов объектов, подсчет объема которых может производить система, а также спецификации переменных, вво-
димых оператором вручную для точного описания объекта.
семы j
Мщжирди» J
Рис. 1. Фрагмент нечеткой онтологии методов решения измерительной задачи на основе цифровых изображений
2. Класс "Method" - определяет доступные на данный момент методы, применяемые для проведения процедуры измерения геометрических параметров. Содержит подклассы, определяющие конкретные методы:
a. Подкласс "Marked" - представляет метод измерения на основе маркера или иного калибровочного элемента. Экземпляры класса содержат конкретные реализации метода для различных случаев измерения. Подкласс связан только с подклассами "Area" и "Volume", поскольку для измерения количества объектов определение их точного размера не требуется;
b. Подкласс "Stereoscopic" - представляет метод измерения на основе множественных снимков объекта с различных ракурсов. Экземпляры класса содержат конкретные реализации метода для различных случаев измерения. Подкласс связан только с подклассами "Area" и "Volume", поскольку для измерения количества объектов определение их точного размера не требуется;
c. Подкласс "Calibrated On Fly" - представляет метод измерения, при котором оператор вручную вводит параметры измеряемого объекта. Экземпляры класса содержат конкретные реализации метода для различных случаев измерения. Подкласс связан со всеми подклассами класса "Measurement".
3. Класс "Case" - определяет ситуации, которые могут встречаться при проведении измерений. Не содержит подклассов, однако каждый его экземпляр обладает набором параметров, по которым происходит различение условий измерения.
4. Класс "CBR" - определяет прецеденты согласно подходу Case-based reasoning. Подклассов не содержит. Каждый экземпляр класса содержит связку: ситуация (экземпляр класса "Case"), метод (экземпляр одного из подклассов класса "Method") и параметры (связку значений переменных, характеризующих настройки системы, приведшие к получению требуемого результата).
Заключение
В статье представлена нечеткая онтология методов и комбинаций методов, где с помощью нечетких функций принадлежности задаются связи между экземплярами подклассов, характеризующих методы измерения и экземплярами подклассов, характеризующих ситуации. Каждая такая связь также отражается в конкретном экземпляре класса CBR, содержащем опыт применения конкретного метода в конкретной ситуации.
Используя данную онтологию, за счет применения методики рассуждения на основе прецедентов возможно решение задачи структурно-параметрического синтеза новой измери-
тельной системы для отдельно взятой задачи. Параметры переменных, характеризующих настройки системы, при этом могут быть выражены в настройке методов измерения, содержащейся в онтологии.
Примечания:
1. Mobile-cloud data processing system on digital images / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Industrial Informatics (INDIN). 2019. July. Article
No. 8972161. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161
2. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic applications // 9th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P. 289-294.
3. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Zurich, 2014. Vol. 40. P. 157-162.
4. Круглов А.В., Круглов В.Н., Чирышев Ю.В. Способ измерения кубатуры круглого леса: патент РФ RU 2553714 C1, 19.12.2013. URL: https://patenton.ru/patent/RU2553714C1
5. Madeira S., Gonsalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Comput. Geosci. 2010. Vol. 36, No. 6. P. 699-706.
6. Embedded image processing system for cloud-based applications / L. Thieling [et al.] // IWSSIP 2014 Proceedings. 2014. P. 163-166.
7. Yan Y., Huang L. Large-Scale Image Processing Research Cloud // CLOUD Comput. 2014. Fifth Int.....
2014. P. 88-93.
8. Fitz-Gerald S. A Brief Guide to CLOUD Computing: An Essential Guide to the Next Computing Revolution // International Journal of Information Management. 2011. URL:
https://doi.org/10.1016/j.ijinfomgt.2011.03.002
9. Clouard R., Renouf A., Revenu M. An ontology-based model for representing image processing application objectives // International Journal of Pattern Recognition and Artificial Intelligence. 2010. URL: https://doi.org/10.1142/S0218001410008354
10. Ratna Babu, K. Sunitha K.V.N. A New Approach To Enhance Images Of Mobile Phones With In-Built Digital Cameras Using Mean And Variance // International Conference On Advances In Computer Engineering. 2013.
11. WESPE: Weakly supervised photo enhancer for digital cameras / A. Ignatov, N. Kobyshev, R. Timofte, K. Vanhoey, L. Van Gool // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2018. URL: https://doi.org/10.1109/CVPRW.2018.00112
12. Road Image Update using In Vehicle Camera Images And Aerial Image / Masafumi Noda, Tomokazu Ta-kahashi, Daisuke Deguchi [et al.] // IEEE Intelligent Vehicles Symposium (Iv). Baden-Baden Germany, June 5-9, 2011.
13. Mohamed Amine Bendoumi, Mingyi He, Shaohui Mei. Hyper Spectral Image Resolution Enhancement Using High-Resolution Multispectral ImageBased On Spectral Unmixing // IEEE Transactions On Geo-
References:
1. Mobile-cloud data processing system on digital images / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Industrial Informatics (INDIN). 2019. July. Article
No. 8972161. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161
2. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic applications // 9th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P. 289-294.
3. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Zurich, 2014. Vol. 40. P. 157-162.
4. Kruglov A.V., Kruglov V.N., Chiryshev Yu.V. Method for measuring the volume of roundwood: patent of the Russian Federation RU 2553714 C1, 19.12.2013. URL:
https://patenton.ru/patent/RU2553714C1
5. Madeira S., Gonsalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Comput. Geosci. 2010. Vol. 36, No. 6. P. 699-706.
6. Embedded image processing system for cloud-based applications / L. Thieling [et al.] // IWSSIP 2014 Proceedings. 2014. P. 163-166.
7. Yan Y., Huang L. Large-Scale Image Processing Research Cloud // CLOUD Comput. 2014. Fifth Int.....
2014. P. 88-93.
8. Fitz-Gerald S. A Brief Guide to CLOUD Computing: An Essential Guide to the Next Computing Revolution // International Journal of Information Management. 2011. URL:
https://doi.org/10.1016/j.ijinfomgt.2011.03.002
9. Clouard R., Renouf A., Revenu M. An ontology-based model for representing image processing application objectives // International Journal of Pattern Recognition and Artificial Intelligence. 2010. URL: https://doi.org/10.1142/S0218001410008354
10. Ratna Babu, K. Sunitha K.V.N. A New Approach To Enhance Images Of Mobile Phones With In-Built Digital Cameras Using Mean And Variance // International Conference On Advances In Computer Engineering. 2013.
11. WESPE: Weakly supervised photo enhancer for digital cameras / A. Ignatov, N. Kobyshev, R. Timofte, K. Vanhoey, L. Van Gool // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2018. URL: https://doi.org/10.1109/CVPRW.2018.00112
12. Road Image Update using In Vehicle Camera Images And Aerial Image / Masafumi Noda, Tomokazu Ta-kahashi, Daisuke Deguchi [et al.] // IEEE Intelligent Vehicles Symposium (Iv). Baden-Baden Germany, June 5-9, 2011.
13. Mohamed Amine Bendoumi, Mingyi He, Shaohui Mei. Hyper Spectral Image Resolution Enhancement Using High-Resolution Multispectral ImageBased On Spectral Unmixing // IEEE Transactions On Geo-
science And Remote Sensing. 2011.
14. Personal photograph enhancement using internet photo collections / C. Zhang, J. Gao, O. Wang [et al.] // IEEE Transactions on Visualization and Computer Graphics. 2014. No. 20 (2). P. 262-275.
15. Real-time guidance camera interface to enhance photo aesthetic quality / Y. Xu, J. Ratcliff, J. Scovell [et al.] // Conference on Human Factors in Computing Systems - Proceedings. 2015. April. P. 11831186. Association for Computing Machinery. URL: https://doi.org/10.1145/2702123.2702418
16. A fuzzy ontology for semantic modelling and recognition of human behaviour, Knowledge-Based Systems / Natalia Diaz Rodriguez, Manuel P. Cuéllar, Johan Lilius, Miguel Delgado Calvo-Flores. 2014. Vol. 66. P. 46-60. URL: https://doi.org/10.1016/j.knosys.2014.04.016
science And Remote Sensing. 2011.
14. Personal photograph enhancement using internet photo collections / C. Zhang, J. Gao, O. Wang [et al.] // IEEE Transactions on Visualization and Computer Graphics. 2014. No. 20 (2). P. 262-275.
15. Real-time guidance camera interface to enhance photo aesthetic quality / Y. Xu, J. Ratcliff, J. Scovell [et al.] // Conference on Human Factors in Computing Systems - Proceedings. 2015. April. P. 11831186. Association for Computing Machinery. URL: https://doi.org/10.1145/2702123.2702418
16. A fuzzy ontology for semantic modelling and recognition of human behaviour, Knowledge-Based Systems / Natalia Diaz Rodriguez, Manuel P. Cuéllar, Johan Lilius, Miguel Delgado Calvo-Flores. 2014. Vol. 66. P. 46-60. URL: https://doi.org/10.1016Zj.knosys.2014.04.016
