Алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений для задач прикладной фотограмметрии*

Самойлов Алексей Николаевич; Волошин Александр Валерьевич; Козловский Александр Вячеславович

УДК 004.4:528.721 ББК 32.97-015+26.13 B 635 С 17

Самойлов Алексей Николаевич

Кандидат технических наук, доцент, заведующий кафедрой вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: asamoylov@sfedu.ru Волошин Александр Валерьевич

Аспирант института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: avoloshin@sfedu.ru Козловский Александр Вячеславович

Аспирант института компьютерных технологий и информационной безопасности Южного феде-ральногоуниверситета, Таганрог, тел. (8634) 371656, e-mail: kozlovskiy@sfedu.ru

Алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений для задач прикладной фотограмметрии*

(Рецензирована)

Аннотация. Решение задач прикладной фотограмметрии с применением мобильных технологий предполагает наличие фоторегистрирующего устройства и вычислительной системы, выполняющей обработку и анализ изображений, которые взаимодействуют друг с другом посредством сетевых технологий. Ключевым фактором при построении систем, основанных на данном подходе, является обратная зависимость между качеством фоторегистрирующего устройства и вычислительной сложностью алгоритмов обработки и анализа изображений, которая ограничивает мобильность, гибкость, удобство эксплуатации и минимальную стоимость измерительной системы. Существующие программные компоненты фотограмметрических комплексов представляют собой связку средств предварительной обработки, распознавания образов и решения счетных задач в различных их вариациях. Несмотря на наличие такой базовой структуры, программные комплексы строятся эвристически, а набор и последовательность взаимодействия средств являются статическими. В статье предлагается алгоритмическое обеспечение мобильно-облачной системы, которое позволит минимизировать требования к аппаратной части за счет использования облачных сервисов и технологий.

Ключевые слова: фотограмметрия, облачные вычисления, алгоритм, сервис, трубная промышленность, лесная промышленность.

Samoylov Aleksey Nikolaevich

Candidate of Technical Sciences, Associate Professor, Head of the Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: asamoylov@sfedu.ru Voloshin Aleksandr Valeryevich

Post-graduate student, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: avoloshin@sfedu.ru Kozlovsky Aleksandr Vyacheslavovich

Post-graduate student, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: kozlovskiy@sfedu.ru

Algorithmic support of intelligent digital image processing system for applied photogrammetry tasks

Abstract. Solving the problems of applied photogrammetry with the use of mobile technologies involves the availability of a photo-recording device and a computer system which performs processing and analysis of images that interact with each other through network technologies. A key factor in the construction of systems based on this approach is the inverse relationship between the quality of the photo-recording device and the computational complexity of image processing and analysis algorithms, which limits the mobility, flexibility, ease of operation and minimum cost of the measuring system. The existing software components of photogrammetric complexes are a bundle of preprocessing, pattern recognition and solution of counting problems in their different variations. Despite the presence of such a basic structure, software complexes are built heuristically, and the set and sequence of interaction of means are static. The article proposes algorithmic support of mobile-cloud system, which will minimize hardware requirements through the use of cloud services and technologies.

Keywords: photogrammetry, cloud computing, algorithm, service, pipe industry, forestry industry.

* Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-07-00577.

Введение. Облачные технологии, несмотря на их возрастающую распространенность, на сегодняшний день применяются в тесно связанных с ИТ-сферой областях - продажи, аналитика, научные исследования. В то же время существует множество задач промышленности, где такие технологии оказали положительный эффект на развитие индустрии.

Так, в области лесной и трубной промышленности существует задача измерения геометрических параметров и подсчета количества сырья и изделий. Сегодня для решения таких задач применяются подходы, которые можно условно разделить на три группы: ручное измерение, измерение с применением специальных установок (лазерных, ультразвуковых), измерение с применением методов фотограмметрии. Первый подход является наиболее достоверным и трудоемким, его выполнение требует большого количества человеческих и временных ресурсов. Второй подход ограничен привязкой к определенным географическим объектам и требует перемещения сырья и изделий для осуществления операций измерения и подсчета. Последний подход, основанный на обработке и анализе цифровых изображений, при сохранении необходимого качества измерения позволяет строить решения, не имеющие географической привязки и требующие минимальных человеческих ресурсов.

Основная проблема применения фотограмметрических методов измерения - ограничения в производительности устройств, выполняющих обработку изображений.

Разработчикам приходится искать компромисс между качеством используемой фототехники, вычислительной мощностью и точностью алгоритма. Первый критерий определяет вычислительную сложность алгоритма и нагрузку на устройство, выполняющее обработку изображения. Увеличение качества фототехники ведет к удорожанию измерительной установки, снижению ее мобильности и энергонезависимости. Как правило, компромисс находится в применении цифровых зеркальных фотокамер и производительного ноутбука. Подобные системы обеспечивают погрешность измерений не выше 10% [1].

При разработке подобных систем следует учитывать еще один немаловажный фактор - темпы развития методов и технологий обработки и анализа изображений. Разработка адаптируемых программных систем на сегодня остается нетривиальной задачей [2, 3], и поэтому поддержка измерительного средства в актуальном состоянии является затруднительной.

Еще один фактор, определяющий необходимость перехода к новым технологиям -рост качества цифровых фотокамер, встраиваемых в мобильные устройства (смартфоны, планшеты), большая автономность и мобильность подобных устройств.

В этой связи возникает задача снижения вычислительной нагрузки на измерительные устройства, сопряженная с динамическим обновлением и расширением перечня доступных алгоритмов обработки и анализа изображений. Данная задача может быть эффективно решена с применением облачных технологий.

В статье представлена архитектура и проект информационной системы подсчета и измерения геометрических параметров сырья и изделий лесной и трубной промышленности.

Современное состояние науки и постановка задачи. В настоящее время программная инженерия и смежные области наук, связанные с созданием программных комплексов, на пересечении областей знаний с измерительной техникой решают задачи разработки прикладных одиночных решений. В них зачастую используются общеизвестные методы и принципы разработки программных систем. Таковыми решениями являются системы: «Фотоскан-авто», разработанная на базе института биологии Коми НЦ УрОРАН.ЫшаЬ АВ (Швеция, Гё-теборг) - системы измерения на основе лазеров; У18юше1;пс0у (Финляндия, Лаппенранта) -сканеры для сортировки; Вт1ес 0У (Финляндия, Холлола) - рентгеновские сканеры.

В то же время информационно-измерительные комплексы, несущие в себе расширенный функционал, требуют методологической поддержки процесса разработки. Для таковых систем, например, остро стоит задача разделения функций по предварительной обработке и анализу между программной и аппаратной частью. Решение данной задачи нетривиально по причине отсутствия единой концептуальной модели информационно-измерительных комплексов.

Теоретические положения, позволяющие реализовать алгоритмы определения геомет-

рических параметров и подсчета количества сырья и изделий по цифровым изображениям, содержат несколько подходов. Первый подход основан на использовании информации о цветовой палитре [4]. Полученное цифровое изображение корреляционно-цветовым способом сегментируется на области интереса - области на изображении, относящиеся к разным частям измеряемых объектов. Для автоматической сегментации площади торца выбирается цветовое пространство, инвариантное к освещению, то есть для уменьшения влияния освещения на цвет объекта, от исходного изображения переходят к нормализованному в пространстве. Второй подход основан на положении, что измеряемые объекты имеют преимущественно одинаковую форму [5, 6].

Данный подход требует решения задачи оконтуривания, детектирования границ торца объекта, корреляционного поиска каждого объекта в отдельности по шаблону на полученном изображении и может быть эффективен в ближней зоне видимости (рис. 1). Методы фотограмметрии также находят свое применение и в иных смежных задачах [7].

4

Рис. 1. Пример определения характеристик штабеля по шаблону на изображении

В области построения облачных сервисов известны решения, направленные на создание специализированных инструментов для обработки изображений [8, 9]. Проведенный анализ технологий и подходов показал необходимость разработки фотограмметрических измерительных систем в условиях высоких темпов обновления пула методов обработки и анализа изображений, а также развития аппаратных компонентов.

Преодоление ограничений, накладываемых фоторегистрирующими и измерительными устройствами, лежащими в основе вычислительной системы обработки и анализа изображений, является нетривиальной задачей. Разработчикам приходится искать компромисс между качеством используемой фототехники, вычислительной мощностью и точностью алгоритма. Первый критерий определяет вычислительную сложность алгоритма и нагрузку на устройство, выполняющее обработку изображения. Увеличение качества фототехники ведет к удорожанию измерительной установки, снижению ее мобильности и энергонезависимости. Как правило, компромисс находится в применении цифровых зеркальных фотокамер и производительного ноутбука. Подобные системы обеспечивают погрешность измерений не выше 10%.

В свою очередь темпы развития и разнообразие методов и технологий обработки и анализа изображений выдвигают жесткие требования к гибкости измерительной системы. В то же время создание адаптируемых программных систем, способных гибко подстраиваться к условиям эксплуатации, на сегодня остается нетривиальной задачей, и поэтому поддержка измерительного средства в актуальном состоянии является затруднительной.

В этой связи и возникает актуальная задача обеспечения инвариантности к фотореги-стрирующим устройствам, выражающаяся в адекватном подборе методики получения исходных изображений для анализа и балансировки вычислительной нагрузки на измеритель-

ные устройства, сопряженная с динамическим обновлением и расширением перечня доступных алгоритмов обработки и анализа изображений.

Алгоритмическое обеспечение. Одно из главных требований отрасли на сегодняшний день - минимизация требований к аппаратной части и ее универсализация. Также немаловажным для сохранения конкурентоспособности является решение задачи обеспечения мобильности подобных систем.

Это позволит сделать измерительные инструменты массовыми за счет реализации алгоритмов фотограмметрии в виде облачных сервисов. Основная идея разрабатываемого подхода заключается в совмещении интеллектуальных средств, современных методов компьютерной обработки изображений и распознавания образов.

Существующие системы, рассмотренные в предыдущей главе, характеризуются жесткой привязкой к алгоритмам обработки изображений. Это является следствием их жесткого кодирования в структуру системы. Реалии рынка таковы, что потребителю для использования новых, более продуктивных измерительных алгоритмов, приходится приобретать новые программно-аппаратные решения.

Чтобы устранить данный недостаток, авторами была предложена концепция мобильно-облачной технологии бесконтактного измерения геометрических параметров объектов [2]. Данная технология подразумевает одновременное использование следующих устройств и компонентов системы измерения геометрических параметров:

1. Мобильное устройство (планшет или смартфон), на которое устанавливается специализированное приложение. В функции данного приложения входит фотографирование, выполнение базовых настроек и предварительная обработка изображения, которая выполняется в случае ограниченных возможностей канала связи;

2. Облачный сервис, предоставляющий интерфейс между мобильным приложением и основными компонентами системы;

3. Интеллектуальный модуль предварительного анализа изображений, выполняющий интеллектуальный подбор подходящего алгоритма, исходя из полученных параметров сцены, EXIF-данных о цифровой камере;

4. Модуль обработки изображений, выполняющий анализ и измерения на изображении с применением интеллектуально подобранного алгоритма;

5. Облачную базу данных, которая содержит результаты выполненных измерений и исходные изображения, полученные от клиентов;

6. Онтологию методов и алгоритмов обработки изображений, необходимую для работы интеллектуального модуля предварительного анализа изображений.

Данный комплекс компонентов предоставляет поставщику услуг и потребителю расширенную функциональность, а также обеспечивает возможность эволюционного развития системы [10].

Функциональное наполнение интеллектуальной системы измерения геометрических параметров показано на рисунке 2.

Мобильное устройство с цифровой камерой в данной системе предоставляет пользователю основной функционал по первичному вводу/выводу данных. Клиент использует данное устройство, чтобы произвести измерение, либо чтобы работать с данными уже выполненных измерений.

В процессе выполнения измерения достаточно выполнить базовую настройку параметров сцены (тип освещения, примерное расстояние до объекта, погодные условия (для измерения на открытой местности)), выбрать тип измеряемого объекта, сделать фотографию объекта и дождаться обработки этого изображения.

Облачный сервис предоставляет возможности получения, обработки и измерения параметров по цифровому изображению. Кроме того, в данный сервис заложена функциональность по настройке и обновлению алгоритмов, предназначенных для предварительного анализа изображения и его обработки.

Mobile device with digital camera

Cloud service

4

Swica provider

Рис. 2. Функциональное наполнение интеллектуальной системы для задач прикладной фотограмметрии

В отличие от существующих систем, данная технология не выполняет обработку на мобильном устройстве, а отправляет данные на облачный сервис. Это сделано по следующим причинам:

1. Облачный сервис обладает, как известно, потенциально неограниченной производительностью, которая легко масштабируется для выполнения текущих задач [11].

2. Использование облачного сервиса в качестве средства обработки освобождает вычислительные ресурсы мобильного устройства. Это позволяет повысить автономность и улучшить эксплуатационные свойства системы.

3. Расположение алгоритмов обработки на стороне облачного сервиса значительно упрощает обновление и расширение функциональности уже приобретенных систем. При этом данная процедура может быть зачастую скрыта от пользователя.

Таким образом, алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений для задач прикладной фотограмметрии можно представить следующим образом (рис. 3). Процесс измерения начинается с создания нового проекта. Пользователь задает параметры сцены, либо оставляет последний запомненный системой вариант. После настройки базовых параметров системой создается новый объект класса «измерение», который устанавливает связь с облачным сервисом. Мобильное приложение после установления сессии с облачным сервисом открывает камеру. Пользователь выполняет фотографирование объектов, при этом количество фотографий может быть различным и лимитируется динамически, исходя из возможностей текущего подключения.

По окончании фотографирования происходит пакетная загрузка фотографий на облачный сервис, выполняющий анализ, обработку и операцию измерения геометрических параметров и подсчета количества сырья и изделий.

Результаты работы облачного сервиса посредством класса «измерение» передаются в мобильное приложение, откуда клиент может с ними ознакомиться.

Отличительными чертами предложенных в статье решений являются:

1. Онтология методов и комбинаций методов предварительной обработки изображений и распознавания образов, а также правила логического вывода на основании входных параметров цифрового изображения, дающие оптимальную процедуру для его предварительной обработки.

2. Возможность балансировки нагрузки на вычислительные ресурсы мобильного устройства и сервиса, основной целью которых является минимизация объема передаваемых между мобильным устройством и сервером данных при сохранении достоверности результата измерения.

Данные особенности позволяют в полной мере реализовать преимущества облачных технологий.

Рис. 3. Взаимодействие основных элементов системы

Заключение. Данная система может быть использована всеми участниками отрасли: производственными, торговыми и использующими по назначению сырье и продукцию трубной и лесной промышленности.

Предложенная в статье система обладает следующими конкурентными преимуществами:

- минимальная стоимость владения, складываемая из: стоимости приобретения мобильного устройства, оснащенного подходящей по пороговым параметрам цифровой фотокамерой; мобильного приложения в официальном магазине разработчика ОС; абонентской платы за пользование измерительным облачным сервисом;

- автономная работа без подключения к электросети;

- использование малобюджетных фоторегистрирующих устройств (планшетов, смартфонов) без потери качества измерения;

- независимость технологии и результатов ее работы от конкретных производителей и

марок оборудования и средств вычислительной техники;

- мобильность, характеризующаяся низким весом комплекса (в пределах 1 кг), малыми габаритами (в пределах 20х20х2 см.), отсутствием проводных соединений;

- высокая скорость обработки и проведения измерения за счет использования облачных сервисов;

- полностью автоматизированный интеллектуально-настраиваемый комплекс методов обработки и выполнения расчета, не требующий от оператора вмешательства при соблюдении допустимых пороговых значений освещенности;

- отсутствие финансовых затрат на монтажные и пуско-наладочные работы;

- отсутствие необходимости физического контакта оператора или комплекса с измеряемыми промышленными изделиями, а также необходимости их перемещения.

Примечания:

1. Самойлов А.Н. Фотометрический метод формирования и обработки данных, торцов круглых лесоматериалов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2007. № 26. С. 54-73.

2. Samoylov A. The method of constructing the structures of configurable automated system for measuring volume of round wood // WIT Transactions on Information and Communication Technologies. Ser. Information and Communication Technology for Education. 2014. P. 277-284.

3. Кучеров С. А. Конфигурируемые пользователем информационные системы как средство преодоления семантического разрыва // Информатизация и связь. 2013. № 5. С. 135-137.

4. Shvarts D., Tamre M. Bulk material volume estimation method and system for logistic applications. 9th International Conference of DAAAM Baltic: Industrial Engineering. Tallinn, 2014. P. 289-294.

5. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Zurich, 2014. Vol. 40. P. 157-162.

6. Способ измерения кубатуры круглого леса: патент РФ № 2553714 / Ю.В. Чирышев, А.В. Круглов, В.Н. Круглов. URL:

https://yandex.ru/patents/doc/RU2553714C1_20150620

7. Madeira S., Gonçalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Comput. Geosci. 2010. Vol. 36, No. 6. P. 699-706.

8. Embedded image processing system for cloud-based applications / L. Thieling [et al.] // IWSSIP 2014 Proceedings. 2014. P. 163-166.

9. Yan Y., Huang L. Large-Scale Image Processing Research Cloud // CLOUD Comput. 2014. No. 5. P. 88-93.

10. Pattern-Oriented Software Architecture. Vol. 1: A System of Patterns / F. Buschmann, R. Meunier, H. Rohnert, P. Sommerlad, M. Stal. Wiley, 1996. No. 8. URL:

http://www.wiley.com/WileyCDA/WileyTitle/produ ctCd-0471958697.html

11. Грейс Уокер. Основы облачных вычислений. URL:

https://www.ibm.com/developerworks/ru/library/cl-cloudintro/index. html

References:

1. Samoylov A.N. Photometric method of data formation and processing, round timber ends // Polythematic Network Electronic Scientific Journal of Kuban State Agrarian University. 2007. No. 26. P. 54-73.

2. Samoylov A. The method of constructing the structures of configurable automated system for measuring volume of round wood // WIT Transactions on Information and Communication Technologies. Ser. Information and Communication Technology for Education. 2014. P. 277-284.

3. Kucherov S.A. User-configurable information systems as a means of overcoming the semantic gap // Informatization and Communication. 2013. No. 5. P. 135-137.