CC BY
31
М Инженерный вестник Дона, №12 (2020) ivdon.ru/ru/magazine/arcliive/nl2y2020/6722
Метод и распределенная индуктивная процедура машинного обучения
фотограмметрического алгоритма для решения задач определения геометрических параметров объектов по предварительно обработанным
цифровым изображениям
1 2 1 А.Н. Самойлов , Ю.М. Бородянский , А.В. Волошин
1 Южный федеральный университет, Ростов-на-Дону 2Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург
Аннотация: Прикладные системы фотограмметрии, выполняющие роль измерительных инструментов, часто подвержены влияниям внешней среды и условий функционирования, которые определяют точность результатов. В связи с этим возникает проблема динамической настройки алгоритмов под эти изменяющиеся условия. Чтобы избежать повышения вероятности человеческой ошибки и снизить требования к квалификации персонала можно прибегнуть к инструментам интеллектуальных систем. Для этих целей требуется разработка соответствующих компонентов, среди которых в том числе и средства машинного обучения. В данной статье предлагается метод и процедура машинного обучения фотограмметрического алгоритма, основанная на наблюдении за действиями оператора и системе продукционных правил.
Ключевые слова: индуктивное обучение, машинное обучение, фотограмметрия, распознавание образов, фотограмметрия, лесная промышленность, трубная промышленность, измерение, мобильное приложение, автоматизация.
Введение
Применение прикладных методов фотограмметрии в промышленности приводит к появлению цифровых измерительных систем на их основе: в лесной промышленности [1,2], в логистике [3] и для широкого класса измерений [4]. Нередко такие системы включают в себя интеллектуальные компоненты. Однако, как правило, эти компоненты связаны с технологиями распознавания образов и идентификации объектов. В то же время в процессе применения таких измерительных систем могут быть выделены и другие задачи, где применение интеллектуальных технологий может давать положительный эффект как с точки зрения точности результатов, так и с точки зрения скорости их получения.
К такой задаче может быть отнесена настройка цифровой измерительной системы на конкретные условия съемки, типы объектов и используемые фоторегистрирующие устройства в случае, если речь идет об универсальных решениях [5]. В общем виде данная задача может быть сформулирована следующим образом: для потенциально бесконечного множества условий и комбинаций условий определить закономерности их сочетаний и верные реакции системы на учет изменения этих условий, при которых погрешность измерения является минимальной и не превышает допустимых верхних пороговых значений.
Иными словами, необходимо «обучать» систему самостоятельно подстраиваться для получения наилучшего результата. Этот вопрос остро встает в том числе потому, что зачастую квалификация персонала на объектах применения цифровых измерительных комплексов (торговые базы и склады по хранению лесной и трубной продукции) является крайне низкой для правильной эксплуатации сложных технических устройств и систем [6]. Кроме того, необходимо принять во внимание и учесть, что подобные системы зачастую имеют распределённую архитектуру [5] и процедуры обучения также должны носить распределенный характер.
Машинное обучение построено на двух основополагающих концепциях - дедуктивной и индуктивной [7-9]. Первая процедура подразумевает извлечение и формализацию знаний эксперта и в данном случае неприменима, поскольку пространство решений и вариации комбинаций условий применения потенциально бесконечны и зависимости могут иметь сложный, труднодоступный для понимания характер. Второй тип процедуры, индуктивный, основывается на выявлении неявных знаний при анализе паттернов или данных и не настолько зависим от пространства возможных решений как дедуктивный.
В данной статье рассматривается процедура машинного обучения фотограмметрического алгоритма для решения задач определения геометрических параметров объектов по предварительно обработанным цифровым изображениям на основе дедуктивного подхода. В первой главе изложен метод индуктивного обучения, во второй дается описание конкретной процедуры, в заключении приводятся результаты практической апробации и основные выводы.
Метод индуктивного машинного обучения фотограмметрического
алгоритма
Определим общую модель использования машинного обучения
Рис. 1. - Общая модель использования машинного обучения для фотограмметрического алгоритма
Как видно из рисунка, суть использования методов машинного обучения в задачах, решаемых с помощью прикладных алгоритмов фотограмметрии сводится к постепенному накоплению знаний относительно успешных вариантов конфигурации методов, используемых на каждом шаге алгоритма и постепенном наращивании влияния процедуры обучения на процесс принятия решения пользователем [10]. Для этого предлагается с использованием продукционной модели представления знаний фиксировать
сведения о том, как себя вел пользователь (какие он вводил параметры) и соотносить это с успешностью результатов измерительной процедуры. Для оценки «успешности» процедуры на первом этапе предполагается ручной контроль и трекинг результатов измерения в сопряженных системах учета и продажи и, в случае наличия отклонений, выработка инструментов корректировки показателей.
В данном случае предполагается, что по мере накопления базы знаний будут дополнительно разработаны инструменты оценки релевантности ситуаций и система в конечном итоге сможет предлагать пользователю конкретную настройку для выбранных условий съемки и типа измеряемых объектов.
Для окончательной формулировки метода необходимо далее определить условия и решения, которые должны быть зафиксированы в результате процедуры обучения. Так, первым условием, которое должно быть учтено, является тип объекта, который будет обрабатываться с помощью алгоритма. Таким объектом может являться лес, который бывает окоренный и не окоренный, металлопрокат, который имеет разную форму, может быть полым или цельным. Каждый из объектов может храниться с пересортицей и т.д.
Далее следует принять во внимание геометрические параметры, которые планируется измерить. В различных задачах возможны вариации от элементарного подсчета количества однотипных объектов до сложного измерения объема объектов, хранящихся с пересортицей. Эти условия накладывают ограничения на детализацию объектов на снимках [11].
Следующее, подлежащее учету, это условия съемки. В зависимости от времени суток, освещения и параметров камеры устройства могут варьироваться настройки фильтров предварительной обработки изображений, которые в случае дальнейшей их бинаризации могут приводить
к значительны искажениям. Этот шаг является наиболее ёмким с точки зрения влияния процедуры обучения на конечный результат в виде знаний в базе системы и требует максимально детальной проработки.
Последними условиями является алгоритмы распознавания и идентификации объектов, задача выбора которых сводится к определению такого, который в конечном итоге привел к получению результата с наименьшей погрешностью. Предполагается, что выбор алгоритмов полностью зависит от настройки системы на предыдущих шагах метода и в первую очередь определяется типом измерительной задачи и объектами, геометрические параметры которых требуется измерить.
Таким образом, метод индуктивного обучения окончательно может быть сформулирован следующим образом:
Шаг 1: Определение типа объекта из числа известных системе или наиболее близко подходящего по внешнему виду и форме к одному из известных системе, если таковые отсутствуют;
Шаг 2: Определение состава геометрических параметров, подлежащих измерению. При этом следует учесть ограничения на применение расчетных моделей к типам объектов. Например, невозможность расчета объема металлопроката сложной формы и/или отсутствие как таковой задачи на практике.
Шаг 3: Определение параметров изображения, которое получается с помощью камеры мобильного устройства. Для этого может быть сделан пробный снимок объекта
Шаг 4: Определение параметров обработки изображений, которые применил оператор и фиксация их в формате продукционных правил «если-то» в базе знаний системы;
Шаг 5: Определение алгоритма распознавания и идентификации объектов. Для этого на начальных этапах оператор осуществляет полный
перебор методов, пока не получит достоверный результат. Далее в процедуру подбора по мере накопления базы знаний вмешивается сама система. Для этого в базе знаний также фиксируются продукционные правила, описывающие выбор оператора в зависимости от предыдущих условий.
Процедура индуктивного машинного обучения фотограмметрического
алгоритма
Основываясь на предложенном методе, сформулируем процедуру индуктивного обучения фотограмметрического алгоритма. Для наглядности представим её в виде блок-схемы (рисунок 2).
Как видно из рисунка, основу процедуры обучения составляет фиксация антецедентов - условий, при которых оператор начинает выполнять действия. И консеквентов - результатов действий оператора. При этом каждая такая система правил «если-то» фиксируется в буферной памяти системы до верификации результатов.
Как только результаты верификации будут подтверждены, правила записываются в основную базу знаний системы и могут быть применены на практике.
Процедура индуктивного обучения
Оператор Система База знаний
Рис. 2. - Процедура индуктивного машинного обучения для фотограмметрического алгоритма
Заключение
В статье представлен метод и процедура индуктивного обучения фотограмметрического алгоритма для решения задач определения геометрических параметров объектов по предварительно обработанным цифровым изображениям. Его основу составляет продукционная модель представления знаний, продукции которой получаются по результатам автоматического наблюдения за действиями оператора.
На предварительном этапе тестирования в целях проверки достоверности гипотезы в систему были занесены восемьдесят правил, которые описывают типовые измерительные задачи на примере лесоматериала: подсчет количества, подсчет объема и два разных условия хранения: открытая площадка и ангар и зафиксированы по результатам личного наблюдения за действиями оператора, которые привели к наилучшей точности измерения. Далее был произведен замер тех же объектов, но другим оператором, при этом он полностью руководствовался рекомендациями системы. Результаты тестирования системы приведены в таблице 1.
Таблица № 1
Результаты тестирования результатов обучения
Тип измерения Отклонение от результата
Объем, хранение на площадке 1,2%
Объем, хранение в ангаре 2,6%
Количество, хранение на площадке 0,1%
Количество, хранение в ангаре 1,4%
Как видно из таблицы, решение измерительных задач с использованием предварительно обученного алгоритма дает достаточно точные результаты. Разброс параметров, вызванный сменой места хранения, объясняется
автоматической подстройкой камеры мобильного устройства, которая в конечном итоге приводит к значительным расхождениям в параметрах исходных изображений.
Дальнейшие исследования планируется посвятить решению данной проблемы, а также проработкой средств защиты от переобучения [12] и конфликтов правил при дальнейшем заполнении базы знаний системы.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-07-00577
Литература
1. Самойлов А.Н. Фотометрический метод формирования и обработки данных, торцов круглых лесоматериалов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. - 2007. - №26. - С. 54-73.
2. Knyaz V.A., Maksimov A.A. Photogrammetric technique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2014. - Vol. №40. - PP. 157-162.
3. Shvarts, D., Tamre M. Bulk material volume estimation method and system for logistic applications // 9th International Conference of DAAAM Baltic: Industrial Engineering. - Tallinn: 2014. - PP. 289-294.
4. Madeira S., Gon5alves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Computers & Geosciences. - 2010. - №6. - PP. 699-706.
5. Samoylov, A., Borodyansky, Y., Kostyuk, A., Polovko, I. Mobile-cloud data processing system on digital images // IEEE International Conference on Industrial Informatics (INDIN). - Helsinki: 2019. - PP. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161
6. Самойлов А.Н., Волошин А.В., Козловский А.В. Алгоритмическое обеспечение системы интеллектуальной обработки цифровых изображений
для задач прикладной фотограмметрии // Вестник Адыгейского государственного университета. Серия 4: Естественно-математические и технические науки. - 2019. - №3(246). - С. 96-102.
7. Nowroozi E., Dehghantanha A., Parizi R., Choo K. A Survey of Machine Learning Techniques in Adversarial Image Forensics // Computers & Security. -2020. - №100. DOI: 10.1016/j.cose.2020.102092.
8. Клячкин В.Н. Применение методов машинного обучения при решении задач технической диагностики // Научный вестник УВАУ ГА (И). - 2016. -№8. - С. 158-161.
9. Баранов А.А., Намазова-Баранова Л.С., Смирнов И.В., Девяткин Д.А., Шелманов А.О., Вишнёва Е.А., Антонова Е.В., Смирнов В.И. Технологии комплексного интеллектуального анализа клинических данных // Вестник РАМН. - 2016. - №71(2). - С. 160-171.
10. Druzhkov P., Kustikova V. A survey of deep learning methods and software tools for image classification and object detection // Pattern Recognition and Image Analysis. - 2016. - №26. - PP. 9-15. doi.org/10.1134/S1054661816010065
11. Стебаков И.Н. Шутин Д.В. Марахин Н.А. Машинное обучение в реабилитационной медицине и пример классификатора движений пальцев для кистевого тренажера // Инженерный вестник Дона, 2020, №6 URL: ivdon.ru/ru/magazine/archive/n6y2020/6514/.
12. Пучков Е.В. Сравнительный анализ алгоритмов обучения искусственной нейронной сети // Инженерный вестник Дона, 2013, №4 URL: ivdon.ru/uploads/article/pdf/R_115_Puchkov_n.pdf_2135.pdf
References
1. Samojlov A.N. Politematicheskij setevoj e'lektronny'j nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. - 2007. - №26. - PP. 54-73.
2. Knyaz V.A., Maksimov A.A. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2014. - Vol. №40. - PP. 157162.
3. Shvarts, D., Tamre M. Bulk material volume estimation method and system for logistic applications. 9th International Conference of DAAAM Baltic: Industrial Engineering. - Tallinn: 2014. - PP. 289-294.
4. Madeira S., Gon5alves J., Bastos L. Computers & Geosciences. - 2010. -№6. - PP. 699-706.
5. Samoylov, A., Borodyansky, Y., Kostyuk, A., Polovko, I. Mobile-cloud data processing system on digital images. IEEE International Conference on Industrial Informatics (INDIN). - Helsinki: 2019. - PP. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161
6. Samojlov A.N., Voloshin A.V., Kozlovskij A.V. Vestnik Ady'gejskogo gosudarstvennogo universiteta. Seriya 4: Estestvenno-matematicheskie i texnicheskie nauki. - 2019. - №3(246). - PP. 96-102.
7. Nowroozi E., Dehghantanha A., Parizi R., Choo K. A Computers & Security. - 2020. - №100. DOI: 10.1016/j.cose.2020.102092.
8. Klyachkin V.N. Nauchnyj vestnik UVAU GA (I). - 2016. - №8. - PP. 158161.
9. Baranov A.A., Namazova-Baranova L.S., Smirnov I.V., Devyatkin D.A., Shelmanov A.O., Vishnyova E.A., Antonova E.V., Smirnov V.I. Vestnik RAMN. -2016. - №71(2). - PP. 160-171.
10. Druzhkov P., Kustikova V. Pattern Recognition and Image Analysis. -2016. - №26. - PP. 9-15. doi.org/10.1134/S1054661816010065
11. Stebakov I.N. Shutin D.V. Maraxin N.A. Inzhenernyj vestnik Dona, 2020, №6 URL: ivdon.ru/ru/magazine/archive/n6y2020/6514/.
12. Puchkov E.V. Inzhenernyj vestnik Dona, 2013, №4 URL: ivdon.ru/uploads/article/pdf/R_115_Puchkov_n.pdf_2135.pdf
