CC BY
23[15] https://robo-hunter.com/news/5-sovremennih-zavodov-rossii-maksimum-avtomatizacii7046
[16] https://www.lada.ru/press-releases/section_39189/
[17] V. Zhmud, YA. Nosek, L. Dimitrov. Vvedeniye v robototekhniku. Avtomatika i programmnaya inzheneriya. 2019. № 4 (30). S. 34-49.
[18] Zhmud V.A., Fedorov D.S., Ivoylov A.YU., Trubin V.G. Razrabotka sistemy stabilizatsii ugla otkloneniya balansiruyushchego robota. Avtomatika i programmnaya inzheneriya. 2015. № 2 (12). S. 16-34.
[19] Fedorov D.S., Ivoylov A.YU., Zhmud V.A., Trubin V.G. Ispol'zovaniye izmeritel'noy sistemy mpu 6050 dlya opredeleniya uglovykh skorostey i lineynykh uskoreniy. Avtomatika i programmnaya inzheneriya. 2015. № 1 (11). S. 75-80.
[20] Yeskin A.V., Zhmud V.A., Trubin V.G. Besprovodnoy udlinitel' posledovatel'nogo porta na baze radiokanala Bluetooth. Avtomatika i programmnaya inzheneriya. 2013. № 2 (4). S. 42-47.
[21] Zhmud V.A., Trubin V.G., Yeskin A.V. Realizatsiya distantsionnogo upravleniya po radiokanalu bluetooth platformoy, modeliruyushchey rabotu robotizirovannykh sredstv. Avtomatika i programmnaya inzheneriya. 2013. № 1 (3). S. 82-87.
[22] Yeskin A.V., Zhmud V.A., Trubin V.G. Postroyeniye platformy, modeliruyushchey rabotu robotizirovannykh sredstv na baze konstruktora Lego Mayndstorms 2.0 v chasti upravleniya
elektrodvigatelyami. Avtomatika i programmnaya inzheneriya. 2013. № 1 (3). S. 88-94.
[23] Ivoylov A.YU., Zhmud V.A., Trubin V.G., Sablina G.V. O vybore chastoty diskretizatsii sistemy balansirovki dvukhkolesnogo robota. Nauchnyy vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta. 2018. № 2 (71). S. 7-22.
[24] Pechnikov A.L., Zhmud V.A., Trubin V.G. Udalonnoye upravleniye robotom posredstvom xmpp-protokola. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta. 2013. № 3 (73). S. 85-92.
[25] Ivoylov A.YU., Zhmud V.A., Trubin V.G. Razrabotka sistemy avtomaticheskoy stabilizatsii v vertikal'nom polozhenii dvukhkolesnoy platformy. Avtomatika i programmnaya inzheneriya. 2014. № 2 (8). S. 15-21.
Vitaliy Gennadievich Trubin -
Senior Lecturer, Department of Automation, NSTU, Director of KB Avtomatika LLC. E-mail: cpm@ait.cs.nstu.ru
The paper has been received on 10/03/2020.
Исследование точности фотограмметрии как метода определения объема объекта
В.Г. Алтухов
Новосибирский государственный технический университет, Новосибирск, Россия
Аннотация. Данная статья описывает результаты практического исследования метода фотограмметрии для определения объема объектов, попавших в фокус видеокамеры. Эта задача является одной из задач технического зрения для целей робототехники. Ряд практических задач для роботов может быть связано с определением объема, например, при выработке руды, при заправке горющим, при очистке территории от мусора, снега и т.п. Также имеется ряд специфических задач, где определение объема требуется с большой точностью. Метот фотограмметрии позволяет оценить объем по изображению объекта с учетом методом определения дальностей и расстояний, от этого метода традиционно не ожидается большой точности. Однако представляет большой интерес определение потенациальной точности этого метода, поскольку развитие вычислительной техники и рост возможностей программного обеспечения дают новую жизнь многим методам, которые недостаточно широко использовались ранее вследствие большого объема необходимых вычислений, но теперь это ограничение снято практически с любых задач, поскольку, во-первых, интеллект на борту любого робота, даже самого маленького, во многие разы выше, чем это было ранее, во-вторых, почти любой робот имеет возможности связи с базовым центральным процессором, поэтому потенциально он может воспользоваться услугами достаточно крупного дата центра, достаточно лишь отправить задачу и получить готовый ответ.
Ключевые слова: техническое зрение, робототехника, фотограмметрия, видео, фото, изображения, вычисления, моделирование, эксперимент
Введение
Определение объема — важная часть многих отраслей и дисциплин, следовательно, способность быстрого и точного выполнения данной процедуры необходимо для обеспечения эффективности затрат. Например, оценка объема земляных работ является острой проблемой горнодобывающей промышленности различного типа, геодезии. Также с развитием применений в этой сфере робототехники будет возникать потребность создания возможности для роботов самостоятельно определять объем наблюдаемых объектов. Учитывая важность этой задачи, актуально совершенствоние методов определения объемов. Ввиду давнего существования понятия фотограмметрии, по данной тематике проведены исследования [1]. Целью настоящей работы является исследование фотограмметрии [1-5] с точки зрения применения ее как блок идентификации объема на борту наземных устройств: мобильных роботов, управляемых человеком автомобилей и грузовиков и т.п.
1. Программное и аппаратное
ОБЕСПЕЧЕНИЕ
Аппаратное обеспечение, по сути, не выбиралось — все эксперименты проводились на базе уже имеющихся ПК и смартфона, на который производилась фотосъемка объектов. Так же были выбраны подопытные объекты, это геометрические фигуры объемы которых предстояло вычислить (Рис.1). Ограниченность аппаратной части исследования повлияла на выбор программного обеспечения,
предназначенного для построения трехмерной модели объекта из его снимков.
Рис. 1. Подопытные объекты, располагающиеся на вспомогательном паттерне «шахматная доска»
Изначально планировалось использование бесплатного приложения с открытым исходным кодом Meshroom от компании AliceVision. Но данное ПО не предоставляет возможность строить карту глубин сцены без использования технологии Nvidia CUDA, которой не располагало имеющееся графическое ядро используемого ПК. В этой связи, после исследования рынка подобных приложений, была выбрана пробная версия проприетарной программы Agisoft Metashape Standart - она позволила производить 3D-модель без использования CUDA. Так же для задания и определения размерностей было выбрано приложение Autodesk Meshmixer. В нем мы определяем размеры и, следовательно, объем итоговой фигуры.
В следующей главе поэтапно будет расписан принцип работы выбранного приложения по http://jurnal.nips.ru/en 69
части создания трехмерной модели объекта, на основе полученных изображений оного.
2. Экспериментальная часть
1) На первом этапе мы расположили объект, объем которого будем измерять на стенде как показано на Рис. 2. Под объект помещаем вспомогательный паттерн, это значительно улучшает качество будущей 3.0-модели.
Рис. 2. Объект, расположенный на стенде
Далее производим фотосъемку. Желательно делать снимки с трех разных вертикальных углов
— на отметках в районе 0° (сбоку), 45° и 90° (сверху). Чем больше будет количество сделанных фото, тем точнее будет модель, но уйдет больше времени на обработку. В данной серии экспериметнов было сделано 40-60 снимков для каждого объекта.
2) Открываем приложение Agisoft Metashape Standart сохраняем проект и инструментом «Add photos» добавляем фотографии, сделанные на первом этапе. Затем, с помощью инструмента «Align photos» выполняем выравнивание фотографий. Здесь программа ищет общие точки на изображениях и сопоставляет их. Во всех экспериментах был выставлен высокий уровень точности. Результат работы данного инструмента показан на Рис. 3. Все имеющиеся фото были корректны.
3) Следующий этап выполняется посредством инструмента «Build dense cloud» который строит плотное облако точек, то есть применяет выравнивание к большему количеству точек изображений. Перед применением удалим ненужные точки с помощью инструмента выделения, для ускорения процесса. Во всех экспериментах был выставлен высокий уровень точности. Результат работы данного инструмента показан на Рис. 4.
Р_20200б23_165328 PJEQ2OBO0KÎ63MO19
Р 20200623 165225
Р_20200623_165110 " Р_20200623_165305
Р&ШЯЧбЖ45
Р_20200623_165321 „ „„„„„„„ „„„
f^rnrnm^^ .
р_20200623_165031 азйг'лне и р 20200623 165149
Р_20200б23 165103
Р_20200623_165214 Ч. , •;
Р 20200623 165154
' ' Р 20200623 165034
Р_20200623_165208
Р_ЕШШВЮЕЕ_ае®НЗБ8 р_20200623_165^420200623_165159
куя
Р_20200623_165038
Р_20200623_165049
Р_20200623_165046
Р 20200623 165041
Рис. 3. Результат работы инструмента «Align photos»
Рис. 4. Результат работы инструмента «Build dense cloud»
4) Построение сетки выполняется инструментом «Build mesh». Результатом работы данной процедуры является 3D модель объекта. Здесь, с помощью точек, полученных на предыдущих этапах, строится поверхность объекта. Во всех экспериментах был выставлен высокий уровень точности. Результат работы данного инструмента показан на Рис. 5.
Рис. 5. Результат работы инструмента «Build mesh»
5) Для того, чтобы добавить цвет нашей 3d модели объекта добавим к ней текстуру с фотографий. Это выполняется с помощью инструмента «Build texture». Результат работы данного инструмента показан на Рис. 6.
6) Удаляем все лишнее с помощью инструмента выделение, оставляя только цилиндр, затем применяем инструмент «Close holes» чтобы сделать фигуру цельной, затягивая невидимое на фотографиях дно (выставляем единственный параметр на 100%). Результат показан на Рис. 7.
Рис. 6. Результат работы инструмента «Build texture»
Рис. 7. Результат шестого этапа
7) Экспортируем полученную модель и открываем ее в приложении Autodesk Meshmixer. Используем инструмент «Units/Dimentions» во вкладке Analysis и вводим в одно из измерений (X, Y, Z) ширину, длину или высоту объекта, измеренного вручную. Это необходимо для приведения размеров от относительных к абсолютным. Так, в нашем случае была измерена ширина цилиндра (диаметр его окружности) равная 75 мм и занесена в графу X инструмента «Units/Dimentions». В итоге высота цилиндра, в Autodesk Meshmixer, стала равна 114 мм при измеренной высоте 113. Результат преобразования показан на Рис. 8. С помощью инструмента «Stability» из вкладки Analysis узнаем объем фигуры. Он равняется 234348 мм3, тогда как по результатам ручного измерения объем фигуры равен 1996874 мм3. Мы можем наблюдать порядочную разницу в объемах. Это обусловленно неточным моделированием боковой поверхности цилиндра, на что повлияла рефлективная природа материала, из которого изготовлена фигура.
Рис. 8. Результат преобразования проведенном на этапе 7
В следующей части будут приведены результаты экспериментов для различных фигур.
3. Результаты
Результаты экспериментов представлены в Таблице ниже. В первой колонке обозначен тип объекта, в последующих четырех — его размеры в трех измерениях (X, Y, Z) и объем полученные
ручным методом, далее расположены результаты измерений и объем посредством фотограмметрии и в последних двух столбцах указаны ошибки измерений.
На Рис. 9 показаны результаты экспериментов. Снизу реальные объекты, сверху их 3D модели (справа налево — шар, параллелепипед №1, №2).
Как можно видеть, точность измерения объемов большинства объектов достаточно низкая, хотя погрешность измерения размеров (длина, ширина, высота) сравнительно невелика. Из рисунка 9 можно понять, что шар и параллелепипед №1 имеют контур, схожий с реальными объектами, но их поверхности отличаются. Это связано с тем, что данные предметы создают блики при фотосъемке, то есть имеют поверхность с высокой отражательной способностью. Это
подтверждается тем, что при сканировании объекта «параллелепипед №2», имеющего матовую поверхность, 3D модель получилась наиболее приближенной к оригинальному предмету. Так же, из таблицы 1 видно, что в случае прямоугольника №2 имеет место значительно меньшая погрешность измерения объема нежели в случаях с остальными объектами. Так же нужно отметить, что в погрешность измерения внесена ошибка, полученная при ручной обработке 3D моделей в используемых приложениях.
Объект Шар Параллелепипед №1 Параллелепипед №2 Цилиндр
Ширина (р), мм 109 53 68 75
Длина (р), мм 109 53 236 75
Высота (р), мм 109 113 163 113
Объем (р), мм3 678075598 317417 2615824 1996874
Ширина (ф), мм 109 69 88 75
Длина (ф), мм 108.2 61 250 75
Высота (ф), мм 109.2 113 163 114
Объем (ф), мм3 158976 183421 2308670 234348
Погрешность (Ш), % - 30 29 -
Погрешность (Д), % 0.7 15 5 -
Погрешность (В), % 0.1 - - 0.8
Погрешность (О), % 426527 73 13 752
ОБСУЖДЕНИЕ
Безусловно, качество поверхности влияет не результат измерений, если поверхность блестящая, погрешности возрастают до очень больших значений, объекты с зеркальной поверхностью вообще не подлежат подобной метрологии. Эта проблема свойственна для оптического измерения с помощью любых метрологических устройств, основанных на этом
принципе. В частности, профессиональные устройства для 3D-сканирования, демонстрирующиеся на научно-технических выставках, прекрасно справляющиеся с объектами, имеющими матовую поверхность, не могут определить размеры, например, золотого обручального кольца или смартфона. В первом случае данный объект вообще не распознаются, во втором случае трудности представляет экран смартфона.
Рис. 9. Результаты экспериментов. Снизу реальные объекты, сверху их 3D модели (справа налево — шар, параллелепипед №1, №2)
Заключение
В рамках данной работы была исследована фотограмметрия - технология построения трехмерных моделей чего-либо (в нашем случае объектов — геометрических фигур). А именно исследовалась точность данной технологии при вычислении объемов объектов. Из этого можно сделать вывод что технология фотограмметрии неэффективна в случае с объектами, поверхность которых обладает высокой отражательной способностью. Данное исследование выполнялось как продолжение исследований по робототехнике, осуществляемых на кафедре Автоматики НГТУ [6-14].
ЛИТЕРАТУРА
[1] R.K. Rhodes. UAS as an Inventory Tool: A Photogrammetric Approach to Volume Estimation (2017). Theses and Dissertations. 2424.
[2] Ю. Чалый. Трехмерная фотограмметрия, или от фотографии к 3D-модели. https://sapr.ru/article/25136.
[3] J. Azzam. (Надеюсь) всё, что нужно знать о фотограмметрии. https://habr.com/ru/post/319464/.
[4] Краснопевцев Б.В. Фотограмметрия. - М.: УПП "Репрография" МИИГАиК, 2008. - 160 с. http://www.miigaik.ru/upload/iblock/eec/eec5799a3e ad6011d48e5c3c2e4a7f2c.pdf.
[5] Безменов В.М. - кандидат технических наук, доцент кафедры астрономии и космической геодезии КГУ. http://old.kpfu.ru/f6/b files/fotogram triang !262.pdf.
[6] В. Жмудь, Я. Носек, Л. Димитров. Введение в робототехнику. Автоматика и программная инженерия. 2019. № 4 (30). С. 34-49.
[7] Жмудь В.А., Федоров Д.С., Ивойлов А.Ю., Трубин В.Г. Разработка системы стабилизации угла отклонения балансирующего робота. Автоматика и программная инженерия. 2015. № 2 (12). С. 1634.
[8] Федоров Д.С., Ивойлов А.Ю., Жмудь В.А., Трубин В.Г. Использование измерительной системы MPU 6050 для определения угловых скоростей и линейных ускорений. Автоматика и программная инженерия. 2015. № 1 (11). С. 75-80.
[9] Ескин А.В., Жмудь В.А., Трубин В.Г. Беспроводной удлинитель последовательного порта на базе радиоканала Bluetooth. Автоматика и программная инженерия. 2013. № 2 (4). С. 42-47.
[10] Жмудь В.А., Трубин В.Г., Ескин А.В. Реализация дистанционного управления по радиоканалу bluetooth платформой, моделирующей работу роботизированных средств. Автоматика и программная инженерия. 2013. № 1 (3). С. 82-87.
[11] Ескин А.В., Жмудь В.А., Трубин В.Г. Построение платформы, моделирующей работу роботизированных средств на базе конструктора Лего Майндстормс 2.0 в части управления электродвигателями. Автоматика и программная инженерия. 2013. № 1 (3). С. 88-94.
[12] Ивойлов А.Ю., Жмудь В.А., Трубин В.Г., Саблина Г.В. О выборе частоты дискретизации системы балансировки двухколесного робота. Научный вестник НГТУ. 2018. № 2 (71). С. 7-22.
[13] Печников А.Л., Жмудь В.А., Трубин В.Г. Удалённое управление роботом посредством xmpp-протокола. Сборник научных трудов
