CC BY
29
УДК 622.1 https://doi.org/10.21440/2307-2091-2020-3-140-148
Изучение качества фотограмметрических моделей, получаемых в условиях слабой освещенности
Арсений Константинович СУХОВ*, Михаил Георгиевич ВЫСТРЧИЛ**, Владимир Николаевич ГУСЕВ***, Александр Александрович БЛИЩЕНКО****, Андрей Викторович ДАНЬКО*****
Санкт-Петербургский горный университет, Санкт-Петербург, Россия Аннотация
Актуальность темы исследований. Приведены результаты исследования по выявлению степени влияния факторов внешней среды на качество трехмерных моделей, получаемых фотограмметрическим способом. Цель исследований. Принципиальная возможность применения малогабаритного фотограмметрического устройства для подземной маркшейдерской съемки, а также изучение параметров, влияющих на результат съемки в условиях замкнутого слабоосвещенного пространства.
Методы исследований. Исходными материалами для формулирования полученных закономерностей и выводов послужил эксперимент, включающий в себя набор независимых серий фотоснимков тестового полигона. Для увеличения наглядности эксперимента в качестве тестовых объектов были использованы объекты простой геометрической формы, позволяющие экстраполировать полученные результаты на изделия стандартного металлического проката. В качестве базовых условий внешней среды были приняты условия, имитирующие абстрактные подземные горные выработки: недостаточная освещенность, замкнутость пространства, малое количество характерных точек на фоне. В качестве исследуемых факторов рассматривались текстура снимаемого объекта и общие геометрические параметры создаваемого базиса фотографирования. Для этого на тестовую сцену проецировались различные изображения, формирующие искусственную текстуру.
Результаты и их применение. Результаты эксперимента косвенно подтверждают возможность использования предлагаемых методик для съемки узлов инженерных коммуникаций, нефтегазопромысловых объектов, элементов подъемных машин и проводников в вертикальных горных выработках. В результате работы сформулированы общие рекомендации по оптимальному расположению точек для съемки. Также были сделаны обобщения относительно влияния содержания текстуры на точность внутреннего ориентирования фотографий и итоговое качество модели. В дополнение приведены основные идеи авторов по перспективному улучшению качества фотограмметрических моделей путем проецирования временной искусственной текстуры на объект съемки. Результаты работы могут быть использованы для совершенствования методик маркшейдерских работ, применяющих технологии цифровой фотограмметрии.
Выводы. Повышение качества цифровых фотограмметрических моделей инженерных конструкций возможно за счет проецирования на них искусственных текстур, при этом, проецируя различные текстуры, можно создавать независимые модели объекта съемки, тем самым повышая точность и контролируемость результата. С повышением контрастности и сложности накладываемой текстуры алгоритмы цифровой фотограмметрии качественнее определяют соответствие между парой фотоснимков.
Ключевые слова: фотограмметрия, маркшейдерия, фотосканирование, замкнутое пространство, недостаток освещения, горные выработки.
Введение
Современные технологии позволяют маркшейдеру оперативно собирать и обрабатывать огромные объемы топографической информации о дневной поверхности земли. Фактически сегодня единственным препятствием к полноценному внедрению дистанционных способов
https://orcid.org/0000-0002-1401 -7909 "[email protected]
https://orcid.org/0000-0002-1669-7776 *" [email protected]
тргМо rcid.org/0000-0003-3148-9729 https://orcid.org/0000-0001 -8414-1748 Мра/Л) rcid.org/0000-0003-3388-9718
съемки в маркшейдерское обеспечение является отсутствие научной и нормативной базы, регламентирующей процесс выполнения частных видов работ [1].
Обозначенные проблемы тем более актуальны для условий подземных горных выработок, где специфические
Рисунок 1. Схема экспериментального стенда: 1 - объект съемки; 2 - цифровая камера; 3, 4 - нивелирные рейки; 5 - белый экран; 6 - подставка под рейку; 7 - проектор.
Figure 1. Test stand layout: 1 - target; 2 - digital camera; 3, 4 - levelling poles; 5 - paper white screen; 6 - plate for the poles; 7 - projector.
подземные условия веками создают препятствия к возможности прямого внедрения существующих геодезических методик в арсенал маркшейдера шахты или рудника [2]. К таким основным факторам принято относить ограниченность пространства, доступного к использованию при маркшейдерских работах, недостаточную освещенность и общую агрессивность рабочей среды [3-6].
Все возрастающие темпы горного производства требуют от современных маркшейдеров все более оперативных средств выполнения своих обеспечивающих функций. Последнее становится реализуемым только благодаря автоматизации процесса маркшейдерского обеспечения путем внедрения современной приборной и программной базы, формирующей гармоничную среду между всеми инженерными отделами горного предприятия.
Современные программные продукты,
обеспечивающие информационное единство горного предприятия, давно взяли курс на трехмерное оперативное проектирование [7], что налагает на маркшейдера обязанность по созданию точных, достоверных и репрезентативных трехмерных моделей подземных горных выработок и отработанного пространства. В настоящий момент наиболее качественным решением данной проблемы является использование лазерных сканеров [8], формирующих цифровую модель окружающего пространства, однако такое решение вызывает ряд трудностей, связанных с габаритами самого оборудования и его стоимостью.
Альтернативой лазерному сканированию являются подходы, основанные на обработке трехмерных
фотограмметрических моделей [9], получаемых на основе стереоэффекта между парой фотоснимков. Хотя теоретические основы фотограмметрии сформулированы более века назад, внедрение данной технологии применительно к условиям подземного пространства является до сих пор актуальной и нерешенной задачей. Современный цифровой подход к фотограмметрии позволяет существенно расширить область внедрения данной технологии и в перспективе решить задачи по наиболее полному и качественному изучению подземного пространства с применением автоматизированных систем[10-12].
Цель данного исследования - принципиальная возможность применения малогабаритного
фотограмметрического устройства для подземной маркшейдерской съемки, а также изучение параметров, влияющих на результат съемки в условиях замкнутого слабоосвещенного пространства.
Методика проведения эксперимента
Для выполнения поставленных целей был сформирован испытательный стенд, представленный на рис. 1.
Координатная привязка снимков обеспечивалась передвижением камеры 2 вдоль нивелирных реек 3 и 4 с шагом 0,2 м. Положение набора полученных снимков отражено на рис. 2.
В качестве цифровой фотокамеры была использована общераспространенная камера XIAOMI Mi Home Security Camera 360. Этот выбор был обусловлен ее техническими характеристиками, в частности, поддержкой режима инфракрасной ночной съемки и возможностью записи
0,90
0,70
-ф—ф—ф-
4- -4"
—ф—ф-
1,00
1,50
3,00
Рисунок 2. Схема расположения снимков. Figure 2. Pictures arrangement scheme.
Рисунок 3. Пример исходных данных: 1 - при естественном освещении; 2 - при отсутствии освещения; 3 - при искусственном освещении.
Figure 3. Sample of source data: 1 - in broad daylight; 2 - without any light; 3 - in artificial light.
видео в разрешении 1080р [13]. В целом выбор камеры такого низкого разрешения и качества был сделан для возможности экстраполяции результатов эксперимента на установки, использующие технологии удаленных вычислений, опирающиеся на поточную передачу видео-и фотоинформации.
Первая часть эксперимента была выполнена в три этапа: при естественном, искусственном освещении и при его отсутствии. В ходе каждого из этапов получен эквивалентный набор фотографий, выполненных с одних и тех же точек съемки. Примеры полученных фотографий представлены на рис. 3.
Второй и третий этапы эксперимента выполнялись при полном отсутствии естественного освещения. При этом в третьей серии измерений в качестве источника освещения использовался проектор, создающий на объекте съемки искусственную текстуру в виде настроечной телевизионной таблицы. При съемке третьей серии снимков в качестве источника света использовалась
инфракрасная подсветка, создаваемая самой камерой в режиме ночной съемки.
Обсуждение результатов
Обработка полученных снимков и построение трехмерных моделей выполнялись в программном комплексе Ые1азЬаре [14]. В ходе обработки пар
фотографий были построены цифровые трехмерные модели объекта съемки, представленные на рис. 4-6.
Изрис. 4-6 видно, что на качество результата оказывает существенное влияние сложность текстуры снимаемых объектов. Так, в случае естественного и инфракрасного освещения (рис. 4, 5) монохромные объекты не сформировали достаточно информации для корректного построения модели. В случае, представленном на рис. 6, где благодаря искусственному освещению на объект съемки накладывалась дополнительная сложная текстура, качество модели заметно возросло.
Следует отметить, что целью эксперимента является не получение модели высокой метрологической точности,
Рисунок 4. Пример входных данных и полученной модели при естественном освещении. Figure 4. Example of the input data and the resulting model in broad daylight.
Рисунок 5. Пример входных данных и полученной модели при отсутствии освещения. Figure 5. Example of the input data and the resulting model without any light.
Рисунок 6. Пример входных данных и полученной модели при искусственном освещении. Figure 6. Example of the input data and the resulting model in artificial light.
Рисунок 7. Автоматический выбор общих точек на стереопарах: 1 - с монохромной текстурой; 2 - с простой текстурой; 3 - со сложной текстурой.
Figure 7. Automatic selection of common points on stereoscopic images: 1 - with a monochrome texture; 2 - with a simple texture; 3 - with a complex texture.
Рисунок 8. Количество общих точек на стереопарах в зависимости от положения фотокамер. Figure 8. The number of common points on stereoscopic images depending on the position of the cameras.
а определение основных закономерностей при ее формировании, в частности, решение задачи внутреннего ориентирования снимков. На этапе внутреннего ориентирования программа находит общие точки на паре рассматриваемых снимков [14, 15]. Знание координат этих общих точек в плоскости снимка позволяет решить задачу определения взаимного положения фотокамер друг относительно друга. После выполнения этапа внутреннего
ориентирования становится возможным сгущение результирующего облака точек за счет интерполяции между общими парами.
Представленные результаты наглядно
демонстрируют, что при некорректном внутреннем ориентировании снимков последующая обработка не имеет смысла. Принципиально задачу внутреннего ориентирования снимков можно представить в виде
обратной засечки, качество которой напрямую зависит от количества и точности выявленных общих пар точек на снимках. Оба этих фактора явно зависят от сложности и хаотичности текстуры снимаемого объекта, что можно увидеть на рис. 7.
Кроме очевидной разницы в количестве выявленных общих точек на стереопарах рис. 7 наглядно демонстрирует ограничение существующих автоматических алгоритмов внутреннего ориентирования. В левой части рис. 7, где текстура представлена монохромной зеленой консолью (объект съемки) и белым экраном позади объекта, человек мог бы с легкостью решить задачу поиска соответствий с помощью абстрактного мышления и интерполяции, а программа - нет. С другой стороны, оказалась справедливой и зеркальная ситуация, где в сложной, хаотически-шумной текстуре человек не в состоянии определить общие для снимков точки, а программа находит их элементарно.
Вторым фактором, оказывающим влияние на качество поиска соответствий внутри снимков, является их взаимное положение. Посла анализа количества найденных на стереопарах соответствий была построена гистограмма, представленная на рис. 8. Значения по горизонтальной оси х (0,3; 0,5;...; 0,9) показывают положение камеры относительно центра фотографирования (половина значения базиса фотографирования). Значения по оси у (1; 1,5; . ; 3 м) показывают удаленность базиса съемки от объекта (дистанция фотографирования). Значения по вертикальной оси 2 отражают количество связующих точек между стереопарами во время поиска соответствий на фотографиях.
Представленная на рис. 8 гистограмма количественно отражает точность внутреннего ориентирования снимков только для рассматриваемой камеры и объекта съемки. Однако также позволяет сформулировать общие выводы о закономерности этого процесса. Так, на расстоянии 1 м от объекта съемки в кадр попадает лишь ограниченная область сцены, что прямо влияет на количество общих точек. С другой стороны, при удалении от объекта на 2,5 м и далее количество общих точек снижается уже из-за малого разрешения камеры. Из рис. 8 также видно, что наибольшее количество общих точек программа находит при небольшом удалении камер друг от друга, находящихся в пределах от 0,5 до 1,0 м.
Выводы
Полученные в итоге поставленного эксперимента результаты могут быть использованы при планировании подземных маркшейдерских съемок в условиях недостаточной освещенности. Так, при условии стационарного размещения фотограмметрической системы, состоящей из нескольких синхронно снимающих камер, проецирование сложной искусственной текстуры может заметно повысить качество результирующей модели. А чередование нескольких заранее известных текстур позволит проконтролировать и повысить ее качество.
Формулируя методические рекомендации, следует отметить, что формирование трехмерной модели возможно как при съемке двумя камерами одновременно, так и при последовательной обработке снимков, получаемых при перемещении одной камеры в пространстве. При этом геометрические параметры съемки должны подбираться индивидуально, исходя из технических характеристик используемых камер.
Таким образом, использование малогабаритного фотограмметрического устройства при съемке в условиях ограниченного пространства возможно. Наибольший положительный эффект достигается при комбинировании современных способов обработки фотограмметрической информации с устройством, проецирующим сложного вида текстуры (проектором) на объект съемки.
Полученные в результате эксперимента данные позволили сформулировать следующие выводы:
- повышение качества цифровых фотограмметрических моделей инженерных конструкций возможно за счет проецирования на них искусственных текстур;
- проецируя различные текстуры, можно создавать независимые модели объекта съемки со стационарных точек фотографирования, тем самым повышая точность и контролируемость результата;
- чем выше контрастность и сложность накладываемой текстуры, тем качественнее алгоритмы цифровой фотограмметрии определяют соответствие между снимками на стереопарах;
- при фотографировании следует стремиться к максимальному заполнению кадра полезной информацией, а шаг фотографирования стараться выполнять с интервалом в пределах от 0,5 до 1,0 м.
ЛИТЕРАТУРА
1. Ebrahim M. A.-B. 3D laser scanners: history, applications, and future // Assiut University. 2011. October. С. 1-81. https://doi.Org/10.13140/2.1.3331.3284
2. Шартан М. А., Воронцова З. И. Новые старые задачи фотограмметрии // Человеческий капитал как фактор инновационного развития общества: материалы конф. (Челябинск, 25 июня 2018 г.). Челябинск, 2018. С. 38-40.
3. Медведев А. А., Тельнова Н. О., Кудиков А. В., Алексеенко Н. А. Анализ и картографирование структурных параметров редкостойных северотаёжных лесов на основе фотограмметрических облаков точек // Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17, № 1. С. 150-163. https://doi.org/10.21046/2070-7401-2020-17-1-150-163
4. Ballarin M., Balletti C., Vernier P. Replicas in cultural heritage: 3D printing and the museum experience // International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences. 2018. Vol. 42, № 2. Р. 55-62. https://doi.org/10.5194/isprs-archives-XLII-2-55-2018
5. Balletti C., Ballarin M., An application of integrated 3D technologies for replicas in cultural heritage // ISPRS International Journal of Geo-Information. 2019. Vol. 8, № 6. C. 285-314. https://doi.org/10.3390/ijgi8060285
6. Portalés C., Lerma J. L., Pérez C. Photogrammetry and augmented reality for cultural heritage applications // Photogrammetric Record. 2009. Vol. 24, № 128. C. 316-331. https://doi.org/10.1111/j.1477-9730.2009.00549.x
7. Klapa P., Bozek P., Piech I. Charting topographic maps based on UAV data using the image classification method // Geomatics, Landmanagement and Landscape. 2019. № 2. С. 77-85. https://doi.org/10.15576/GLL/2019.277
8. Kwoczynska B., Litwin U., Piech I., Obirek P., Sledz J. The Use of Terrestrial Laser Scanning in Surveying Historic Buildings // 2016 Baltic
Geodetic Congress (BGC Geomatics), Gdansk University of Technology, Poland, 2-4 June 2016. IEEE, 2016. C. 263-268. https://doi.org/10.1109/ BGC.Geomatics.2016.54
9. Boehler W., Marbs A. 3D Scanning and Photogrammetry for Heritage Recording: a Comparison // Geoinformatics 2004: Proc. 12th Int. Conf. of Geoinformatics - Geospatial Information Research: Bridging the Pacific and Atlantic University of Gavle, Sweden, 7-9 June 2004. С. 291-298.
10. Ebolese D., Lo Brutto M., Dardanelli G. The integrated 3D survey for underground archaeological environment // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2019. Vol. XLII-2/W9. С. 311-317. https://doi.org/10.5194/isprs-archives-XLII-2-W9-311-2019
11. Как снимают кино? И при чем здесь Kingston? https://habr.com/ru/company/kingston_technology/blog/398203/
12. «Результаты внедрения сканера ZEB1 для съемки подземных выработок цинковой руды». https://art-geo.ru/solution/resultat-vnedreniya-ZEB1-na-cinkovom-rudnike
13. Камера Mi Home Security Camera 360o: руководство пользователя. Шанхай, КНР, 2019. 10 с.
14. Agisoft Metashape Professional Edition: руководство пользователя, версия 1.5. СПб., 2019. 169 с.
Статья поступила в редакцию 19 мая 2020 года
УДК 622.1 https://doi.org/10.21440/2307-2091-2020-3-140-148
Study of the quality construction of photogrammetric models obtained in low-light conditions
Arseniy Konstantinovich SUKHOV*, Mikhail Georgievich VYSTRCHIL**, Vladivir Nikolaevich GUSEV***, Aleksandr Aleksandrovich BLISHCHENKO****, Andrey Viktorovich DAN'KO*****
Saint-Petersburg Mining University, Saint-Petersburg, Russia Abstract
Relevance of the research topic. The paper shows main results of environmental parameters that affect the quality of 3D-models obtained by the photogrammetric method of surveying.
Research objective. The article presents: the fundamental possibility of using a small-sized photogrammetric device for underground surveying and the parameters that affect the result of shooting in a confined low-light space. Research methods. Experiments included a set of independent serial photographs of a test site. To increase the results of experiments, object with a simple geometric shape have been used as test objects for extrapolating of the results of the survey to products of standard metal products. In these conditions, imitating abstract underground mine workings: with the lack of lighting, confined spaces, a small number of characteristic points in the background. The texture of the subject of photogrammetric survey and common geometric parameters of photo base accepted as studied factors. Various images were projected onto the test scene to form an artificial texture. Results and its applications. The experimental results confirm the possibility of using the proposed methods for identifying engineering communications nodes, oil and gas production facilities, elements of lifting machines and conductors in vertical mining devices. In addition, the authors performed an idea of improving the quality of photogrammetric models by projecting temporary artificial textures on the subject. The results of the work can be used for the improving of the methods of surveying, using digital photogrammetry technology Findings. It is possible to imrove the quality of digital photogrammetric models of engineering structures by projecting artificial textures onto them. The possibility of the creation of models of the subject increases the accuracy and controllability of the result. With increasing contrast and complexity of the texture being applied, digital photogrammetry algorithms better determine the correspondence between a pair of photographs.
Keywords: photogrammetry, mine survey, photo scan, space limits, low-light conditions, mine workings.
REFERENCES
1. Ebrahim M. A.-B. 2011, 3D laser scanners: history, applications, and future. Assiut University. October, pp. 1-81. https://doi.Org/10.13140/2.1.3331.3284
2. Shartan M. A., Vorontsova Z. I. 2018, New old problems of photogrammetry. Human capital as a factor of innovative development of society: materials of the conference (Chelyabinsk, June 25, 2018). Chelyabinsk, pp. 38-40.
3. Medvedev A. A., Telnova N. O., Kudikov A. V., Alekseenko N. A. 2020, Analysis and mapping of structural parameters of sparse northern taiga forests based on photogrammetric point clouds. Sovremennyye problemy distantsionnogo zondirovaniya Zemli iz kosmosa [Current problems in remote sensing of the Earth from space], vol. 17, no. 1, pp. 150-163. (In Russ.) https://doi.org/10.21046/2070-7401-2020-17-1-150-163
4. Ballarin M., Balletti C., Vernier P. 2018, Replicas in cultural heritage: 3D printing and the museum experience. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, vol. 42, no. 2, pp. 55-62. https://doi.org/10.5194/isprs-archives-XLII-2-55-2018
5. Balletti C., Ballarin M., 2019, An application of integrated 3D technologies for replicas in cultural heritage. ISPRS International Journal of Geo-Information, vol. 8, no. 6, pp. 285-314. https://doi.org/10.3390/ijgi8060285
6. Portalés C., Lerma J. L., Pérez C. 2009, Photogrammetry and augmented reality for cultural heritage applications. Photogrammetric Record, vol. 24, no. 128, pp. 316-331. https://doi.org/10.1111/j.1477-9730.2009.00549.x
7. Klapa P., Bozek P., Piech I. 2019, Charting topographic maps based on UAV data using the image classification method. Geomatics, Landmanagement and Landscape, no. 2, pp. 77-85. https://doi.org/10.15576/GLL/2019.277
8. Kwoczynska B., Litwin U., Piech I., Obirek P., Sledz J. 2016, The Use of Terrestrial Laser Scanning in Surveying Historic Buildings. 2016 Baltic Geodetic Congress (BGC Geomatics), Gdansk University of Technology, Poland, 2-4 June 2016. IEEE, pp. 263-268. https://doi.org/10.1109/ BGC.Geomatics.2016.54
https://orcid.org/0000-0002-1401 -7909 "[email protected]
https://orcid.org/0000-0002-1669-7776 *" [email protected]
https://orcid.org/0000-0003-3148-9729 https://orcid.org/0000-0001 -8414-1748 https://orcid.org/0000-0003-3388-9718
9. Boehler W., Marbs A. 2004, 3D Scanning and Photogrammetry for Heritage Recording: a Comparison. Geoinformatics 2004: Proc. 12th Int. Conf. of Geoinformatics - Geospatial Information Research: Bridging the Pacific and Atlantic University of Gavle, Sweden, 7-9 June, pp. 291-298.
10. Ebolese D., Lo Brutto M., Dardanelli G. 2019, The integrated 3D survey for underground archaeological environment. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. XLII-2/W9, pp. 311-317. https://doi.org/10.5194/isprs-archives-XLII-2-W9-311-2019
11. How are movies made? And what has that to do with Kingston? https://habr.com/ru/company/kingston_technology/blog/398203/
12. Results of the Zeb1 scanner implementation to survey underground zinc ore mining. https://art-geo.ru/solution/resultat-vnedreni-ya-ZEB1-na-cinkovom-rudnike
13. 2019, Mi Home Security Camera 360o: User Manual. Shanghai, China, 10 p.
14. 2019, Agisoft Metashape Professional Edition: User Manual, version 1.5. Saint-Petersburg, 169 p.
The article was received on May 19, 2020
