CC BY
10 International agricultural journal 3/2023
Научная статья Original article УДК 528.1
DOI 10.55186/25876740_2023_7_3_2
ПРИМЕНЕНИЕ ВСЕНАПРАВЛЕННЫХ КАМЕР ДЛЯ НАЗЕМНЫХ СИСТЕМ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЕЛЬ СЕЛЬСКОХОЗЯЙСТВЕННОГО НАЗНАЧЕНИЯ
THE USE OF OMNIDIRECTIONAL CAMERAS FOR AGRICULTURAL LAND GROUND-BASED REMOTE SENSING SYSTEMS
Пеньшин Игнат Николаевич, аспирант по направлению подготовки «Аэрокосмические исследования земли, фотограмметрия», ФГБОУ ВО «Государственный Университет по Землеустройству» (105064 Россия, г. Москва, ул. Казакова, д. 15), тел. 8(999) 851-08-40, ORCID: https://orcid.org/0000-0002-6044-3490, ignat.penshin51 @gmail.com
Penshin Ignat Nikolaevich, post-graduate student in «Aerospace research of the earth, photogrammetry», State University of Land Use Planning (15 Kazakova st., Moscow, 105064 Russia), tel. 8(999) 851-08-40, ORCID: https://orcid.org/0000-0002-6044-3490, ignat.penshin51 @gmail.com
Аннотация. На сегодняшний день в фазу активного развития переходят технологии наземных и околоземных систем дистанционного зондирования земли. Данная технология предназначена для получения подробной и точной информации об окружающей среде в непосредственной близости от земной
International agricultural journal 3/2023
поверхности. Одним из ключевых преимуществ околоземных систем дистанционного зондирования земли является доступность и высокая периодичность получения изображений и иных полевых данных с высоким уровнем точности, что позволяет применять их в различных задачах сельского хозяйства.
Применение всенаправленных камер в сельском хозяйстве является новым способом получения качественных и детализированных изображений окружающей среды, так как обзор в 360 градусов по горизонтали и 180 градусов по вертикали делает их подходящим инструментом для мониторинга и анализа сельскохозяйственных процессов, таких как рост сельскохозяйственных культур, состояние почвы и управление орошением.
В данной работе использование всенаправленных камер рассматривается в контексте интеграции с иными технологиями, такими как алгоритмы машинного обучения для создания интеллектуальных сельскохозяйственных систем, а также автономные и автоматизированные устройства мониторинга и обработки сельскохозяйственных угодий, позволяющие оптимизировать процессы и повышать урожайность. Анализ технологии и оценка качественных показателей всенаправленных камер для целей сельского хозяйства позволит ускорить процесс внедрения данного решения и повысить эффективность и качество полевых работ в целях увеличения урожайности.
Annotation. Today, the technologies of terrestrial and near earth remote sensing systems are moving into the phase of active development. This technology is designed to obtain detailed and accurate information about the environment in the immediate vicinity of the earth's surface. One of the key advantages of near-Earth remote sensing systems is the availability and high frequency of obtaining images and other field data with a high level of accuracy, which allows them to be used in various agricultural tasks.
The use of omnidirectional cameras in agriculture is a new way to capture high-quality and detailed images of the environment, as the 360 degree horizontal and 180
degree vertical view makes them a suitable tool for monitoring and analyzing agricultural processes such as crop growth, soil conditions and irrigation management.
In this paper, the use of omnidirectional cameras is considered in the context of integration with other technologies, such as machine learning algorithms for creating intelligent agricultural systems, as well as autonomous and automated devices for monitoring and processing agricultural land, allowing to optimize processes and increase yields. Analysis of the technology and evaluation of the quality indicators of omnidirectional cameras for agriculture will speed up the implementation of this solution and improve the efficiency and quality of field work in order to increase productivity.
Ключевые слова: Всенаправленная камера, автономное пилотирование, SLAM, визуальная одометрия, слияние сенсоров, дистанционное зондирование
Keywords: Omnidirectional camera, autonomous piloting, SLAM, visual odometry, sensor fusion, remote sensing
Введение. В сельском хозяйстве околоземные системы дистанционного зондирования земли могут использоваться для оценки здоровья сельскохозяйственных культур, контроля уровня влажности почвы и определения областей, требующих дополнительных удобрений или других видов обработки. Возможность получать данные полевых наблюдений в режиме реального времени позволяет повысить эффективность анализа и обработки данных, а также получить новый инструмент контроля и управления автономными средствами, выполняющими сельскохозяйственные работы.
Всенаправленная камера, используемая для целей наземного и околоземного дистанционного зондирования, представляет собой набор камер с сверхширокоугольными объективами, обеспечивающими взаимное перекрытие. В зависимости от используемого объектива конфигурируется и система камер, отдаленных от общего центра на выбранную величину радиуса и развернутых на определенную величину центрального угла друг относительно друга. Полученное изображение можно представить в виде набора изображений, полученных с
помощью классической оптической системы с центральной проекцией, вращающей оптическую ось вокруг перпендикулярного вектора, проходящего через центр проекции. В качестве экспериментальной установки используется панорамная камера, обладающая двумя широкоугольными объективами типа «Рыбий глаз» [1 - 4].
Целью исследований является внедрение математической модели и разработанного программного обеспечения для всенаправленной камеры в ряд технологических процессов при выполнении сельскохозяйственных работ.
Методика исследований. Для калибровки всенаправленной камеры сравнивался ряд математических моделей, среди которых была выбрана наиболее оптимальная с точки зрения вычислительной эффективности и сходимости внутренних параметров модификация сферической модели камеры, оцениваемая по значению ошибки перепроецирования точек тест-объекта в пикселях [1, 5-12].
На тестовом полигоне с известными координатными метками была произведена многократная съемка для различных конфигураций полевого комплекта оборудования. На основании полученных полевых наблюдений разрабатывался и тестировался алгоритм слияния и фильтрации исходных наблюдений системы для восстановления положения съемочной системы на каждый момент времени при переменном качестве или полном отсутствии ГНСС сигнала. Мерой качества слияния данных сенсоров является СКО координат реперных точек на вычисленном плотном облаке точек от измеренных координат реперных точек тестового полигона, а также значения ковариационной матрицы для вектора состояния системы на каждый момент времени - иными словами, устойчивость системы к нестабильным или зашумленным наблюдениям.
Сферическая модель камеры. Рассмотрим сферическую модель камеры (Unified Camera Model), предложенную Кристофером Гайером из Университета Пенсильвании в 2000 году [11]. Спроецируем точку пространства на сферу, получив одну мнимую (*_) и одну действительную точки (*+):
X+=Y' где d= Н*г11 = V*t2 +yt2 + zt2 (1)
International agricultural journal 3/2023
Спроецируем точку х+ на нормированную плоскость п, используя точку центра проекции СР = (0; 0; -%)т. Опишем точку в однородных координатах и'. Обозначим внутренние параметры камеры К: ) - величины проекций
фокусного расстояния в пикселях; (и0,у0) - координаты оптического центра в плоской системе координат изображения; ^ - коэффициент скоса для данной матрицы.
и =
и
w.
= fu(Ku') = f
и
{
\
'fx s и04
0 fy Vo 0 0 1
X
+
У+
+
\ Kl
) = к''
) V''
J \-к"\
(2)
Для камер с объективом типа «Рыбий Глаз» параметр £ = 1, а параметр ( описывает влияние радиальной дисторсии и имеет значение ( Е (0; 1). Переход от однородных координат и'' в аффинные координаты и в формуле (2) обозначен функцией /и.
Рисунок 1. Проекция точки пространства на изображение в сферической
модели
Figure 1. Projection of points in space onto an image in a spherical camera
model
Вычисление траектории движения по набору наземных изображений.
Эффективность от внедрения всенаправленной камеры в процесс восстановления
траектории движения, а также отслеживания окружающей среды обусловлена более продолжительным обзором объектов окружающего пространства при установке камеры на подвижной системе вследствие наличия большего количества соответственных точек на последовательно полученных изображениях. Далее приведен набор из трех изображений в равноугольной проекции, сформированных на основе всенаправленной камеры с двумя объективами типа «Рыбий глаз». Переход к равноугольной проекции осуществляется с помощью объединения и перепроецирования двух полусфер на плоскость аналогично переходу от географической системы координат к равноугольной цилиндрической проекции Меркатора.
Рисунок 2. Серия снимков всенаправленной камерой в равноугольной
проекции
Figure 2. A series of photos taken by an omnidirectional camera in a
equirectangular projection
Приведенная на рисунке 2 локация затрудняет использование навигационных систем из-за существенного перекрытия небосвода кронами деревьев. Подобная ситуация также может произойти при работе в крытых пространствах или при внешнем воздействии или недоступности системы навигации по ряду причин. Таким образом, для позиционирования системы требуется дополнительный источник или группа источников информации об окружающей среде, замещающих навигационный сигнал и восстанавливающих положение объекта в глобальной или локальной системе координат.
В качестве дополнительных сенсоров могут выступать одометры, инерциальные датчики (гироскоп, акселерометр, магнитометр), производные данные оптических сенсоров. Задачу слияния набора сенсоров относят к области автоматического регулирования дисциплины теории управления. Фильтр Калмана является востребованным инструментом слияния данных и представляет собой рекурсивный алгоритм в дискретном времени, использующий вектор состояния системы X на прошлом шаге и исходные данные сенсоров на текущем шаге для оценки состояния системы на текущем шаге [12].
Модель системы фильтра Калмана представляется в виде:
хк = ¥хъ-1 + Вик + . (3)
Рхк-1 - модель эволюции процесса, где F - модель процесса. Например, уравнению равноускоренного движения будет соответствовать следующая модель процесса F:
at2
Xt=X0+V0t+ — ^
1 At A t2'
2
0 1 At
-0 0 1
(4)
Вик - модель управления, где В - матрица управления, а ик - вектор управляющих воздействий. Данное слагаемое активно в случае корректировки состояния системы, например при изменении направления движения автономного транспорта или автоматическом изменении положения распыляющего устройства. wк - вектор ошибки модели, возникающий вследствие упрощения
модели относительно реального процесса. Фильтр предполагает нормальное распределение ошибки с нулевым математическим ожиданием.
Модель наблюдения описывает связь между переменными состояния и измеряемыми величинами. Она предполагает разность мер и систем отсчета для независимых сенсоров системы:
= Нхк + ук , (5)
2к - вектор наблюдений, полученный с помощью модели связи вектора состояния и показания сенсора (Нхк) и вектора ошибок измерений ук.
Алгоритм работы фильтра Калмана. Для функций / и И вычисляют частные производные (Якобиан), чтобы обновить матрицы ковариаций Qk, Як, а также получить прогноз вектора состояния [12]. Опишем уравнения фильтра Калмана на каждом этапе работы рекурсивного алгоритма фильтрации:
Этап предсказания вектора состояния хк\к-1 и матрицы ковариации Рк\к-1:
%к1к-1 = f{Xk-1|k-1>uk); Рщк-1 = РкРк-Цк-^к + Qk (6)
Этап обновления вектора состояния хк\к и матрицы ковариации :
Ук = 2к -Ь-{хк1к-1); Бк = НкРщк-1Нк + Як; Кк = Р^-^^Б-1 (7)
= %к1к-1 + КкУк; Рщк = О — КкН^Рщк-1 (8)
На этапе обновления участвуют промежуточные величины: ук — разница между наблюдением и прогнозом наблюдаемых величин; Кк — управляющее воздействие, выражаемое как отношение ковариации шума модели к сумме ковариаций шума модели и наблюдения, и определяющее влияние ук на обновляемый вектор состояния.
Результаты исследований. Разработан метод восстановления положения всенаправленной камеры по видеопотоку при использовании съемочной системы в теплицах или ангарах, используя алгоритмы компьютерного зрения, отождествляющие окружающее пространство и восстанавливающие собственное
International agricultural journal 3/2023
движение относительно смещения данного пространства на последовательно полученных изображениях. Для привязки положения к определенной системе координат требуется зафиксировать опорные точки в помещении и отслеживать их положение на изображениях. В качестве дополнительного источника данных используется инерциальный модуль (гироскоп, акселерометр, магнитометр). Наличие производных величин от скорости и направления перемещения системы, а также восстановление положения точек съемки на каждый момент времени позволяют локализовать источник данных на формируемой в реальном времени карте окружающей среды без необходимости использовать ГНСС в качестве источника данных о положении объекта. Такой подход позволяет расширить область применения и функционал автономных систем для теплиц, ангаров, амбаров и различного рода хранилищ, изолированных от доступности прямого ГНСС-сигнала.
& ® _
0 я е г г
* о s
О " в »
^ в » о
и 4
в воИ(9ввв0ййв»
в »...», * ..
Л"" «S
" it
8
ей» е о «>
«•' в i
im»«® «¿А. в „«« <=> О в
в О -
в в е е ® '
Рисунок 3. Восстановление траектории движения в изолированном
пространстве
Figure 3. Trajectory recovery in an isolated space
Также стоит отметить, что для данных наземных и околоземных наблюдений с использованием всенаправленной камеры модифицирован алгоритм вычисления плотного облака точек для полей и угодий вблизи земной поверхности с возможностью дополнить или заменить материалы аэрофотосъемки в тех местах, где выращиваемые культуры, технические сооружения или рельеф местности не обеспечивают прямой видимости.
Рисунок 4. Измерения на восстановленном плотном облаке точек
Figure 4. Measurements on the reconstructed dense point cloud Выводы. Всенаправленные камеры становятся все более востребованы в ряде сельскохозяйственных задач. Максимально возможная область видимости всенаправленных камер может обеспечить полный обзор окружающей среды, устраняя слепые зоны и обеспечивая охват каждой части наблюдаемых посевов, что становится особенно полезным при мониторинге культур, обнаружении вредителей и выявлении потенциальных проблем на раннем этапе. Также фиксирование состояния всей окружающей части поля из одной точки съемки может сэкономить время за счет уменьшения потребности и временных затрат на ручной труд при точечной проверке состояния культур. Возможность получения высококачественных изображений и точной цветопередачи может быть
International agricultural journal 3/2023
использована при выявлении заболеваний сельскохозяйственных культур или оценке их состояния, а также являться дополнительным источником информации для принятия обоснованных решений об орошении, внесении удобрений и борьбе с вредителями.
В данной работе была рассмотрена инженерная сторона применения всенаправленной камеры как отдельного полевого устройства для восстановления траектории перемещения автономных сельскохозяйственных транспортных средств и околоземных средств дистанционного зондирования в случае отсутствия навигационного сигнала. Дополнительно всенаправленная камера может эксплуатироваться в качестве детектора препятствий и иных объектов, распознаваемых с помощью нейросетевых моделей и алгоритмов на борту автопилотируемого средства с использованием рассмотренной сферической модели для всенаправленной камеры.
Приведены экспериментальные данные по восстановлению плотного облака точек на основании собранных материалов наземной панорамной съемки с демонстрацией возможности осуществлять линейные и площадные измерения над плотным облаком точек в натуральном масштабе. Подобная информация может быть крайне полезна в качестве дополнительной или альтернативной по отношению к хорошо известным методам аэрофотосъемки и космической съемки полевых угодий.
Литература
1. Степанов Д. Н. Математические модели получения стереоизображений с двухзеркальных катадиоптрических систем с учетом дисторсии объективов // Компьютерная оптика. - 2019. - Т. 43. - №. 1. - С. 105 -114.
2. Бакушинский А. Б. К проблеме сходимости итеративно-регуляризованного метода Гаусса - Ньютона // Журнал вычислительной математики и математической физики. - 1992. - Т. 32. - №. 9. - С. 1503 - 1509.
3. Жимбуева Л. Д. Метод определения суммарной дисторсии цифровых изображений // Компьютерная оптика. - 2011. - Т. 35. - №. 3. - С. 347 - 355.
4. Бородулина С. В., Зайцев Ю. А. Теоретические основы построения нелинейных перспективных изображений // Вестник Саратовского государственного технического университета. - 2006. - Т. 4. - №. 2 (17). - С. 67 -76.
5. Z. Zhang, H. Rebecq, C. Forster and D. Scaramuzza. Benefit of large field-of-view cameras for visual odometry. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 801 - 808, May 2016.
6. Scaramuzza D., Martinelli A., Siegwart R. A flexible technique for accurate omnidirectional camera calibration and structure from motion // Fourth IEEE International Conference on Computer Vision Systems (ICVS'06). - IEEE, 2006. - С. 45 - 45.
7. Aghayari S. et al. Geometric calibration of full spherical panoramic Ricoh-Theta camera //ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences IV-1/W1 (2017). - 2017. - Т. 4. - С. 237 - 245.
8. Huang M. et al. High-precision calibration of wide-angle fisheye lens with radial distortion projection ellipse constraint (RDPEC) //Machine Vision and Applications. - 2022. - Т. 33. - №. 3. - С. 1 - 23.
9. Zhang Y., Huang F. Panoramic visual slam technology for spherical images //Sensors. - 2021. - Т. 21. - №. 3. - С. 705.
10. Furgale P., Rehder J., Siegwart R. Unified temporal and spatial calibration for multi-sensor systems // 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2013. - С. 1280 - 1286.
11. Geyer C., Daniilidis K. A unifying theory for central panoramic systems and practical implications //European conference on computer vision. - Springer, Berlin, Heidelberg, 2000. - С. 445 - 461.
12. Wei L. et al. Intelligent vehicle localization in urban environments using ekf-based visual odometry and gps fusion //IFAC Proceedings Volumes. - 2011. - Т. 44. - №. 1. - С. 13776 - 13781.
References
1. Stepanov D. N. Mathematical models for obtaining stereo images from two-mirror catadioptric systems taking into account lens distortion // Computer Optics. -2019. - T. 43. - No. 1. - S. 105 - 114.
2. Bakushinsky A. B. On the problem of convergence of the iteratively regularized Gauss-Newton method // Journal of Computational Mathematics and Mathematical Physics. - 1992. - T. 32. - No. 9. - S. 1503 - 1509.
3. Zhimbueva L. D. Method for determining the total distortion of digital images // Computer Optics. - 2011. - T. 35. - No. 3. - S. 347 - 355.
4. Borodulina S. V., Zaitsev Yu. A. Theoretical foundations for constructing nonlinear perspective images // Bulletin of the Saratov State Technical University. -2006. - T. 4. - No. 2 (17). - S. 67 - 76.
5. Z. Zhang, H. Rebecq, C. Forster and D. Scaramuzza. Benefit of large field-of-view cameras for visual odometry. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 801 - 808, May 2016.
6. Scaramuzza D., Martinelli A., Siegwart R. A flexible technique for accurate omnidirectional camera calibration and structure from motion // Fourth IEEE International Conference on Computer Vision Systems (ICVS'06). - IEEE, 2006. - C. 45 - 45.
7. Aghayari S. et al. Geometric calibration of full spherical panoramic Ricoh-Theta camera //ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences IV-1/W1 (2017). - 2017. - T. 4. - C. 237 - 245.
8. Huang M. et al. High-precision calibration of wide-angle fisheye lens with radial distortion projection ellipse constraint (RDPEC) //Machine Vision and Applications. - 2022. - T. 33. - №. 3. - C. 1 - 23.
9. Zhang Y., Huang F. Panoramic visual slam technology for spherical images //Sensors. - 2021. - T. 21. - №. 3. - C. 705.
10. Furgale P., Rehder J., Siegwart R. Unified temporal and spatial calibration for multi-sensor systems // 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2013. - C. 1280 - 1286.
11. Geyer C., Daniilidis K. A unifying theory for central panoramic systems and practical implications //European conference on computer vision. - Springer, Berlin, Heidelberg, 2000. - C. 445 - 461.
12. Wei L. et al. Intelligent vehicle localization in urban environments using ekf-based visual odometry and gps fusion //IFAC Proceedings Volumes. - 2011. - T. 44. - №. 1. - C. 13776 - 13781.
© Пеньшин И.Н., 2023. International agricultural journal, 2023, № 3, 521-534.
Для цитирования: Пеньшин И.Н. ПРИМЕНЕНИЕ ВСЕНАПРАВЛЕННЫХ КАМЕР ДЛЯ НАЗЕМНЫХ СИСТЕМ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЕЛЬ СЕЛЬСКОХОЗЯЙСТВЕННОГО НАЗНАЧЕНИЯ//International agricultural journal. 2023. № 3, 521-534.
