CC BY
51
УДК 637.1 DOI 10/26897/1728-7936-2018-1-20-25
БАШИЛОВ АЛЕКСЕЙ МИХАЙЛОВИЧ, докт. техн. наук, профессор2
Е-mail: [email protected]
ЛЕГЕЗА ВИКТОР НИКОЛАЕВИЧ, канд. с.-х. наук, доцент1
Е-mail: [email protected]
КОРОЛЕВ ВЛАДИМИР АЛЕКСАНДРОВИЧ, канд. техн. наук2
Е-mail: [email protected]
1 Российский государственный аграрный университет - МСХА имени К. А. Тимирязева; 127550, ул. Тимирязевская, 49, Москва, Российская Федерация
2 Московский авиационный институт (национальный исследовательский университет); 125993, Волоколамское шоссе, 4, A-80, ГСП-3, Москва, Российская Федерация
ТРЁХМЕРНОЕ ВИДЕОНАБЛЮДЕНИЕ АГРООБЪЕКТОВ ВРЕМЯПРОЛЁТНОЙ КАМЕРОЙ
Рассмотрен инновационный проект развития систем видеонаблюдения и управления агротех-нологическими процессами с применением времяпролётной камеры. Проведен анализ современных 3D информационных технологий наблюдения агрообъектов в трёхмерном пространстве. Показаны основные возможности и преимущества использования времяпролётных видеокамер для более точного позиционирования и выполнения агротехнологических операций мобильными и роботизированными агрегатами. Приведено математическое описание модели реализации времяпролётной технологии на фотоматричных приёмниках оптического излучения. Определены области широкого применения времяпролётных технологий в промышленности и сельском хозяйстве. Проанализированы основные направления применения времяпролётных камер в аграрных технологиях. Особое внимание уделено развитию специализированных поисково-преобразовательных функций беспилотного летательного аппарата для эффективного применения в сельском хозяйстве как важнейшей задаче дальнейшего развития локально-дифференцированных агротехнологий. Определены задачи модернизации функций беспилотного летательного аппарата для адаптации в технологии аграрного производства применительно к растениеводству, животноводству и природопользованию, направленные на совершенствование лёт-но-посадочных, поисково-распознавательных и манипуляционно-роботизированных характеристик беспилотного летательного аппарата с применением 3D-технологий. Сформулированы основополагающие выводы развития стратегии модернизации аграрного производства на новом научно-техническом уровне.
Ключевые слова: система управления, техническое зрение, времяпролётные камеры, летательный аппарат, поиск, обнаружение, распознавание, видеороботизация, управление агроценозами.
Введение. Применение в сельскохозяйственном производстве видеонаблюдения за стационарными и мобильными объектами производства, рассредоточенными в пространстве и времени, позволяет значительно сократить трудозатраты, повысить агротехнологическую дисциплину, развивать автоматизацию и роботизацию [1-2]. Однако и сам процесс видеонаблюдения требует совершенства, перехода от плоскостного 2Б-наблюдения к объёмному 3Б-наблюдению, например, при измерении геометрических размеров, дистанции, ориентации и местоположения объектов.
В связи с этим представляет интерес технология видеонаблюдения с времяпролётной камерой как вариант наиболее дешёвого перехода
на 3Б-наблюдение по сравнению со стереонаблю-дением. Уникальное соотношение цены и качества позволяет новой камере найти применение в самых различных областях, включая робототехнику, промышленную автоматизацию, логистику, медицину и биологические науки, а также различные направления интеллектуального управления аграрным производством.
Идея применения времяпролётной импульсной технологии не нова, известны ранее разрабатываемые времяпролётные счётчики [3], времяпролётные 3Б-приборы сканирования [4], времяпролётная масс-спектрометрия [5], лазерные дальномеры [6], 3Б-принтеры [7].
Существует три главных принципа наблюдения трёхмерного пространства и построения
3Б-изображений: стереозрение, структурированный свет, времяпролётная технология (рис. 1).
Стереозрение построено по основе бинокулярного зрения. Оценка расстояния через сопоставление снимков, сделанных с двух разных, но близких точек зрения. Структурированный свет использует проецирование на сцену светового точечного рисунка и съемку этого рисунка на высокоразрешаю-
щую камеру с последующей алгоритмической обработкой. Времяпролётная технология оценивает расстояние через измерение фазовой задержки сигнала подсветки. Не требует дополнительной компьютерной обработки.
В таблице приведено сравнение времяпролёт-ной технологии с другими рассматриваемыми оптическими 3Б-технологиями.
* . •* ' ,1" - и
1 ^ ».вГ
Рис. 1. Технологии наблюдения трёхмерного пространства, соответственно: стереозрение, структурированный свет, времяпролётная камера
Сравнительная оценка технического уровня ЭБ-технологий
Техническая характеристика Стереозрение Структурированный свет Времяпролётная технология
Управление (ПО) Сложное Среднее Простое
Материалоёмко сть Низкая Высокая Средняя
Компактность Средняя Низкая Высокая
Быстродействие Среднее Медленное Быстрое
Точность измерения Низкая Средняя Высокая
Энергопотребление Низкое Среднее Масштабируется
Стоимость Высокая Высокая Низкая
Времяпролётная технология имеет преимущества благодаря более простым программным алгоритмам, высокому быстродействию, высокой точности определения расстояния до объекта в условиях сильной и слабой освещённости, более низкой стоимости технической реализации. Эта технология по совокупности положительных свойств может быть успешно применена во многих агро-инженерных приложениях сельскохозяйственного производства. Динамика промышленного рынка 3Б-технологий и доля времяпролетных видеокамер характеризуют значительный рост их использования к 2021 г. [8].
Цель исследований - повышение эффективности технологических операций в реализациях экологически чистых энергоэкономных агротех-нологий точного аграрного производства за счёт использования современных средств технического зрения.
Материал и методы. Современная время-пролетная видеокамера представляет собой про-
мышленную 3Б-видеокамеру, принцип работы которой основан на импульсной времяпролетной технологии. Камера оснащена восемью (или более) мощными светодиодами, излучающими свет в ближнем ИК-диапазоне (850 нм), и генерирует 2Б- и 3Б-данные за один кадр, позволяя получать составные изображения на основе значений глубины, профиля интенсивности и таблицы точности.
Расстояние до объекта измеряется с помощью луча света. Засекая время, за которое луч света покрывает расстояние от источника света до объекта и обратно до камеры, можно получить расстояние до объекта. Чем больше это расстояние, тем больше время пролёта. Срабатывание источника света и съемка кадра синхронизированы таким образом, что расстояние можно определить и рассчитать на основе данных изображения. На рисунке 2 приведена схема, иллюстрирующая принцип реализации времяпролетной технологии.
Рис. 2. Принципиальная схема функционирования времяпролётной камеры при регистрации дальности до интересуемого объекта
Источником инфракрасного излучения в направлении интересуемого объекта подаётся модулированный сигнал, например синусоидальной формы:
s1(t) = а^т(юг + (1)
где ю - модулирующая угловая частота излучаемого сигнала, рад/с; г - время, с; а1 - амплитуда излучающего сигнала; ^ - начальная фаза излучаемого сигнала, рад.
Тогда отражённый от 3Б-объекта и принятый видеокамерой (фотоприёмником) сигнал будет выглядеть как
52(1) = а2.«п(ю/ + у2), (2)
где ю - модулирующая угловая частота принятого сигнала, рад/с; г - время, с; а2 - амплитуда принятого сигнала; у2 - начальная фаза принятого сигнала, рад.
Сдвиг по фазе между излучаемым и принятым сигналами есть разность начальных фаз:
Ф = ¥2 - ¥1. (3)
Время пролёта излучаемого сигнала до объекта и отражённого сигнала до камеры
г = Т ■ Ф / 2п, (4)
где Т = 1//- период модулирующего сигнала, с; f -циклическая частота модуляции излучаемого сигнала, Гц.
Зная полученный сдвиг по фазе и скорость света, получаем дальность до объекта:
С = с ■ г / 2 = с ■ Т ■ Ф / 4п. (5)
Помимо 2Б-изображений, которые можно получить обычной камерой, времяпролетная камера при съемке анализирует ориентацию и положение объектов в поле зрения и расстояние до них от камеры. Раньше для получения таких данных приходилось комбинировать различные технологии, например, использовать несколько камер стереоз-рения [9], камеры с лазерным сканером [10] или камеры с источником структурированных световых лучей [11].
Времяпролетные камеры используются в первую очередь для измерения расстояния до объекта или его объема. В логистике времяпролет-ные камеры можно применять в таких областях,
22
как наполнение тары, анализ ее содержимого или штабелирование поддонов. Во всех этих случаях 2Б-изображения недостаточно, поскольку также необходимы значения ширины и высоты объекта. Времяпролетными камерами оборудуются самоходные транспортные средства: камеры сообщают им информацию об окружающей среде, позволяют избегать препятствия и распознавать объекты. В промышленности с помощью времяпролетных камер осуществляется визуальный контроль крупных предметов и их упаковки без прерывания автоматизированного процесса.
В настоящее время активно развиваются методы технического зрения, предназначенные для бесконтактного измерения пространственного положения и формы объектов. В отличие от стереоскопических систем технического зрения, позволяют получать 3Б-изображения, не прибегая к методам получения и обработки стереоскопических снимков. При этом, в отличие от лазерных сканеров, не используются движущиеся механические элементы, необходимые для развертки луча. Также не нужны сложные и требовательные к вычислительным ресурсам алгоритмы.
Результаты и обсуждение. Реализации процессов в полеводстве и животноводстве предусматривают выполнение большого количества технологических операций. Часть этих операций выполняют по необходимости (не запланировано технологическими картами процессов). В ситуациях отклонений характеристик объекта аграрного производства от нормируемых (увядание, пожелтение) либо критических (возникновение на угодьях депрессивных либо заражённых болезнями или вредителями зон и т.п.) нужно действовать более оперативно, незамедлительно. Существующие агротехнологии в данных ситуациях при воздействиях на объект аграрного производства используют наземные технологические средства. Применение этих средств время- и энергоёмко, сопровождается негативными воздействиями на почву, окружающую среду и объект аграрного производства. Данные недостатки устраняет замена наземных технологических средств беспилотными летательными аппаратами (БПЛА) [12], которые целесообразно использовать как носители времяпролетных камер.
БПЛА самолётного типа применяют в технологиях аграрного производства для наблюдения за территориями, составления электронных карт
полей и распыления химических удобрений либо ядохимикатов. Использование в агропроизводстве БПЛА вертолётного типа, оснащённых специальными рабочими агроорганами (механического, химического, оптического воздействия, взятия проб и др.), создаёт дополнительные возможности непосредственных локально-активных воздействий на биообъект аграрного производства, обеспечивает оперативную реализацию экологически чистых энергоэкономных процессов при отсутствии негативных воздействий на окружающую среду.
Отечественные и зарубежные фирмы (группа компаний «Геоскан», компании RC-LIKE, Агро-практик, АгроДрон, ВАНАДИС VANADIS, центр беспилотников ARMAIR) предлагают реализацию технических решений с использованием агрокоп-теров для осенне-весеннего мониторинга озимых (оценки состояния посевов до и после зимовки); сопровождения мелиорации; инвентаризации земель; контроля параметров агротехнологических процессов в режиме on-line; опрыскивания химикатами (борьба с вредителями, болезнями, внесение удобрений); охраны сельхозобъектов; отпугивания птиц.
Анализ литературных данных свидетельствует, что спектр возможностей агрокоптеров может быть существенно увеличен. Использование БПЛА в реализациях агротехнологий является одним из устойчивых трендов повышения эффективности агропроизводства.
Развитие специализированных поисково-преобразовательных функций БПЛА для эффективного применения в сельском хозяйстве - важнейшая задача дальнейшего развития локально-дифференцированных агротехнологий.
Для ведения точного аграрного производства необходимы новые роботизированные технические средства, особенно в условиях территориально рассредоточенного размещения сельскохозяйственных объектов и при отсутствии достаточных трудовых человеко-ресурсов.
В животноводстве для индивидуального ухода за животными и эффективного управления стадом возможно создание «видеопастуха» на основе многофункционального событийно-сигнализирующего блока БПЛА, с операциями самообучения, самопрограммирования и саморегулирования.
В растениеводстве при реализации технологии дифференцированного земледелия, учитывающего состояние каждого растения, возможно создание «видеотехнолога полей» на основе разработки многофункционального мехатронного исполнительного блока БПЛА, с элементами самонаведения и самоорганизации.
В природопользовании, особенно в лесных, рыбных и охотничьих хозяйствах, возможно создание «видеоинспектора территорий» на основе разработки многофункционального разведывательно-поискового блока БПЛА, с алгоритмами самообучения, самопрограммирования и самоорганизации.
Биоагротехнологизация БПЛА с разработкой уникальных и оригинальных поисково-преобразовательных функций, адаптированных в современные агротехнологии, позволит существенно повысить уровень и изменить условия производства агропродукции, столь необходимые и привлекательные для молодых специалистов, решающих задачи технологической модернизации сельского хозяйства.
Важно сделать два акцента в инновационных исследованиях:
1. На модернизацию функций БПЛА для адаптации в технологии аграрного производства: растениеводства, животноводства, природопользования.
2. На совершенствование лётно-посадочных, поисково-распознавательных и манипуляционно-роботизированных характеристик БПЛА с применением 3Б- технологий.
Научно-исследовательские работы в этом направлении обеспечат более широкое применение БПЛА в отраслях аграрного производства. Благодаря более точному, оперативному и ресурсосберегающему выполнению агротехнологических операций с применением многофункционального аграрно-адаптированного БПЛА обеспечивается сокращение потерь агропродукции, прирост продуктивности и высокое качество.
Данный проект направлен на разработку роботизированных средств нового технологического уклада, основанного на межотраслевой (агроавиа-ционной) интеграции инновационных и важных научно-технических достижений двух отраслей.
Инновационный потенциал базируется на привлечении неиспользованных возможностей научных достижений (патенты РФ: № 2423042, № 2265989, № 2377764, № 2423042, № 2542109, № 2471338, № 2444177 и др.) и компетенции специалистов. Инновационный прорыв заключается в переходе от малосодержательного, наблюдательно-описательного способа получения и использования цифровых 2Б- и 3Б-изображений к содержательному, закономерно-познавательному, учитывающему ключевые особенности и достижения аграрных знаний.
Выводы
1. Повышение точности реализации агротехно-логий и их роботизация требуют дальнейшего развития научно-исследовательских работ в направлении использования 3Б информационных технологий.
2. Новые технико-технологические особенности функционирования времяпролётной камеры позволяют перейти к применению вместо 2Б информационных технологий наблюдения и управления агрообъектами на более точное трёхмерное 3Б локально-дифференцированное адаптивное ведение аграрного производства.
3. Использование времяпролётной камеры позволяет существенно развить поисково-разведыва-
тельные, описательно-распознавательные и мани-пуляционно-роботизированные функции наземных и воздушных беспилотных и пилотируемых мобильных агроагрегатов.
Библиографический список
1. Башилов А.М. Видеороботизация агротехно-логических процессов // Техника и оборудование для села. 2016. № 7 (229). С. 5-10.
2. Башилов А.М. Агротехнологии на основе группового взаимодействия видеоуправляемых роботов // Механизация и электрификация сельского хозяйства. 2016. № 3. С. 6-10.
3. Рабин Н.В. Приборы и техника эксперимента // Наука. 2007. № 5. С. 5-6.
4. Баранов Ю.М., Курлаев Е.А. Реконструкция утраченных промышленных объектов и раритетных технологий с использованием компьютерного моделирования // Российский научно-технический музей: проблемы и перспективы. Н. Тагил, 2000. С. 46-53.
5. Аруев Н.Н., Гусев В.К. Первые результаты работы времяпролетного отражательного масс-спектрометра на токамаке глобус-м. // Атомная энергия. Т. 104. Вып. 4. Апр. 2008. С. 233-237.
6. Лазерные дальномеры. URL: https://www. laserstroy.ru/catalog/dalnomer/ (дата обращения 24.10.2017 г.).
7. Кэнесс Э., Фонда К., Дзеннаро М. Доступная 3D печать для науки, образования и устойчивого развития. МЦТФ. Май 2013 г. 192 с.
8. 3D-Camera-market. URL: https://www.allied-marketresearch.com/world-3D-Camera-market (дата обращения 24.10.2017 г.).
9. Ульянов С.В., Решетников А.Г Разработка системы стереозрения для мобильного робота // Программные продукты и системы. 2017. № 3 (30). С. 435-438.
10. Данилин И.М. Лазерная локация земли и леса: Учеб. пособие / И.М. Данилин, Е.М. Медведев, С.Р. Мельников. Красноярск: Ин-т леса им. В.Н. Сукачева СО РАН, 2005. 182 с.
11. Бахарев Д.В., Орлова Л.Н. Изображение оптическое (к определению основного понятия теории светового поля) // Светотехника. 2007. № 2. С. 4-7.
12. Башилов А.М., Королев В.А. Системно-организованные и локально-индивидуализированные принципы управления электрифицированными растениеводческими производствами // Альтернативная энергетика и экология. 2015. № 21 (185). С. 124-131.
Статья поступила 25.10.2017
THREE-DIMENSIONAL VIDEO-SURVEILLANCE OF FARM OBJECTS WITH TIME-OF-FLIGHT CAMERA
ALEKSEIM. BASHILOV, DSc (Eng), Professor2
E-mail: [email protected]
VIKTOR N. LEGEZA, PhD (Ag), Associate Professor1
E-mail: [email protected]
VLADIMIR A. KOROLEV, PhD (Eng)2
E-mail: [email protected]
1 Russian Timiryazev State Agrarian University; 127550, Timiryazevskaya Str., 49, Moscow, Russian Federation
2 Moscow Aviation Institute (National Research University); 125993, Volokolamskoye Ave., 4, A-80, GSP-3, Moscow, Russian Federation
The paper considers an innovative project for the development of video surveillance systems and management of agrotechnological processes using a time-of-flight camera. The authors have carried out an analysis of modern 3D information technologies for three-dimensional observing agroobjects. The analysis results have shown main opportunities and advantages of using time-of-flight cameras for more accurate positioning and performing agrotechnological operations by mobile and robotic units. The paper provides a mathematical description of the model for the implementation of the time-of-flight technology on photomatrix receivers of optical radiation. The authors have determined areas of wide application of time-of-flight technologies in industry and agriculture and analyzed the main directions of applying time-of-flight cameras in agricultural technologies. Particular attention is paid to the development of specialized search and conversion functions of an unmanned aerial vehicle for effective utilization in agriculture, as the most important task of further development of localized agrotechnologies. The authors have identified tasks of modernizing the functions of an unmanned aerial vehicle to be adapted to the farm production technology, especially, crop production, livestock and nature management, aimed at improving flight-landing, search-recognition and manipulation-ro-
botized characteristics of an unmanned aerial vehicle with the use of 3D technologies. Some basic conclusions on the strategy development for farm production modernization at a new scientific and technical level have been formulated as well.
Key words: control system, technical vision, time-of-flight cameras, aircraft, search, detection, recognition, video robotization, management of agrocenoses.
References
1. Bashilov A.M. Videorobotizatsiya agrotekhno-logicheskikh protsessov [Video robotization of agro-technological processes]. Tekhnika i oborudovaniye dlya sela, 2016, No. 7 (229). Pp. 5-10. (in Rus.)
2. Bashilov A.M. Agrotekhnologii na osnove grup-povogo vzaimodeystviya videoupravlyayemykh ro-botov [Agrotechnologies based on group interaction of video-controlled robots]. Mekhanizatsiya i elektri-fikatsiya sel'skogo khozyaystva, 2016, No. 3. Pp. 6-10. (in Rus.)
3. Rabin N.V. Pribory i tekhnika eksperimenta [Experimental devices and technique]. Nauka, 2007, No. 5. Pp. 5-6. (in Rus.)
4. Baranov Yu.M., Kurlayev Ye.A. Rekonstrukt-siya utrachennykh promyshlennykh ob"yektov i rar-itetnykh tekhnologiy s ispol'zovaniyem komp'yuter-nogo modelirovaniya [Reconstruction of lost industrial facilities and rare technologies using computer modeling]. Rossiyskiy nauchno-tekhnicheskiy muzey: problemy i perspektivy. N. Tagil, 2000, Pp. 46-53. (in Rus.)
5. Aruyev N.N., Gusev V.K. Pervyye rezul'taty raboty vremyaproletnogo otrazhatel'nogo mass-spek-trometra na tokamake globus-m. [First results of using the time-of-flight reflective mass spectrometer on the Globus-M tokamak]. Atomnaya energiya, Vol. 104, Issue 4, Apr. 2008. Pp. 233-237. (in Rus.)
6. Lazernyye dal'nomery [Laser rangefinders]. URL: https://www.laserstroy.ru/catalog/dalnomer/ (Date of access 24.10.2017). (in Rus.)
7. Keness E., Fonda K., Dzennaro M. Dostupnaya 3D pechat' dlya nauki, obrazovaniya i ustoychivogo razvitiya. MTsTF [Affordable 3D print for science, education and sustainable development. ICTP]. May 2013, 192 p. (in Rus.)
8. 3D-Camera-market. URL: https://www.allied-marketresearch.com/world-3D-Camera-market (Date of access 24.10.2017). (in Rus.)
9. Ul'yanov S.V., Reshetnikov A.G. Razrabotka sistemy stereozreniya dlya mobil'nogo robota [Development of stereo-vision system for a mobile robot]. Programmnyye produkty i sistemy, 2017, No. 3 (30). Pp. 435-438. (in Rus.)
10. Danilin I.M., Medvedev Ye.M., Mel'nikov S.R. Lazernaya lokatsiya zemli i lesa: Ucheb. posobiye [Laser detection of land and forests; Manual]. Krasnoyarsk: In-t lesa im. VN. Sukacheva SO RAN, 2005, 182 p. (in Rus.)
11. Bakharev D.V., Orlova L.N. Izobrazheniye op-ticheskoye (k opredeleniyu osnovnogo ponyatiya te-orii svetovogo polya) [Optical image (to the definition of the basic concept of the light field theory). Svetotekh-nika, 2007, No. 2. Pp. 4-7. (in Rus.)
12. Bashilov A.M., Korolev VA. Sistemno-organ-izovannyye i lokal'no-individualizirovannyye printsipy upravleniya elektrifitsirovannymi rasteniyevodcheskimi proizvodstvami [Systematically organized and locally individualized principles for the management of electrified crop production]. Al ternativnaya energetika i ekologiya, 2015, No. 21 (185). Pp. 124-131. (in Rus.)
The paper was received on October 25, 2017
