CC BY
0Bulletin Samara state agricultural academy № 4 (76) 2024
Научная статья УДК 632.08
doi: 10.55170/1997-3225-2024-9-4-47-54
ГИПЕРСПЕКТРАЛЬНЫЙ МЕТОД ОЦЕНКИ СОСТОЯНИЯ РАСТЕНИЙ ЗАЩИЩЕННОГО ГРУНТА
Сергей Владимирович Машков1, Павел Александрович Ишкин2 н, Николай Александрович Ивлиев3, Андрей Романович Макаров4
1 2 Самарский государственный аграрный университет, Самарская область, Усть-Кинельский, Россия
3, 4 Самарский национальный исследовательский университет имени академика С. П. Королёва, Самара, Россия
1 [email protected], https://orcid.org/0000-0002-9941-3803
2 [email protected], https://orcid.org/0000-0002-7490-9300
3 [email protected], https://orcid.org/0000-0001-7539-556X
4 [email protected], https://orcid.org/0000-0001-5435-550X
Резюме: Цель исследований: разработка гиперспектрального метода оценки состояния растений в условиях защищенного грунта, для выявления внутренних изменений в растениях, которые влияют на их урожайность. В статье представлены результаты исследования метода оценки состояния растительности на основе использования гиперспектральных изображений (ГСИ), полученных с помощью сканирующей щелевой гиперспектральной камеры с оптической схемой Оффнера. В качестве классификатора используется многостадийная обработка ГСИ с первоначальной компенсацией вариаций освещения, отбору зоны интереса растительности индексным методом и далее оценка на основе обученной пространственно-спектральной сверточной нейронной сети. Процесс съёмки был организован таким образом, чтобы за один кадр можно было получить набор характеристик спектра, соответствующих только одному столбцу формируемого гиперспектрального изображения. Щелевая диафрагма ограничивает область пространства, свет из которой раскладывается в спектр. Это позволяет одновременно получать до 2040 спектров за один кадр. В процессе сканирования пространства и серийной синхронной съёмки регистрировались спектры последовательно меняющихся областей пространства. По результатам исследований был разработан алгоритм классификации гиперспектральных изображений высокого разрешения с учётом как пространственных, так и спектральных характеристик. В качестве классификатора использовалась свёрточная нейронная сеть с архитектурой, модифицированной для лучшего учёта изменений освещения сцены. Для подготовки обучающих данных предлагается использовать вегетационные индексы, которые позволяют выполнить первичную бинарную сегментацию гиперспектрального изображения. Было показано, что предложенный подход эффективен. Точность полученной классификации по уровню хлороза составила более 83%. Проведенные эксперименты показывают эффективность предложенного подхода для оценки состояния растений в условиях защищенного грунта.
Ключевые слова: гиперспектрометр, спектральный метод, спектральный индекс, состояние растений, защищенный грунт, гиперспектральная съемка.
Для цитирования: Машков С. В., Ишкин П. А., Ивлиев Н. А., Макаров А. Р. Гиперспектральный метод оценки состояния растений защищенного грунта // Известия Самарской государственной сельскохозяйственной академии. 2024. Т 9, № 4. С. 47-54. doi: 10.55170/1997-3225-2024-9-4-47-54
Original article
HYPERSPECTRAL METHOD FOR ASSESSING THE CONDITION OF PROTECTED SOIL PLANTS
Sergey V. Mashkov 1, Pavel A. Ishkin2 H, Nikolai A. Ivliev 3, Andrey R. Makarov 4
1 2 Samara State Agrarian University, Samara Region, Ust-Kinelsky, Russia
3, 4 Samara National Research University named after Academician S. P. Korolev, Samara, Russia
1 [email protected], https://orcid.org/0000-0002-9941-3803
2 [email protected], https://orcid.org/0000-0002-7490-9300
3 [email protected], https://orcid.org/0000-0001-7539-556X
4 [email protected], https://orcid.org/0000-0001-5435-550X
Abstracts. The purpose of the research is to develop a hyperspectral method for assessing the condition of plants in conditions of protected soil, to identify internal changes in plants that affect the yield. The article presents the results of the investigation of vegetation condition assessment based on the use of hyperspectral images (HSI) acquired with a scanning slit-lamp hyperspectral camera with Offner optical scheme. The classifier used is a multi-stage GSI processing with initial compensation of lighting variations, selection of the vegetation area by the index method and further evaluation based on a trained spatial spectral convolutional neural network. The shooting process was organized in such a way that in one frame it was possible to obtain a set of spectrum characteristics corresponding to only one column of the hyperspectral image being formed. The slit diaphragm restricts the area of space from which the light is decomposed into a spectrum. It allows simultaneously to receive up to 2040 spectra in a single frame. In the process of space scanning and serial synchronous imaging, spectra of sequentially changing regions of space were recorded.
© Машков С. В., Ишкин П. А., Ивлиев Н. А., Макаров А. Р., 2024
Based on the results of the research, an algorithm for classifying high-resolution hyperspectral images was developed, taking into account both spatial and spectral features. A convolutional neural network with an architecture modified to better account for changes in scene lighting was used as a classifier. To prepare the training data, it is proposed to use vegetation indexes, which allow to perform primary binary segmentation of the hyperspectral image. It was shown that the proposed approach is effective. The accuracy of the classification obtained by the level of chlorosis was more than 83%. The conducted experiments show the effectiveness of the proposed approach for assessing the condition of plants in protected soil conditions.
Keywords: hyperspectrometer, spectral method, spectral index, plant condition, protected soil, hyperspectral survey.
For citation: Mashkov, S. V., Ishkin, P. A., Ivliev, N. A. & Makarov, A. R. (2024). Hyperspectral method for assessing the condition of protected soil plants. Izvestiia Samarskoi gosudarstvennoi selskokhoziaistvennoi akademii (Bulletin Samara State Agricultural Academy). 9, 4. 47-54. doi: 10.55170/1997-3225-2024-9-4-47-54 (in Russ).
Современные технологии мультиспектрального и гиперспектрального дистанционного мониторинга успешно применяются в растениеводстве открытого грунта, где источником исходного света является Солнце [1]. Данные технологии позволяют выявлять внутренние изменения в растениях, такие как хлороз и др., которые влияют на урожайность. Однако в условиях защищенного грунта культивационных сооружений с применением системы искусственного освещения и гидропоники, исходный спектр света и реакция растений на него иная.
В связи с этим актуальным является разработка гиперспектрального метода оценки состояния растений, выращиваемых в закрытом грунте с применением системы искусственного освещения и гидропоники. Проводимые исследования согласуются с программой исследований по проекту «Агрокибернетика» комитета «Умное Агро» межрегионального научно-образовательного центра «Инженерия будущего».
Цель исследований - разработка гиперспектрального метода оценки состояния растений в условиях защищенного грунта для выявления внутренних изменений в растениях, которые влияют на урожайность.
Задача исследований - определить спектральные признаки изменения состояния растений в условиях защищенного грунта для выявления внутренних изменений в растениях, которые влияют на урожайность.
Объект исследований. Исследования проводились на светокультуре в условиях защищенного грунта ООО «Тепличный» с помощью малогабаритной гиперспектральной камеры сканирующего типа на базе оптической схемы Оффнера [2-4]. Оптическая схема гиперспектральной камеры представлена на рис. 1.
2 3
Рис. 1. Оптическая схема гиперспектрометра на основе схемы Оффнера: 1 - объектив; 2 - щелевая диафрагма; 3 - сферическое зеркало; 4 - дифракционная отражающая решетка; 5 - фотоприемное устройство видимого диапазона
Камера сканирующего типа разработана и изготовлена в Самарском национальном исследовательском университете имени академика С.П. Королева. Гиперспектральная камера, представленная на рис. 2, использовалась для получения спектральных признаков состояния растений в условиях защищенного грунта.
Рис. 2. Гиперспектральная камера на базе оптической схемы Оффнера
Bulletin Samara state agricultural academy № 4 (76) 2024
Для исследований применялась гиперспектральная камера со следующими характеристиками:
1. Поле зрения камеры в вертикальной плоскости - 20°;
2. Диапазон регистрируемых спектров по длине волны - 420-980 нм;
3. Спектральное разрешение (ширина спектрального канала) - 2,5 нм;
4. Разрешение матрицы вдоль щели 2040 пкс;
5. Масса гиперспектральной камеры - 2,64 кг;
6. Габаритные размеры камеры - 370x136x130 мм.
Для применения камеры в различных условиях съемки изготовлен специальный шарнирный кронштейн со штативом, а также различные приспособления линейного или кругового перемещения камеры с заданной скоростью.
Методы экспериментальных исследований. Процесс съемки был построен таким образом, что за один кадр можно получить набор спектральных характеристик, соответствующих лишь одному столбцу формируемого гиперспектрального изображения. Щелевая диафрагма ограничивает область пространства, свет от которого раскладывается в спектр. Это позволяет одновременно получать до 2040 спектров за один кадр. В процессе сканирования пространства и серийной синхронной съемкой осуществляется регистрации спектров последовательно изменяющихся областей пространства, как показано на схеме сканирования ниже на рисунке 3.
Во время съемки щель располагалась перпендикулярно вектору сканирования, а сканирование осуществлялось линейным перемещением с помощью каретки на направляющих, формируя панорамное изображение области съемки. Сама камера расположена под углом относительно горизонта, угол установки варьировался в пределах 30-60°. Высота расположения камеры составляла 2,2 м. Данная высота при угле зрения камеры 20° обеспечивает захваты лишь части растения, а именно область около 0,5 м, что обеспечивает пространственное разрешение вдоль листа около 0,25 мм. Однако, в процессе сканирования со скоростью около 0,06 м/с и частотой кадров около 18 к/с, неизбежно существует смаз, вызванный движением в процессе экспозиции одного кадра. Величина смаза в таком случае около 3мм. Для решения этой проблемы использовалась съемка с использованием режима матрицы «биннинг», что является по сути объединением пикселей для увеличения чувствительности и уменьшению размера кадра. В таком случае при объединении пикселей 2в1, была уменьшена размерность матрицы вдоль щели до 1020 пкс. Таким образом экспозиция была уменьшена в 2 раза и достигнута частота кадров до 36 к/с, а при той же скорости перемещения каретки смаз уменьшен до 1,5 мм, в то время как проекция пикселя увеличилась из-за биннинга с 0,25 до 0,5мм. Съемка в любом режиме обеспечивает получение панораммных изображений без промежутков, смаз лишь приводит к некоторому усреднению спектра в области проекции пикселя, что позволяет наблюдать за мельчайшими элементами растений, листов, стеблей и находить повреждения и области с измененным спектром с размером до 0,5х1,5мм. На рисунке 3б показан процесс экспериментальной съемки растений в условиях защищенного грунта ООО «Тепличный».
Рис. 3. Сканирование гиперспектральной камерой: а) схема сканирования гиперспектральной камерой; б) экспериментальный процесс гиперспектральной съемки растений в условиях защищенного грунта
Точное время экспозиции было выбрано в соответствии с гистограммой во время съемки с камерой, фиксирующей кадр, направленный на белую область откалиброванной цветовой шкалы видео X-Rite ColorChecker. После получения большого количества последовательных кадров данные наборы спектров сшивались специализированным ПО в гиперкубы. Реконструкция гиперкуба из полученной видеопоследовательности была выполнена в соответствии с ранее разработанными алгоритмами, описанными в [5, 6]. Полученный гиперкуб имеет 250 спектральных каналов, равномерно распределенных в диапазоне 420-980 нм. Частота кадров во всех сценах фиксирована и соответствует 30-36 кадрам в секунду, что обеспечивает постоянство пространственного разрешения.
Примеры внешнего вида панорамных изображений из гиперспектральных изображений (ГСИ) трех видов растений выращиваемых культур показаны на рисунке 4.
в)
Рис. 4. Изображение на длине волны 720 нм из панорамного ГСИ: а) салат; б) баклажан; в) томат
В каждом пикселе высокоразрешающих ГСИ имеются спектральные характеристики всех элементов растений: стебля, листа на разных уровнях, прожилок, соцветий. Сравнение спектральных характеристик листов разных культур под солнечным светом показано на примере баклажана и томата на рисунке 5.
УУауеЬпдКт
Рис. 5. Сравнение спектральных характеристик отражения томата (нижний спектр) и баклажана (верхний график).
Bulletin Samara state agricultural academy № 4 (76) 2024
Таким образом, в результате проведения серии опытов по получению спектральных данных состояния растений в условиях защищенного грунта сформирована база гиперспектральных снимков для создания обучающей выборки с целью определения спектральных признаков, позволяющих с высокой долей вероятности идентифицировать состояния растений в условиях защищенного грунта для выявления внутренних изменений в растениях, которые влияют на урожайность.
Результаты экспериментальных исследований. Для задачи бинарной сегментации «растение» и «шпалера» рассматривались два вегетационных индекса: NDVI (нормализованный разностный вегетационный индекс) [7] и EVI (улучшенный вегетационный индекс) [8]. Эти индексы используются для определения фотосин-тетически активной биомассы:
NDVI = ИЕ-^, (1)
NIR+RED v '
EVI = 2,5--, (2)
NIR+6RED -7,5BLUE +1 ' w
где NIR - ближняя инфракрасная область спектра; RED - красная область спектра; BLUE - синяя область спектра. Конкретный спектральный диапазон в (1) и (2) выбирается исходя из особенностей факторов, влияющих на состояние растений.
Рассчитанные маски индексов подвергаются пороговой обработке таким образом, что все пиксели, принадлежащие классу «шпалера», обнуляются, оставляя значения больше нуля только в классе «растение».
Поскольку разница в результатах расчета индексов NDVI и EVI минимальна, то для последующих расчетов в качестве индекса растительности был выбран NDVI, как более простой для расчетов.
Изменение спектрального состава освещения оказывает существенное влияние на результат гиперспектральной съемки [8]. Съемка растений закрытого грунта проводится днем в условиях открытого солнечного освещения и досветки натриевыми лампами, поэтому основными факторами, влияющими на спектральный состав освещенности, являются угол возвышения солнца и его затенение, вызванное облаками, а также спектральное излучение натриевых ламп.
Чтобы компенсировать влияние освещения на спектральный состав съемки, были использованы два подхода к нормализации спектрального состава гиперкуба. Следуя гипотезе о сером контуре [9], нормализация к спектру наиболее яркой части изображения может быть выполнена на этапе предварительной обработки:
— HS,(l-1 v or-Г- /ГЛ
nölLightNorm MAX(HS№) * ' (3)
Кроме того, компенсация эффектов изменения освещения может быть выполнена с использованием дополнительного уровня пакетной нормализации [9] в архитектуре нейронной сети. В рамках данной работы реализованы оба подхода, их эффективность исследуется в экспериментальном разделе.
В данной работе использована модификация нейросетевого классификатора [10-11]. Эта сеть представляет собой комбинацию сверточных 3D-слоев для анализа 1D и 2D срезов гиперспектральных изображений (рис. 6). На вход нейросетевой классификатор принимает патч данных, размеры которого определяются количеством каналов B и пространственными координатами (высотой и шириной) H и W соответственно. Такой подход позволяет не только идентифицировать особенности одного гиперпикселя, но и найти его зависимости с соседними.
Сеть состоит из набора трехмерных сверточных слоев, после каждого из которых, для компенсации эффекта неоднородности освещения и стабильности обучения классификатора, были добавлены слои пакетной нормализации.
Для формирования обучающей выборки были использованы участки из нескольких гиперспектральных изображений. Конечный размер составлял 900x2730 гиперпикселей, что составляет примерно треть всех данных, после чего 90% пикселей были взяты в обучающий набор и 10% - в набор проверки. Такой подход сводит к минимуму разницу в освещенности при анализе различных гиперспектральных изображений.
Обучение проводилось с использованием оптимизатора Adagrad. Параметр скорости обучения был равен 0,01, а параметр импульса оптимизатора был установлен на 0,01. Размер минимального пакета был равен 40. Размер блока был 7x7x250. Процесс обучения сети занял 50 эпох для полной стабилизации.
Были исследованы четыре различных подхода к задаче классификации по уровню хлороза: классическая архитектура 3D-DCNN [10-11] без предварительной обработки и с ней, модификация M3D-DCNN, предложенная в этой статье, без предварительной обработки и с ней.
Анализ полученных изображений позволяет сделать вывод, что предварительная обработка гиперспектральных изображений существенно не улучшает качество классификации по уровню хлороза. Использование пакетной нормализации в качестве нормализации освещенности уменьшает размер областей ошибочной классификации.
Рис. 6. Архитектура нейросетевого классификатора
Для более строгого контроля качества точность классификации была рассчитана для трех гиперспектральных изображений для каждого предлагаемого подхода (табл. 2).
Bulletin Samara state agricultural academy № 4 (76) 2024
Таблица 2
Точность классификатора и его модификаций для исходных и предварительно обработанных гиперспектральных изображений_
3D-DCNN M3D-DCNN
- Предварительная обработка - Предварительная обработка
HSI_1 84,3% 82,7% 84% 85%
HSI_2 83,4% 81,5% 84,1% 85%
HSI_3 81,2% 80% 81,5% 80,7%
Среднее 83,0% 81,4% 83,2% 83,6%
На основании полученных данных можно сделать вывод, что предварительная обработка в виде нормализации гиперспектральных изображений по освещенности не дает повышения точности классификации по уровню хлороза. Напротив, использование пакетной нормализации для этой цели дает наилучшие результаты среди представленных.
По итогам проведенных исследований, представлен алгоритм классификации гиперспектральных изображений высокого разрешения с учетом как пространственной, так и спектральной составляющих. В качестве классификатора использована сверточная нейронная сеть с архитектурой, основанной на [10-11], модифицированная для лучшего учета изменений в освещении сцены. Для подготовки обучающих данных предлагается использовать вегетационные индексы, которые допускают первичную бинарную сегментацию гиперспектрального изображения. Показана эффективность предложенного подхода. Точность полученной классификации по уровню хлороза составила более 83%.
Заключение. Представленная модель обладает точностью классификации выше, чем у существующих методов, и позволяет использовать этот алгоритм для задач определения спектральных признаков изменения состояния растений в условиях защищенного грунта и выявления внутренних изменений в растениях, которые влияют на урожайность.
Список источников
1. Дивин А. Г., Мищенко С. В., Жиркова А. А. Неразрушающий бесконтактный тепловой метод контроля качества объектов растительного происхождения // Информационно-сенсорные системы в теплофизических исследованиях. 2018. 105-110. EDN YQUMXB.
2. Никоноров А., Петров М., Бибиков С., Кутикова В., Якимов П., Морозов А. (2018) 10-й семинар IAPR по распознаванию образов в дистанционном зондировании (PRRS) IEEE. 1-9.
3. Гедель А. В., Подлипнов В. В., Ивлиев Н. А., Парингер Р. А., Ишкин П. А., Машков С. В., Скиданов Р. В. Набор данных для гиперспектральной визуализации сельскохозяйственных культур // Компьютерная оптика. 2023. Т. 47. №. 3. С. 442-450.
4. Карпеев, С. В., Хонина, С. Н., Мурдагулов, А. Р., & Петров, М. В. Юстировка и исследование макетного образца гиперспектрометра по схеме Оффнера // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. 2016. Т. 15. №. 1. С. 197-206.
5. Jung A., Kardevan P., Tokei L. Hyperspectral Technology in Vegetation Analysis // Progress in Agricultural Engineering Sciences. 2006. Vol 2, № 1. P. 93-115.
6. Kwan, C., Gribben, D., Ayhan, B., Li, J., Bernabe, S., Plaza, A. Remote Sensing. 2020. № 12(23). P. 3880-3888.
7. Hu, W., Huang, Y., Wei, L., Zhang, F., Li, H. // Journal of Sensors. 2015. P. 30-42.
8. Manea, D., Calin, M. A. // Imaging Science Journal. 2015. № 63(4). P. 214-219.
9. Van De Weijer J, Gevers T. // IEEE International Conference on Image Processing. 2005. № 2. P. 2-722.
10. Mingyi He, Bo Li, Huahui Chen // IEEE International Conference on Image Processing (ICIP). 2017. P. 3904-3908.
11. Фирсов Н. А., Подлипнов, В. В., Ивлиев, Н. А., Николаев, П. П., Машков, С. В., Ишкин, П. А., Никоноров, А. В. Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса // Компьютерная оптика. 2021. Т. 45, № 6. С. 887-896. doi: 10.18287/2412-6179-C0-1038. EDN UOOVII.
References
1. Divin, A. G., Mishchenko, S. V. & Zhirkova, A. A. (2018). Non-destructive non-contact thermal method for quality control of objects of plant origin. Information-sensory systems in thermophysical research: Eleventh International Thermophysical School, Tambov State Technical University. 105-110. EDN YQUMXB. (in Russ).
2. Nikonorov, A., Petrov, M., Bibikov, S., Kutikova, V., Yakimov, P. & Morozov A. (2018). 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS) IEEE. 1-9. (in Russ).
3. Gaidel, A.V., Podlipnov, V. V., Ivlev, N. A., Paringer, R. A., Ishkin, P. A., Mashkov, S. V., Skidanov, R. V. (2023). Data set for hyperspectral visualization of agricultural plants. Computer Optics, 47(3), 442-450. (in Russ).
4. Karpeev, S. V., Khonina, S. N., Murdagulov, A. R., & Petrov, M. V. (2016). Alignment and study of the hyperspectrometer prototype according to the Offner scheme. Bulletin of the Samara University. Aerospace Engineering, Technologies and Mechanical Engineering, 15(1), 197-206. (in Russ).
5. Jung, A., Kardevan, P., & Tokei, L. (2006). Hyperspectral Technology in Vegetation Analysis. Progress in Agricultural Engineering Sciences. 2. 1. 93-115.
6. Kwan, C., Gribben, D., Ayhan, B., Li, J., Bernabe, S. & Plaza, A. (2020). Remote Sensing. 12(23). 3880-3888.
7. Hu, W., Huang, Y., Wei, L., Zhang, F. & Li, H. (2015). Journal of Sensors. 30-42.
8. Manea, D. & Calin, M. A. (2015). Imaging Science Journal, 63(4), 214-219.
9. Van De Weijer J, Gevers T. (2005). IEEE International Conference on Image Processing. 2. 2-722.
10. Mingyi He, Bo Li, Huahui Chen (2017) IEEE International Conference on Image Processing (ICIP). 3904-3908.
11. Firsov, N. A., Podlipnov, V. V., Ivliev, N. A., Nikolaev, P. P., Mashkov, S. V., Ishkin, P. A. & Nikonorov, A. V. (2021). Neural network classification of hyperspectral images of vegetation with the formation of a training sample based on the adaptive vegetation index. Computer Optics. 45. 6. 887-896. doi: 10.18287/2412-6179-C0-1038. EDN UOOVII. (in Russ).
Информация об авторах:
С. В. Машков - кандидат экономических наук, доцент; П. А. Ишкин - кандидат технический наук; Н. А. Ивлиев - кандидат технических наук, доцент; А. Р. Макаров - научный сотрудник.
Information about the authors:
S. V. Mashkov - Candidate of Economic Sciences, Associate Professor; P. A. Ishkin - Candidate of Technical Sciences; N. A. Ivliev - Candidate of Technical Sciences, Associate Professor; A. R. Makarov - Research Associate.
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.
Статья поступила в редакцию 16.09.2024; одобрена после рецензирования 4.10.2024; принята к публикации 16.10.2024. The article was submitted 16.09.2024; approved after reviewing 4.10.2024; accepted for publication 16.10.2024.
