CC BY
98
Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса
Н.А. Фирсов1, В.В. Подлипнов12, Н.А. Ивлиев12, П.П. Николаев 3, С.В. Машков 4, П.А. Ишкин 4,
Р.В. Скиданов1-2, А.В. Никоноров1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34; 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151;
3Институт проблем передачи информации имени А.А. Харкевича РАН, 127051, Россия, г. Москва, Большой Каретный переулок, д. 19, стр. 1; 4 Самарский государственный аграрный университет, 446442, Россия, Самарская область, г.о. Кинель, пгт. Усть-Кинельский, ул. Учебная, д. 2
Аннотация
В настоящей работе предложен новый подход к классификации гиперспектральных изображений высокого разрешения в прикладной задаче определения типов сельскохозяйственной растительности. В качестве классификатора используется спектрально-пространственная сверточная нейронная сеть с компенсацией вариаций освещения. Для автоматизированного формирования обучающей выборки предложен алгоритм на основе адаптивного вегетационного индекса. Показана эффективность предложенного подхода в задаче классификации типов растительности по результатам съемок сельскохозяйственных угодий, выполненных сканирующей гиперспектральной камерой.
Ключевые слова: гиперспектральные изображения, вегетационный индекс, сверточ-ные нейронные сети, классификация растительности, спектрально-пространственная классификация гиперспектральных изображений, вегетационные индексы.
Цитирование: Фирсов, Н.А. Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса / Н.А. Фирсов, В.В. Подлипнов, Н.А. Ивлиев, П.П. Николаев, С.В. Машков, П.А. Ишкин, Р.В. Скиданов, А.В. Никоноров // Компьютерная оптика. -2021. - Т. 45, № 6. - С. 887-896. - DOI: I0.18287/2412-6179-C0-I038.
Citation: Firsov NA, Podlipnov VV, Ivliev NA, Nikolaev PP, Mashkov SV, Ishkin PA, Skidanov RV, Nikonorov AV. Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index. Computer Optics 2021; 45(6): 887-896. DOI: 10.18287/2412-6179-C0-1038.
Введение
Гиперспектральное дистанционное зондирование Земли из космоса и с беспилотных летательных аппаратов (БПЛА) успешно применяется в интересах сельского и лесного хозяйства [1 - 8], для поиска наркосодержащих растений [9, 10], в геологии [11], для мониторинга городской инфраструктуры [12], экологического мониторинга [13]. Основное отличие гиперспектральных изображений от цветных - наличие десятков или даже сотен спектральных каналов, что позволяет обнаружить не видимые обычными камерами различия в наблюдаемых объектах. Так, гиперспектральные снимки растительности и сельскохозяйственных культур позволяют контролировать индекс биомассы, наличие требуемых минеральных веществ и степень увлажнения, а также выявлять зоны, требующие обработки почвы или растений для точечного уничтожения сорняков в задачах точного земледелия [14, 15].
К решению задачи классификации гиперспектральных изображений (ГСИ) существует много различных подходов как на основе классических методов машинного обучения, таких как линейные классификаторы, метод ближайших соседей [16, 17] или метод опорных векторов [18], так и на основе анализа вегетационных индексов. В частности, для анализа ГСИ растительности в классических работах широко используются вегетационные индексы, такие как NDVI [19, 20] и EVI [20]. В работах последних лет для классификации и сегментации стали широко применяться методы глубокого обучения и сверточ-ные нейронные сети (СНС) [19, 21]. СНС с успехом применяются не только для анализа, но и для реконструкции и обработки ГСИ [22 - 24].
Наиболее перспективны алгоритмы классификации ГСИ при помощи сверточных нейронных сетей с одновременным анализом пространственной и спектральной составляющих [18, 26, 27]. Однако для методов на основе сверточных нейронных сетей крити-
чески важным является процедура формирования обучающей выборки. При решении задач классификации ГСИ, снятых с высоким пространственным разрешением, эта процедура существенно усложняется, так как при этом недостаточно выполнить разметку отдельных гиперпикселов изображения, а требуется фактически выполнить сегментацию ГСИ [28].
Подобная ситуация возникает при решении задачи классификации типов растительности по ГСИ, снятым с поверхности Земли или с борта БПЛА, условно можно назвать такие изображения ГСИ наземной съемки, в отличие от ГСИ спутниковой съемки. При решении задачи классификации по таким ГСИ необходимо учитывать как спектральную, так и пространственную составляющую изображения, в отличие от задач классификации растительности по ГСИ спутниковой съемки. Вследствие этого существенно усложняется формирование обучающей выборки для свер-точных нейронных сетей, так как невозможно использовать для обучения существующие спутниковые ГСИ [12]. Для качественного обучения сети требуется формирование сегментации вручную, что существенно повышает сложность и ресурсоемкость решаемой задачи.
Следует отметить, что ряд принципиальных особенностей обработки ГСИ спутниковой съемки не применим в случае наземной съемки. Так, при высоком пространственном разрешении не применимы методы спектрального разделения (spectral unmixing) [29] и выделения спектральных компонент (endmember extraction) [30]. Неактуальными становятся модели учета влияния атмосферы, такие как modtran [31]. Однако учет влияния эффектов разницы в освещении участков сцены и затенений становится критически важным [12].
В настоящей работе предлагается подход к классификации ГСИ высокого разрешения в прикладной задаче определения типов растительности с учетом как пространственной, так и спектральной составляющей ГСИ. В качестве классификатора используется сверточная нейронная сеть (СНС) с архитектурой, основанной на [18], модифицированной для лучшего учета влияния изменений в освещении сцены. Для формирования обучающего набора данных предложен алгоритм на основе адаптивного вегетационного индекса. Показана эффективность предложенного подхода классификации типов растительности на основе данных съемок сельскохозяйственных угодий, проведенных разработанной нами сканирующей гиперспектральной камерой.
1. Получение гиперспектральных данных
В рамках настоящей работы разрабатываются алгоритмы классификации типов растительности на полях сельскохозяйственного назначения по гиперспектральным изображениям, полученным щелевым гиперспектрометром, построенным по схеме Оффнера
[32, 33]. Изучаемый участок для проведения съемки находится в Самарской области, Приволжский район, Приволжье, поля КФХ Цирулева Е.П. в окрестностях координат широта 52.81, долгота 48.61. Даты съемки 10 - 20 июля 2021 г. Для проведения съемок были выбраны обрабатываемые и орошаемые участки, преимущественно с однородным распределением одной сельскохозяйственной культуры по области съемки, а также участки, где граничат несколько сельскохозяйственных культур. Съемка осуществлялась сканированием, путем установки гиперспектральной камеры на специальный съемочный штатив, оснащенный приводом углового вращения с возможностью задания скорости вращения в диапазоне 0,2 - 3 об / мин. Объектом съемки выступали такие сельскохозяйственные культуры, как кукуруза, овес, пограничные области полевых участков, а также границы полей с участками произрастания сорняковых растений. Наибольшее распространение среди сорняков имеет щирица обыкновенная. Фотография экспериментальной установки, с которой проводилась съемка участков поля, приведена на рис. 1. Слева на рисунке расположены посадки кукурузы, справа - овса, между ними расположена полоса сорняка щирицы.
Рис. 1. Получение гиперспектральных изображений растительности при помощи сканирующего гиперспектрометра на поворотной платформе
Гиперспектрометр с оптической схемой Оффнера [32, 33] при съемке устанавливался таким образом, чтобы щелевая диафрагма располагалась перпендикулярно пространственному вектору сканирования. Штатив также оснащен механическим устройством, позволяющим задавать различные углы наклона камеры относительно объекта съемки. Съемка осуществлялась в малооблачную погоду, ветер умеренный, 2 - 4 м / с. Высота установки камеры относительно уровня почвы составляла 1,9 м. Для съемки объектов был выбран объектив с фиксированным фокусным расстоянием МИР-1В 2,8 / 37 (Россия), с диафрагмой, установленной на значении приблизительно 3,2. Выбор указанного объектива обусловлен достаточным углом обзора с такого малого расстояния до объектов съемки. Эквивалентное фокусное расстоя-
ние для сенсора с кроп-фактором 2,7 равно примерно 85 мм, что соответствует углу примерно 25 градусов. Благодаря использованию в оптической схеме Оф-фнера отражающей дифракционной решетки с блеском [33] обеспечивается достаточно высокая освещенность на матричном сенсоре.
Регистрация изображения проводится на сенсор CMV4000 с разрешением 2040 х 2048, что с бинингом 2 х 2 дает кадр с итоговым разрешением 1020 х 1024. Бининг позволяет повысить светочувствительность и скомпенсировать шумы сенсора. Полевая съемка выполнена с экспозицией 65 мс. Точное время экспозиции подбиралось по гистограмме в процессе съемки с фиксацией кадра камерой, направленной на белую область калиброванной цветовой шкалы X-RiteColorChecker Video. Реконструкция ГСИ из полученного видеоряда выполнена согласно ранее разработанным алгоритмам, описанным в работах [23, 33]. Полученные ГСИ имеют 250 спектральных каналов, равномерно распределенных в диапазоне 420 - 980 нм. Частота кадров во всех сценах зафиксирована и соответствует 15 к / с, что обеспечивает постоянство пространственного разрешения на всех полученных ГСИ.
2. Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса
2.1. Общая схема технологии нейросетевой классификации растительности
В настоящей работе предлагается двухэтапная схема решения прикладных задач классификации типов растительности по ГСИ. На первом этапе выполняется формирование обучающей выборки по части набора ГСИ. Предварительная сегментация ГСИ выполняется при помощи адаптивного вегетационного индекса, описанного в следующем параграфе. Предварительная сегментация дорабатывается оператором с контролем результата по RGB-изображению, цвето-синтезированному из трех спектральных каналов ГСИ, соответствующих длинам волн в 633 нм, 532 нм, 485 нм. Сформированная таким образом обучающая выборка используется для обучения СНС. В качестве базовой архитектуры СНС выбрана архитектура из работы [18], позволяющая успешно учитывать как спектральную, так и пространственную составляющие, с дополнительными модификациями, обеспечивающими устойчивость классификатора к изменениям освещения. Общая схема технологии обучения классификатора типов растительности следующая:
1. Формирование обучающей выборки.
1.1. Предварительная бинарная сегментация почвы и растительности на основе адаптивного вегетативного индекса.
1.2. Доработка сегментации классов растительности вручную оператором.
1.3. Опциональная предобработка ГСИ с целью компенсации изменений освещенности.
2. Обучение нейросетевого классификатора.
2.2. Адаптивный вегетационный индекс для бинарной сегментации почвы и растительности
Для задачи бинарной сегментации почвы и растительности были рассмотрены два вегетационных индекса: NDVI (normalized difference vegetation index) [19] и EVI (enhanced vegetation index) [20]. Данные индексы используются для нахождения фотосинтети-чески активной биомассы:
NDVI =-
NIR - RED
NIR + RED
EVI = 2,5>
NIR - RED
NIR + 6 • RED - 7,5 • BLUE +1
(1) (2)
где NIR - ближняя инфракрасная область спектра; RED - красная область спектра; BLUE - синяя область спектра. Конкретный спектральный диапазон в (1) и (2) выбирается исходя из специфики регистрирующей аппаратуры и решаемой задачи [20].
Для визуальной оценки качества индексных масок проводится цветосинтез гиперспектрального изображения (рис. 2) из трех спектральных каналов (633 нм, 532 нм, 485 нм).
Рис. 2. RGB-представление гиперспектрального куба
Далее рассчитываются индексные маски, которые подвергаются пороговой обработке (значение порога составляет 0,1) таким образом, что пиксели, принадлежащие классу «почва», имеют нулевую яркость (рис. 3 - 4).
Исходя из полученных данных, для представленных гиперспектральных изображений разница между NDVI и EVI в результатах минимальна (рис. 36 и 46), по этому в качестве вегетационного индекса был выбран NDVI как более простой для расчетов.
Для прикладного использования вегетационных индексов в конкретном прикладном случае важной задачей является выбор спектральных диапазонов для расчета показателей в формулах (1) и (2). В настоящей работе предлагается выполнять адаптивный поиск границ диапазонов исходя из значения критерия качества, рассчитанного на основе данных. Будем называть такой индекс с адаптивными границами спектральных диапазонов адаптивным вегетационным индексом (ANDVI). Такой индекс для отдельного гиперпикселя вычисляется по средним значениям спектральных областей:
ANDVI (hsi(('j') :
ANIRj - ARED'■j ANIR''j + ARED' •J
(3)
где:
ANIRj = -
Nn
ARED''j = -
Nr
EC ■j;
k=NIRL
redr
- X
(4)
(5)
где C'k'J - значение пикселя в k-м канале; NIRl и NIRr - левая и правая границы ближней инфракрасной области; REDl и REDr - левая и правая границы красной области спектра, Nnir и Nred -количество каналов в заданных диапазонах.
Рис. 3. NDVI-маска до (а) и после (б) пороговой обработки
Рис. 4. EVI-маска до (а) и после (б) пороговой обработки
Идея адаптивного индекса заключается в подборе границ диапазонов так, чтобы максимизировать разницу между гиперпикселами двух классов «почва» и «растительность». Как критерий качества для адаптации границ спектральных диапазонов мы используем значения t-статистики, рассчитываемой между средними значениями адаптивного критерия, рассчитанного для гиперпикселов классов «почва» и «растительность». Для каждого диапазона [REDl, REDr] и [NIRl, NIRR ] рассчитывается индексная маска, по которой формируются два набора гиперпикселей:
('■ j )1
XV = {ж/( j )JA
I ('J)l
I (i ■ j))
(6)
где Хх и Ху - гиперпикселы классов «почва» и «растительность» соответственно. По ним производится вычисление ^статистики и соответствующее ему значение р-уа1ие:
t =
XS ~ XV
(7)
v j
где XS и XV - средние значения гиперпикселов пред-
ставленных классов; s,.
2
и sV - оценки дисперсии
классов; nS и nV - объем выборок. Значение границ диапазонов выбирается исходя из минимальной величины уровня значимости нулевой гипотезы (p-value). В качестве примера приведен подбор одной границы диапазона красной области спектра - REDr, график уровня значимости для данной границы диапазона приведен на рис. 5, для большей наглядности выполнен в логарифмическом масштабе. logl 0 (P-Value)
-1,4 -1,6 -1,8 -2,0 -2,2 -2,4
j
/
A / Л/ j
V V
575 600 625 650 675 700 725 750
Длина воны, нм
Рис. 5. График логарифма p-value для различных значений границы спектрального диапазона REDr
Таким образом находятся границы спектральных областей, при которых средние значения ANDVI для двух классов максимально различны. Для представленного случая границы были определены следующим образом: NIR - 750 - 979 нм; RED - 597 - 732 нм.
2.3. Сегментация по классам растений
Дальнейшая сегментация по классам растительности проводится вручную, и для ее валидации также применяется t-статистика, рассчитанная между средними значениями классов (рис. 6).
it" i Чта
>vm Щ
Рис. 6. Результат ручной сегментации
Для расчета ^статистики по данной маске из гиперспектрального изображения случайно выбиралась 1000 гиперпикселов, принадлежащих определенным классам (табл. 1).
Табл. 1. Значения уровня значимости t-статистики между классами растений
Класс_1 / Класс_2 Уровень значимости t-статистики
овес/сорняк 4,1 х 10(- 137)
сорняк/кукуруза 1,7 х 10(- 79)
овес/кукуруза 1,81 х 10(- 5)
Исходя из полученных данных, можно утверждать, что ручная сегментация растений выполнена с высокой достоверностью.
2.4. Компенсация изменений освещенности
Существенное влияние на результат гиперспектральной съемки оказывает изменение спектра освещенности [22, 34]. Съемка сельскохозяйственной растительности ведется днем в условиях открытого солнечного освещения, поэтому два основных фактора, влияющих на спектральный состав освещенности, -это угол возвышения солнца и затенение, вызываемое облаками.
Для компенсации влияния освещенности на спектральный состав ГСИ использовались два подхода к нормализации спектрального состава ГСИ. Следуя гипотезе серых контуров [35], на этапе предобработки может быть выполнена нормализация на спектр максимально яркого участка изображения:
hsi w
LightNorm
HS!
W
MAX (HS! w)
>255.
Также компенсация эффектов изменения освещения может быть выполнена при помощи дополнительного слоя пакетной нормализации [36] в архитектуре нейронной сети. В рамках настоящей работы реализованы оба подхода, их эффективность исследована в экспериментальном параграфе.
2.5. Архитектура нейросетевого классификатора
В данной работе используется модифицированная архитектура СНС из работы [18]. Данная сеть представляет собой объединение сверточных слоев для анализа 1D- и 2D- срезов гиперспектрального изображения, тем самым позволяя перейти к анализу 3D-участков (рис. 7). На вход сети подается гиперкуб, размеры которого определяются количеством каналов B и пространственными координатами (высотой и шириной) H и W соответственно. Такой подход позволяет не только выделять признаки одного гиперпикселя, но и находить его взаимозависимости с соседями.
Сеть состоит из 10 сверточных слоев (Conv) и одного полносвязного слоя сdropout-слоем (табл. 2), глубина каскада слоев равна 5. Слой dropout позволяет избежать переобучения, коэффициент исключения в нем составляет 0,6 [18]. Для компенсации влияния освещенности после каждого сверточного слоя был добавлен слой пакетной нормализации (BatchNorm3d) [37] (рис. 8).
Л
.. ' И~71 ^-71 выход
свертка //■) //■)
cpaalD Ayi'"(Y/i ltt/
свертка среза 2D
свёрп ЗГТ
/-<< Н W Н W
V V
, #_
выход
Г®*
Г vn/^ и
H^W
выход
H^W V
Рис. 7. Переход от анализа 1D и 2D к 3D
( Input ) Input: 7x7Band
Convl ReLU
[ BatchNorm
Conv2_l I Conv2_2 I Conv2_3 I Conv2_4
( BatchNorm ] [ BatchNorm ) [ BatchNorm ] [ BatchNorm \
'- ' t ' '
( Sum ReLU )
Г
"Г
x
1
Conv3_l I Conv3_2 ■ Conv3_3 I Conv3_4
( BatchNorm ] [ BatchNorm ] [ BatchNorm ] [ BatchNorm )
( Sum ReLlT)
Com4 ReLU
[ BatchNorm ] t
[ Pooling^Dropout]
[ Fully Connected] t
( Output ) Output: Label
Рис. 8. Предложенная модификация архитектуры M3D-DCNN
Табл. 2. Структура модифицированной нейронной сети M3D-DCNN
Фильтр Количество ядер фильтра Размерность ядра фильтра (H, W, B) Шаг перемещения Д(Н, W, B)
Conv1 16 3, 3, 11 1, 1, 3
Conv2_1 16 1, 1, 1 1, 1, 1
Conv2 2 1, 1, 3
Conv2 3 1, 1, 5
Conv2 4 1, 1, 11
Conv3 1 16 1, 1, 1 1, 1, 1
Conv3 2 1, 1, 3
Conv3 3 1, 1, 5
Conv3 4 1, 1, 11
Conv4 16 2, 2, 3 1, 1, 1
BatchNorm3d 16 - -
Pooling - 2, 2, 3 2, 2, 3
Dropout - - -
Linear 5 - -
3. Экспериментальное исследование 3.1. Набор данных
Гиперспектральные изображения, использующиеся в данной работе, имеют пространственное разрешение 976 х 3000 пикселей и спектральное разрешение в 250 каналов, равномерно распределенные в диапазоне 420 - 980 нм. На них представлены участки сельскохозяйственных угодий с зерновыми культурами - овсом и кукурузой, и растущими между ними сорняками (рис. 9).
Рис. 9. RGB-представление гиперспектральных изображений
3.2. Формирование обучающей выборки
Для формирования обучающей выборки использовались участки с нескольких гиперспектральных изображений (рис. 10). Итоговый размер составил 900 х 2730 гиперпикселей, что составляет примерно треть от всех данных, после бралось 90 % пикселей в учебный набор и 10 % в валидационный. Такой подход позволяет минимизировать различие в освещенности при анализе различных гиперспектральных изображений.
J'i, ~ТЬ W ШП II
Рис. 10. Фрагмент обучающего набора, составленный из срезов нескольких гиперспектральных изображений
3.3. Обучение сети
Обучение проводилось при помощи оптимизатора Adagrad. Параметр скорости обучения (learningrate)
составил 0,01, а параметр момента (momentum) оптимизатора был установлен равным 0,01. Размер мини-батча составил 40. Размер блока составил 7х 7 х 250. Процесс обучение сети занял 50 эпох до полной стабилизации.
3.4. Исследование точности классификации
Были исследованы четыре различных подхода к задаче классификации: классическая архитектура M3D-DCNN [18] без предобработки и с ней, предложенная в данной работе модификация M3D-DCNN без предобработки и с ней. Примеры полученной классификации классов растений на изображении (зеленый - овес, желтый - сорняк, красный - кукуруза) с отмеченными участками ошибочной классификации приведены на рис. 11 - 14.
Рис. 11. Классификация с архитектурой M3D-DCNN без предобработки
Как можно заметить из представленных рисунков, предобработка гиперспектральных изображений не дает существенного улучшения качества классификации. Использование пакетной нормализации в качестве нормировки освещенности уменьшает размеры областей ошибочной классификации.
Количественная оценка качества была рассчитана для трех гиперспектральных изображений для каждого предложенного подхода (табл. 3).
W :#§
Рис.12. Классификация с архитектурой M3D-DCNN с предобработкой
Рис. 13. Классификация модифицированной архитектуры M3D-DCNN
ЯШ&'ЖЯКК I XVJ
ш*7 ш
Рис. 14. Классификация модифицированной архитектуры ЫЗБ-БСЫК с предобработкой
Табл. 3. Точность классификатора из работы [18] и предложенной модификации для исходных и предобработанных гиперспектральных изображений
M3D-DCNN Модифицированная M3D-DCNN
- Предобработка - Предобработка
ГСИ_1 95,3 % 93,7 % 95,7 % 95 %
ГСИ_2 94,4 % 92,5 % 95,1 % 96 %
ГСИ_3 91,4 % 90 % 91,5 % 90,7 %
Среднее 93,7 % 92 % 94,1 % 93,9 %
Результаты проведенных экспериментов показывают, что нормировка освещенности гиперспектральных изображений на этапе предобработки не дает прироста точности классификации для модифицированной архитектуры сети. Модифицированная СНС со слоем пакетной нормализации обеспечивает лучшую точность классификации.
3.5. Сравнение с существующими классификаторами
Было проведено экспериментальное сравнение с существующими нейросетевыми 3D-CNN классификаторами из работ Lou [38], Li [26], Hamida [39] и базовой M3D-DCNN из работы He [18] (табл. 4).
Предложенный в настоящей работе подход к классификации показал наилучшую точность классификации среди рассмотренных.
Табл. 4. Точность классификации различными 3D-CNN архитектурами
В настоящей работе предложена технология классификации сельскохозяйственных культур и сорняков на основе гиперспектральной съемки сельскохозяйственных угодий с поворотной платформы при различных условиях освещенности. Технология основана на СНС классификаторе M3D-DCNN изображений высокого разрешения с учетом как пространственной, так и спектральной составляющих. Предложенная в настоящей работе модификация позволяет успешно компенсировать влияние изменений освещенности. Предложена автоматизированная процедура подготовки обучающей выборки на основе адаптивного вегетационного индекса, позволяющего провести первичную бинарную сегментацию гипесперктрального изображения. Такой подход позволяет максимально оперативно выполнять обучение классификатора для распознавания новых типов растительности. Результирующая точность классификации составила более 94 %. Такая точность превосходит известные аналоги и является достаточной для решения прикладных задач умного сельского хозяйства.
Перспективным направлением дальнейших исследований является экспериментальный анализ достижимой точности при усреднении результатов по нескольким кадрам. Также представляет интерес исследование альтернативных критериев качества, таких как показатель кроссэнтропии, при формировании адаптивного вегетационного индекса, а также исследование возможности адаптации с использованием обучения с подкреплением.
Благодарности
Теоретическая часть работы и разработка нейросете-вых моделей выполнена при поддержке гранта РНФ 2069-47110, экспериментальная часть выполнена в рамках государственного задания ИСОИ РАН - филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26) и РФФИ 19-29-01235.
Авторы выражают благодарность Е.П. Цирулеву,
H.В. Боровковой и А.А. Соловьеву за помощь при проведении полевых работ.
Литература
I. Sharma, V. Hyperspectral CNN for image classification & band selection, with application to face recognition / V. Sharma, A. Diba, T. Tuytelaars, L. Van Gool [Electroni-
cal Resource]. - 2016. - URL: https://core.ac.uk/download/pdf/80805922.pdf (request date 29.07.2021).
2. Zhang, J. Leaf area index estimation model for UAV image hyperspectral data based on wavelength variable selection and machine learning methods / J. Zhang, T. Cheng, W. Guo, X. Xu, H. Qiao, Y. Xie, X. Ma // Plant Methods. -2021. - Vol. 17, Issue 1. - P. 49-54.
3. Siedliska, A. Identification of plant leaf phosphorus content at different growth stages based on hyperspectral reflectance / A. Siedliska, P. Baranowski, J. Pastuszka-Wozniak, M. Zubik, J. Krzyszczak // BMC Plant Biology. - 2021. -Vol. 21, Issue 1. - P. 28-32.
4. Sahadevan, A.S. Extraction of spatial-spectral homogeneous patches and fractional abundances for field-scale agriculture monitoring using airborne hyperspectral images / A.S. Sahadevan // Computers and Electronics in Agriculture. - 2021. - Vol. 188. - 106325.
5. Zhang, Y. Estimating the maize biomass by crop height and narrowband vegetation indices derived from UAV-based hyperspectral images / Y. Zhang, C. Xia, X. Zhang, X. Cheng, G. Feng, Y. Wang, Q. Gao // Ecological Indicators. - 2021. - Vol. 129. - 107985.
6. La Rosa, L.E.C. Multi-task fully convolutional network for tree species mapping in dense forests using small training hyperspectral data / L.E.C. La Rosa, C. Sothe, R.Q. Feitosa, C.M. de Almeida, M.B. Schimalski, D.A.B. Oliveira // IS-PRS Journal of Photogrammetry and Remote Sensing. -2021. - Vol. 179. - P. 35-49.
7. Wang, L. Estimation of paddy rice nitrogen content and accumulation both at leaf and plant levels from UAV hyper-spectral imagery / L. Wang, S. Chen, D. Li, C. Wang, H. Jiang, Q. Zheng, Z. Peng // Remote Sensing. - 2021. -Vol. 13, Issue 15. - 2956.
8. Vangi, E. The new hyperspectral satellite PRISMA: Imagery for forest types discrimination / E. Vangi, G. D'amico, S. Francini, F. Giannetti, B. Lasserre, M. Marchetti, G. Chirici // Sensors (Switzerland). - 2021. - Vol. 21, Issue 4. - 1182.
9. Pereira, J.F.Q. Detection and identification of Cannabis sativa L. using near infrared hyperspectral imaging and machine learning methods / J.F.Q. Pereira, M.F. Pimentel, J.M. Amigo, R.S. Honorato // Spectrochimica Acta - Part A: Molecular and Biomolecular Spectroscopy. - 2020. -Vol. 237. - 118385.
10. Ferreira, A. Eyes in the skies: A data-driven fusion approach to identifying drug crops from remote sensing images / A. Ferreira, S.C. Felipussi, R. Pires, S. Avila, G. Santos, J. Lambert, J. Huang, A. Rocha // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2019. - Vol. 12, Issue 12. - P. 4773-4786.
11. Barton, I.F. Extending geometallurgy to the mine scale with hyperspectral imaging: a pilot study using drone- and ground-based scanning / I.F. Barton, M.J. Gabriel, J. Lyons-Baral, M.D. Barton, L. Duplessis, C. Roberts // Mining, Metallurgy and Exploration. - 2021. - Vol. 38, Issue 2. -P. 799-818.
12. Degerick, J. Mapping functional urban green types using high resolution remote sensing data / J. Degerickx, M.Hermy, B. Somers // Sustainability. - 2020. - Vol. 12, Issue 5. - 2144.
13. Huang, H. Underwater hyperspectral imaging for in situ underwater microplastic detection / H. Huang, Z. Sun, S. Liu, Y. Di, J. Xu, C. Liu, R. Xu, H. Song, S. Zhan, J. Wu // Science of the Total Environment. - 2021. - Vol. 776. -145960.
Louetal [38] Li etal [26] Heetal [18] Hamidaet al [39] Предложенный подход
ГСИ_1 68,8 % 92,7 % 95,3 % 94,1 % 95,7 %
ГСИ_2 63,3 % 92,0 % 94,4 % 93,5 % 95,1 %
ГСИ_3 70,0 % 88,9 % 91,4 % 90,2 % 91,5 %
Среднее 67,3 % 91,2 % 93,7 % 92,6 % 94,1 %
Заключение
14. Claudio, H.C. Monitoring drought effects on vegetation water content and fluxes in chaparral with the 970 nm water band index / H.C. Claudio, Y. Cheng, D.A. Fuentes, J.A. Gamon, H. Luo, W. Oechel, D.A. Sims // Remote Sensing of Environment. - 2006. - Vol. 103, Issue 3. - P. 304311.
15. Mahajan, G.R. Using hyperspectral remote sensing techniques to monitor nitrogen, phosphorus, sulphur and potassium in wheat (Triticum aestivum L.) / G.R. Mahajan, R.N. Sahoo, R.N. Pandey, V.K. Gupta, D. Kumar // Precision agriculture. - 2014. - Vol. 15, Issue 5. - P. 499-522.
16. Liu, B. A semi-supervised convolutional neural network for hyperspectral image classification / B. Liu, X. Yu, P. Zhang, X. Tan, A. Yu, Z. Xue // Remote Sensing Letters. - 2017. -Vol. 8. - P. 839-848.
17. Bioucas-Dias, J.M. Hyperspectral remote sensing data analysis and future challenges / J.M. Bioucas-Dias, A. Plaza, G. Camps-Valls, P. Scheunders, N. Nasrabadi, J. Chanussot // IEEE Geoscience and Remote Sensing Magazine. - 2013. - Vol. 1. - P. 6-36.
18. He, M. Multi-scale 3D deep convolutional neural network for hyperspectral image classification / M. He, B. Li, H. Chen // IEEE International Conference on Image Processing (ICIP). - 2017. - P. 3904-3908.
19. Jung, A. Hyperspectral technology in vegetation analysis / A. Jung, P. Kardevan, L. Tokei // Progress in Agricultural Engineering Sciences. - 2006. - Vol. 2, Issue 1. - P. 95117.
20. Kwan, C. An accurate vegetation and non-vegetation differentiation approach based on land cover classification / C. Kwan, D. Gribben, B. Ayhan, J. Li, S. Bernabe, A. Plaza // Remote Sensors. - 2020. - Vol. 12, Issue 23. - P. 3880-
21. Hu, W. Deep convolutional neural networks for hyperspec-tral image classification / W. Hu, Y. Huang, L. Wei, F. Zhang, H. Li // Journal of Sensors. - 2015. - Vol. 2015. -P. 30-42.
22. Nikonorov, A. Spectrum shape elements model to correct color and hyperspectral images / A. Nikonorov, S. Bibikov, P. Yakimov, V. Fursov // 2014 8th IAPR Workshop on Pattern Recognition in Remote Sensing. - 2014. - P. 1-4. -DOI: 10.1109/PRRS.2014.6914282.
23. Nikonorov, A. Deep learning-based enhancement of hyper-spectral images using simulated ground truth / A. Nikonorov, M. Petrov, S. Bibikov, V. Kutikova, P. Yakimov, A. Morozov // 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS). - 2018. - P. 1-9. -DOI: 10.1109/PRRS.2018.8486408.
24. Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model / A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov // Pattern Recognition Letters. - 2016. - Vol. 83, Issue P2. -P. 178-187. - DOI: 10.1016/j.patrec.2016.06.027.
25. Adao, T. Hyperspectral imaging: A review on UAV-based sensors, data processing and applications for agriculture and forestry / T. Adao, J. Hruska, L. Padua, J. Bessa, E. Peres, R. Morais, J.J. Sousa // Remote Sensing. - 2017. - Vol. 9, Issue 11. - 1110.
26. Li, Y. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network / Y. Li, H. Zhang, Q. Shen // Remote Sensors. - 2017. - Vol. 9(1). -P. 67-72.
27. Chen, Y. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks / Y. Chen, H. Jiang, C. Li, X. Jia, P. Ghamisi // IEEE Transactions on Geoscience and Remote Sensing. - 2016. -Vol. 54, Issue 10. - P. 6232-6251.
28. Xiu, Q. Attention-based pyramid network for segmentation and classification of high-resolution and hyperspectral remote sensing images / Q. Xu, X. Yuan, C. Ouyang, Y. Zeng // Remote Sensors. - 2020. - Vol. 12, Issue 21. - P. 35013507.
29. Dobigen, N. Linear and nonlinear unmixing in hyperspectral imaging / N. Dobigeon, Y. Altmann, N. Brun, S. Moussaoui // Data Handling in Science and Technology. - 2016. - Vol. 30. - P. 185-224.
30. Kale, K.V. Hyperspectral endmember extraction techniques / K.V. Kale, M.M. Solankar, D.B. Nalawade. - In: Processing and analysis of hyperspectral data / ed. by J. Chen, Y. Song, H. Li. - IntechOpen, 2019.
31. Berk, A. MODTRAN6: a major upgrade of the MODTRAN radiative transfer code / A. Berk, P. Conforti, R. Kennett, T. Perkins, F. Hawes, J. van den Bosch // 6th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. - 2014. - P. 1-4.
32. Подлипнов, В.В. Экспериментальное определение влажности почвы по гиперспектральным изображениям / В.В. Подлипнов, В.Н. Щедрин, А.Н. Бабичев, С.М. Васильев, В.А. Бланк // Компьютерная оптика. -2018. - Т. 42, № 5. - С. 877-884. - DOI: 10.18287/24126179-2017-42-5-877-884.
33. Карпеев, С.В. Юстировка и исследование макетного образца гиперспектрометра по схеме Оффнера / C.B. Карпеев, С.Н. Хонина, А.Р. Мурдагулов, М.В. Петров // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. - 2016. - Т. 15, № 1. - С. 197-206. - DOI: 10.18287/2412-7329-2016-15-1-197-206.
34. Manea, D. Hyperspectral imaging in different light conditions / D. Manea, M.A. Calin // The Imaging Science Journal. - 2015. - Vol. 63. - P. 214-219.
35. van de Weijer, J. Color constancy based on the Grey-edge hypothesis / J. van de Weijer, T. Gevers // IEEE International Conference on Image Processing. - 2005 - Vol. II. -P. 722-725.
36. Cai, J. Facial expression recognition method based on sparse batch normalization CNN / J. Cai, Q. Chang, X.-L. Tang, C. Xue, C. Wei // 37th Chinese Control Conference (CCC). - 2018. - P. 9608-9613.
37. Ioffe, S. Batch normalization: Accelerating deep network training by reducing internal covariate shift [Electronical Resource] / S. Ioffe, C. Szegedy // arXiv Preview. - 2015. -URL: https://arxiv.org/abs/1502.03167 (request date 31.08.2021).
38. Luo, Y. HSI-CNN: A novel convolution neural network for hyperspectral image / Y. Luo, J. Zou, C. Yao, T. Li, G. Bai // International Conference on Audio, Language and Image Processing (ICALIP). - 2019. - P. 464-469.
39. Ben Hamida, A. 3-D deep learning approach for remote sensing image classification / A. Ben Hamida, A. Benoit, P. Lambert, C. Ben Amar // IEEE Transactions on Geoscience and Remote Sensing. - 2018. - Vol. 56, Issue 8. -P. 4420-4434.
Сведения об авторах
Фирсов Никита Александрович, 1998 года рождения, в 2021 году окончил магистратуру Самарского национального исследовательского университета имени академика С.П. Королёва по направлению «Прикладная математика и информатика». Аспирант кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: машинное зрение, компьютерная обработка изображений, дифракционная оптика. E-mail: _ f.neumann77@yandex.ru .
Подлипнов Владимир Владимирович, инженер НИЛ-35 и ассистент кафедры технической кибернетики Самарского университета, инженер лаборатории микро- и нанотехнологий Института систем обработки изображений РАН - филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» Российской академии наук (ИСОИ РАН). Область научных интересов: математическое моделирование, электронно-лучевая литография и оптимизация технологических процессов травления в микроэлектронике, дифракционной оптике, технологии обработки и контроля поверхности. E-mail: podlipnovvv@ya.ru .
Ивлиев Николай Александрович, кандидат технических наук. В 2010 году окончил Самарский государственный аэрокосмический университет,. Область научных интересов: физика поверхности твердого тела, оптическое приборостроение. Является автором и соавтором более 30 научных трудов. E-mail: ivlievn@gmail.com .
Николаев Петр Петрович, 1943 года рождения, доктор физико-математических наук. С 1966 года работает в Институте проблем передачи информации РАН. Область научных интересов: психофизика зрительного восприятия и его математическое моделирование. E-mail: nikol@iitp.ru .
Машков Сергей Владимирович, кандидат экономических наук, доцент, врио ректора ФГБОУ ВО Самарский ГАУ, заведующий кафедрой электрификации и автоматизации АПК. Область научных интересов: цифровые и электротехнологии в сельском хозяйстве, механизация и автоматизация сельского хозяйства, экономические методы оценки сельскохозяйственной техники в технологии производства растениеводческой продукции. E-mail: mash_ser@mail.ru .
Ишкин Павел Александрович, кандидат технических наук, руководитель научно-исследовательской лаборатории «Агрокибернетика», доцент кафедры электрификации и автоматизации АПК ФГБОУ ВО Самарский ГАУ. Область научных интересов: энергоэффективные технологии обработки почвы, цифровые технологии в сельском хозяйстве, точное земледелие. E-mail: ishkin_pa@mail.ru .
Скиданов Роман Васильевич, 1973 года рождения. В 1995 году окончил физический факультет Самарского государственного университета. В 1998 году защитил кандидатскую диссертацию в Самарском государственном аэрокосмическом университете, а в 2007 году защитил докторскую диссертацию. В 2011 году получил награду «Лауреат Губернской премии в области науки и техники». В настоящее время основные сферы научных интересов: дифракционная оптика и нанофотоника. Р. В. Скиданов опубликовал более 95 научных трудов и 6 монографий. E-mail: romans@smr.ru .
Никоноров Артем Владимирович, родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016), профессор кафедры суперкомпьютеров и общей информатики Самарского университета. Опубликовал более 80 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: artniko@gmail.com .
ГРНТИ 28.23.15
Поступила в редакцию 2 сентября 2021 г. Окончательный вариант - 6 сентября 2021 г.
Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index
N. Firsov1, V. Podlipnov ',2, N. Ivliev12, P. Nikolaev 3, S. Mashkov 4, P. Ishkin 4, R. Skidanov ',2, A. Nikonorov1,2 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34;
2IPSIRAS - Branch of FSRC "Crystallography and Photonics " RAS, 443001, Samara, Russia, Molodogvardeyskaya 151;
3 Institute for Information Transmission Problems, RAS, 127051, Moscow, Russia, BolshoyKaretny per. 19, build. 1;
4 Samara State Agrarian University, 446442, Usty-Kinelyskiy, Russia, Uchebnaya 2
Abstract
In this paper, we propose an approach to the classification of high-resolution hyperspectral images in the applied problem of identification of vegetation types. A modified spectral-spatial con-volutional neural network with compensation for illumination variations is used as a classifier. For generating a training dataset, an algorithm based on an adaptive vegetation index is proposed. The effectiveness of the proposed approach is shown on the basis of survey data of agricultural lands obtained from a compact hyperspectral camera developed in-house.
Keywords: hyperspectral images, vegetation index, convolutional neural networks. Citation: Firsov NA, Podlipnov VV, Ivliev NA, Nikolaev PP, Mashkov SV, Ishkin PA, Skidanov RV, Nikonorov AV. Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index. Computer Optics 2021; 45(6): 887-896. DOI: 10.18287/2412-6179-CO-1038.
Acknowledgements: The theoretical part and neural network models were developed with the support from the Russian Science Foundation under RSF grant 20-69-47110. The experimental part was executed with the support from the Russian Foundation for Basic Research under the government project of the IPSI RAS - a branch of the Federal Scientific-Research Center "Crystallography and Photonics" of the RAS (agreement № 007-ГЗ/Ч3363/26). The authors are grateful to E.P. Tsirulev, N.V. Borovkova and A.A. Solovyov for their help in the field work.
References
[1] Sharma V, Diba A, Tuytelaar T, Gool LV. Hyperspectral CNN for image classification & band selection, with application to face recognition. 2016. Source: <https://core.ac.uk/download/pdf/80805922.pdf).
[2] Zhang J, Cheng T, Guo W, Xu X, Qiao H, Xie Y, Ma X. Leaf area index estimation model for UAV image hyperspectral data based on wavelength variable selection and machine learning methods. Plant Methods 2021; 17(1): 49-54.
[3] Siedliska A, Baranowski P, Pastuszka- Wozniak J, Zubik M, Krzyszczak J. Identification of plant leaf phosphorus content at different growth stages based on hyperspectral reflectance. BMC Plant Biol 2021; 21(1): 28-32.
[4] Sahadevan AS. Extraction of spatial-spectral homogeneous patches and fractional abundances for field-scale agriculture monitoring using airborne hyperspectral images. Comput Electron Agric 2021; 188: 106325.
[5] Zhang Y, Xia C, Zhang X, Cheng X, Feng G, Wang Y, Gao Q. Estimating the maize biomass by crop height and narrowband vegetation indices derived from UAV-based hyperspectral images. Ecol Indic 2021; 129: 107985.
[6] La Rosa LEC, Sothe C, Feitosa RQ, de Almeida CM, Schimalski MB, Oliveira DAB. Multi-task fully convolu-tional network for tree species mapping in dense forests using small training hyperspectral data. ISPRS J Photogramm Remote Sens 2021; 179: 35-49.
[7] Wang L, Chen S, Li D, Wang C, Jiang H, Zheng Q, Peng Z. Estimation of paddy rice nitrogen content and accumulation both at leaf and plant levels from UAV hyperspectral imagery. Remote Sens 2021; 13(15): 2956.
[8] Vangi E, D'amico G, Francini S, Giannetti F, Lasserre B, Marchetti M, Chirici G. The new hyperspectral satellite
PRISMA: Imagery for forest types discrimination. Sensors 2021; 21(4): 1182.
[9] Pereira JFQ, Pimentel MF, Amigo JM, Honorato RS. Detection and identification of Cannabis sativa L. using near infrared hyperspectral imaging and machine learning methods. Spectrochim Acta A Mol Biomol Spectrosc 2020; 237: 118385.
[10] Ferreira A, Felipussi SC, Pires R, Avila S, Santos G, Lambert J, Huang J, Rocha A. Eyes in the skies: A data-driven fusion approach to identifying drug crops from remote sensing images. IEEE J Sel Top Appl Earth Obs Remote Sens 2019; 12(12): 4773-4786.
[11] Barton IF, Gabriel MJ, Lyons-Baral J, Barton MD, Du-plessis L, Roberts C. Extending geometallurgy to the mine scale with hyperspectral imaging: a pilot study using drone- and ground-based scanning. Mining, Metallurgy and Exploration 2021; 38(2): 799-818.
[12] Degerick J, Hermy M, Somers B. Mapping functional urban green types using high resolution remote sensing data. Sustainability 2020; 12(5): 2144.
[13] Huang H, Sun Z, Liu S, Di Y, Xu J, Liu C, Xu R, Song H, Zhan S, Wo J. Underwater hyperspectral imaging for in situ underwater microplastic detection. Sci Total Environ 2021; 776: 145960.
[14] Claudio HC, Cheng Y, Fuentes DA, Gamon JA, Luo H, Oechel W, Sims DA. Monitoring drought effects on vegetation water content and fluxes in chaparral with the 970 nm water band index. Remote Sens Environ 2006; 103(3): 304-311.
[15] Mahajan GR, Sahoo RN, Pandey RN, Gupta VK, Kumar D. Using hyperspectral remote sensing techniques to monitor nitrogen, phosphorus, sulphur and potassium in wheat (Triticum aestivum L.). Precis Agric 2014; 15(5): 499-522.
[16] Liu B, Yu X, Zhang P, Tan X, Yu A, Zue Z. A semi-supervised convolutional neural network for hyperspectral image classification. Remote Sens Lett 2017; 8: 839-848.
[17] Bioucas-Dias JM, Plaza A, Camps-Valls G, Scheunders P, Nascrabadi N, Chanussot J. Hyperspectral remote sensing data analysis and future challenges. IEEE Trans Geosci Remote Sens 2013; 1: 6-36.
[18] He M, Li B, Chen H. Multi-scale 3D deep convolutional neural network for hyperspectral image classification. IEEE Int Conf on Image Processing (ICIP) 2017: 39043908.
[19] Jung A, Kardevan P, Tokei L. Hyperspectral technology in vegetation analysis. Prog Agric Eng Sci 2006; 2(1): 95117.
[20] Kwan C, Gribben D, Ayhan B, Li J, Bernage S, Plaza A. An accurate vegetation and non-vegetation differentiation approach based on land cover classification. Remote Sensors 2020; 12(23); 3880-3888.
[21] Hu W, Huang Y, Wei L, Zhang F, Li H. Deep convolu-tional neural networks for hyperspectral image classification. J Sens 2015; 2015; 30-42.
[22] Nikonorov A, Bibikov S, Yakimov P, Fursov V. Spectrum shape elements model to correct color and hyperspectral images. 8th IAPR Workshop on Pattern Reconition in Remote Sensing 2014: 1-4. DOI: 10.1109/PRRS.2014.6914282.
[23] 23. Nikonorov A, Petrov M, Bibikov S, Kutikova V, Ya-kimov P, Morozov A. Deep learning-based enhancement of hyperspectral images using simulated ground truth. 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS) 2018: 1-9. DOI: 10.1109/PRRS.2018.8486408.
[24] Nikonorov A, Bibikov S, Myasnikov V, Yuzifovich Y, Fursov V. Correcting color and hyperspectral images with identification of distortion model. Pattern Recognit Lett 2016; 83(P2): 178-187. DOI: 10.1016/j.patrec.2016.06.027.
[25] Adao T, Hruska J,Padua L, Bessa J, Peres J, Morais R, Sousa JJ. Hyperspectral imaging: A review on UAV-based sensors, data processing and applications for agriculture and forestry. Remote Sens 2017; 9(11): 1110.
[26] Li Y, Zhang H, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network. Remote Sensors 2017; 9(1); 67-72.
[27] Chen Y, Jiang H, Li C, Jia X, Ghamisi P. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks. IEEE Trans Geosci Remote Sens 2016; 54(10); 6232-6251.
[28] Xiu Q, Yuan X, Ouyang C, Zeng Y. Attention-based pyramid network for segmentation and classification of highresolution and hyperspectral remote sensing images. Remote Sensors 2020; 12(21): 3501-3507.
[29] Dobigen N, Altmann Y, Brun N, Moussaoui S. Linear and nonlinear unmixing in hyperspectral imaging. Data Handl Sci Technol 2016; 30: 185-224.
[30] Kale KV, Solankar MM, Nalawade DB. Hyperspectral endmember extraction techniques. In Book: Chen J, Song Y, Li H, eds. Processing and analysis of hyperspectral data. IntechOpen; 2019.
[31] Berk A, Conforti P, Kennet R, Perkins T, Hawes F, van den Bosh J. MODTRAN6: a major upgrade of the MODTRAN radiative transfer code. 6th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing 2014: 1-4.
[32] Podlipnov V, Shchedrin V, Babichev A, Vasilyev S, Blank V. Experimental determination of soil moisture on hyper-spectral images. Computer Optics 2018; 42(5): 877-884. DOI: 10.18287/2412-6179-2017-42-5-877-884.
[33] Karpeev S, Khonina S, Murdagulov A, Petrov M. Alignment and study of prototypes of the Offner Hyperspec-trometer. Vestnik of the Samara State Aerospace University 2016; 15(1): 197-206. DOI: 10.18287/2412-7329-201615-1-197-206.
[34] Manea D, Calin MA. Hyperspectral imaging in different light conditions. Imaging Sci J 2015; 63: 214-219.
[35] van de Weijer J, Gevers T. Color constancy based on the Grey-edge hypothesis. IEEE Int Conf on Image Processing 2005; II: 722-725.
[36] Cai J, Chang Q, Tang X-L, Xue C, Wei C. Facial expression recognition method based on sparse batch normalization CNN. 37th Chinese Control Conference (CCC) 2018: 9608-9613.
[37] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. Source: <https://arxiv.org/abs/1502.03167).
[38] Luo Y, Zou J, Yao C, Li T, Bai G. HSI-CNN: A novel convolution neural network for hyperspectral image. Int Conf on Audio, Language and Image Processing (ICALIP) 2019: 464-469.
[39] Ben Hamida A, Benoit A, Lambert P, Ben Amar C. 3-D deep learning approach for remote sensing image classification. IEEE Trans Geosci Remote Sens 2018; 56(8): 4420-4434.
Authors' information
Nikita Aleksandrovich Firsov, (b. 1998), in 2021 graduated from Samara National Research University with a Master's degree, majoring in Applied Mathematics and Informatics. Now he is post-graduate student of the SuperComputers and General Informatics sub-department of Samara University. Research interests: machine vision, computer image processing, diffractive optics. E-mail:_ f.neumann77@yandex.ru .
Vladimir Vladimirovich Podlipnov, an engineer at Samara National Research University's Lab-35, an engineer of the laboratory of Micro- and Nanotechnology of the Image Processing Systems Institute оf the RAS - Branch of the FSRC "Crystallography and Photonics" of the Russian Academy of Sciences. His research interests: mathematical modeling, electron-beam lithography, optimization of etching procedures in microelectronics, diffractive optics and techniques for surface processing and inspection. E-mail: podlipnovvv@ya.ru .
Nikolay Aleksandrovich Ivliev, (b. 1987), graduated from Samara State Aerospace University in 2010 (presently, Samara National Research University, short - Samara University), majoring in Design and Technology of Radioelec-tronic Equipment. Candidate of Engineering Sciences (2015). Currently he works as the researcher at the Image Pro-
cessing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" RAS, assistant at Technical Cybernetics sub-department of Samara University. Research interests: surface physics, micro- and nanotechnology. E-mail: ivlievn@gmail.com .
Petr Petrovich Nikolaev, (b. 1943), Doctor of Sciences in Physics and Mathematics. He works at the Institute for Information Transmission Problems RAS since 1966. Research interests: psychophysics of visual perception and its mathematical modeling. E-mail: nikol@iitp.ru .
Sergey Vladimirovich Mashkov, he received his PhD in Economics in 2009. Associate Professor, Acting Rector of Samara State Agrarian University, Head of Electrification and Automation of the Agro-Industrial Complex department. Research interests: digital and electrical technologies in agriculture, mechanization and automation of agriculture, economic methods for assessing agricultural machinery in crop production technology. E-mail: mash_ser@mail.ru .
Pavel Aleksandrovich Ishkin, he received his PhD in 2008. Head of the research laboratory "Agrocybernetics", associate professor of Electrification and Automation of Agro-industrial Complex department Samara State Agrarian University. Research interests: energy efficient tillage technologies, digital technologies in agriculture, precision farming. E-mail: ishkin_pa@mail.ru .
Roman Vasilyevich Skidanov, (b. 1973). Graduated with honors (1990) from Samara State University (SSU)), majoring in Physics. He received his Doctor in Physics & Maths (2007) degrees from Samara State University. He is the head of Micro- and Nanotechnologies laboratory of the Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" of the Russian Academy of Sciences, holding a part-time position of professor at SSU's Technical Cybernetics sub-department. He is co-author of 160 scientific papers, 7 monographs. His current research interests include diffractive optics, mathematical modeling, image processing, and nanophotonics. E-mail: romans@smr.ru .
Artyom Vladimirovich Nikonorov, (b. 1979). He graduated from SSAU in 2002. He received his PhD degree in 2016. Now he works as a professor at Supercomputing and Computer Science sub-department of Samara University. He has more than 70 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: artniko@gmail.com .
Received September 2, 2021. The final version - September 6, 2021.
