CC BY
28
Ансамбли спектрально-пространственных сверточных нейросетевых моделей для задачи классификации типов почв на гиперспектральных
изображениях
Н.А. Фирсов12, В.В. Подлипнов12, Н.А. Ивлиев12, Д.Д. Рыськова 2, А.В. Пирогов12, А.А. Музыка12, А.Р. Макаров12, В.Е. Лобанов 2,3, В.И. Платонов 2, А.Н. Бабичев 2, В.А. Монастырский 2, В.И. Ольгаренко 2,
П.П. Николаев 4, Р.В. Скиданов12, А.В. Никоноров12, Н.Л. Казанский12, В.А. Сойфер1,2 1ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151; 2 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34;
3Адыгейский государственный университет, 385000, Россия, Республика Адыгея, г. Майкоп, ул. Первомайская, д. 208; 4Институт проблем передачи информации имени А.А. Харкевича РАН, 127051, Россия, г. Москва, Большой Каретный переулок, д. 19, стр. 1
Аннотация
В работе представлено исследование различных подходов к классификации почвенных покровов на основе нейросетевых алгоритмов по данным гиперспектрального дистанционного и проксимального зондирования Земли. Спектральные распределения при этом регистрировались в лабораторных условиях с использованием изображающего сканирующего гиперспектрометра на основе схемы Оффнера. Экспериментально исследованы пространственно-спектральные признаки девяти проб почв с различных участков фермерского хозяйства на территории Самарской области. С помощью метода энергодисперсионного микроанализа установлено соответствие гиперспектральных данных и химического состава взятых проб. На основе полученных данных реализована нейросетевая классификация образцов почв в зависимости от содержания в них таких элементов, как углерод и кальций. В качестве классификатора использовалась нормализованная спектрально-пространственная сверточная нейронная сеть. Авторами предложен подход к классификации гиперспектральных изображений высокого разрешения, основанный на уточнении мультиклассовой сверточной нейронной сети с помощью ансамбля бинарных классификаторов. Показано, что классификация образцов почв по содержанию углерода и кальция осуществляется с точностью 0,96.
Ключевые слова: гиперспектральные изображения, гиперспектральное зондирование, проксимальное зондирование, сверточные нейронные сети, спектрально-пространственная классификация, почвенная картография.
Цитирование: Фирсов, Н.А. Ансамбли спектрально-пространственных сверточных нейросетевых моделей для задачи классификации типов почв на гиперспектральных изображениях / Н.А. Фирсов, В.В. Подлипнов, Н.А. Ивлиев, Д.Д. Рыськова, А.В. Пирогов, А.А. Музыка, А.Р. Макаров, В.Е. Лобанов, В.И. Платонов, А.Н. Бабичев, В.А. Монастырский, В.И. Ольгаренко, П.П. Николаев, Р.В. Скиданов, А.В. Никоноров, Н.Л. Казанский, В.А. Сойфер // Компьютерная оптика. - 2023. - Т. 47, № 5. - С. 795-805. - DOI: 10.18287/2412-6179-CO-1260.
Citation: Firsov NA, Podlipnov VV, Ivliev NA, Ryskova DD, Pirogov AV, Muzyka AA, Makarov AR, Lobanov VE, Platonov VI, Babichev AN, Monastyrskiy VA, Olgarenko VI, Niko-laev PP, Skidanov RV, Nikonorov AV, Kazanskiy NL, Soifer VA. Ensembles of spectral-spatial convolutional neural network models for classifying soil types in hyperspectral images. Computer Optics 2023; 47(5): 795-805. DOI: 10.18287/2412-6179-C0-1260.
Введение
Гиперспектральный анализ состояния почвы обычно основывается на обработке гиперспектральных изображений растительного покрова, по состоянию которого можно косвенно судить о параметрах почвы [1]. Однако последнее десятилетие развиваются методы детектирования участков земной поверхности с так называемой открытой (голой) почвой
(bare soil) [2]. Открытая почва, по определению, - это участки почвы без растений или зданий на поверхности Земли [2, 3]. Такие участки являются одним из составляющих участков растительного покрова [4]. Детектирование таких участков является важной задачей экологического мониторинга [2, 3]. Изменение числа участков голой почвы с течением времени обычно указывает на усиление урбанизации в данном районе [5]. Мониторинг участков обнаженной почвы,
особенно в городских и сельских районах, где наиболее активна деятельность человека, дает четкое понимание экологических последствий урбанизации. В последнее время технология дистанционного зондирования Земли широко используется для мониторинга обнаженной почвы на больших площадях [6]. Для классификации типов поверхности используются как традиционные подходы [7], так и методы машинного обучения [8, 9] и методы спектрального разделения [10]. Можно отметить, что указанные выше методы довольно сложны, очень чувствительны к ошибкам при вычислениях, а также существенно зависят от количества образцов [11, 12]. Существует большое количество методов на основе использования спектральных индексов, которые позволяют получить из гиперспектральных изображений большое количество целевой информации. При этом такой подход отличается простотой [4]. Существует довольно много специализированных индексов: нормализованный разностный индекс растительности (NDVI) для определения количества зеленой массы [13], нормализованный разностный индекс воды (NDWI) для определения содержания поверхностных вод [14] и нормализованный разностный индекс непроницаемой поверхности (NDISI) для непроницаемой поверхности [15]. Но универсальных почвенных индексов не существует. Для этого есть несколько причин. Во-первых, спектр почвы напрямую связан с ее свойствами [16], а эти свойства меняются из-за очень многих факторов, связанных, например, с погодой [17]. Во-вторых, оголённую почву сложно отличить от непроницаемых поверхностей в виде асфальтовых и бетонных покрытий, поскольку их спектры очень похожи. Индекс открытой почвы (BI) рассчитывается с использованием информации о среднем инфракрасном диапазоне, а также завязан на состояние растительности вблизи этого участка [18]. BI предназначен для определения участков открытой почвы в лесных массивах. Разностный нормализованный почвенный индекс (RNDISI) был получен эмпирически, т.е. для него не ясен его физический смысл [16]. Кроме этого, сложность использования этого индекса возрастает из-за того, что его формула зависит от отобранных образцов в районе исследования. Индекс на основе формулы отношения для светлой почвы (RIBS) и индекс для темной почвы (PIDS) не дали стабильных результатов. В работе [19] предложили нормализованный разностный индекс открытой почвы (NDBSI). Однако вычисление этого индекса требует информации из коротковолнового инфракрасного диапазона, который регистрируется не во всех гиперспектрометрах. Кроме этого, следует заметить, что все приведенные выше публикации использовали спектральные данные с довольно низким спектральным разрешением. Использование гиперспектрометров с большим количеством спектральных каналов позволяет не только детектировать открытую почву или осуществ-
лять ее грубую классификацию, но и определять некоторые ее критические параметры. Одним из таких параметров является содержание в почве органического углерода. Почва накапливает больше углерода в наземной экосистеме, чем растительность и атмосфера в совокупности. Почвенный углерод чувствителен к любым изменениям земной поверхности и климату. Содержание углерода оказывает влияние на продуктивность почв. Таким образом, есть необходимость в количественной оценке содержания углерода в почвах, это позволяет выявлять локальную деградацию почв, а также обеспечивать геоданными системы точного земледелия для дифференцированного возделывания земель с целью уменьшения потерь почвами углерода или даже накоплению углерода. Уже есть работы, в которых для определения содержания углерода в почве использовались гиперспектрометры высокого разрешения [20, 21]. Однако в работе [20] также использовали двухдиапазонный гиперспектрометр, работающий в видимом и ближнем (коротковолновом) ИК-диапазоне, поскольку ключевыми спектральными каналами для определения содержания углерода были именно каналы из коротковолнового инфракрасного (КИК) диапазона. К сожалению, высокая стоимость светочувствительных матриц для коротковолнового инфракрасного диапазона делает такие гиперспектрометры малодоступными для широкого использования. В настоящей работе рассматривается возможность классификации почв по содержанию углерода и кальция на основе анализа гиперспектральных снимков видимого и ближнего инфракрасного диапазонов.
1. Получение гиперспектральных изображений
Для экспериментального исследования классификации типов почв были заранее исследованы спутниковые данные территории нескольких полей с посадками монокультур озимой и яровой пшеницы с применением технологии бесплугового земледелия (но-утилл) одного из фермерских хозяйств Самарской области. На основе изображений в программе агроска-утинга на нескольких полях были выбраны по 1 однородной зоне внутри каждого поля, на которых на протяжении нескольких сезонов наблюдались устойчивые зоны продуктивности с соответствующей картиной распределения индекса МЭУ1. Данные устойчивые зоны были использованы для отбора проб. Для получения более детальной информации о почвах отбор проб на этих участках осуществлялся по два образца с глубин поверхностного слоя 0- 10 см и более глубокого 10 - 20 см, так как поверхностный слой почвы подвержен более высокой потере углерода под воздействием солнца, ветра, дождя в течение вегетационного сезона. Пример изображения одного из полей приведен на рис. 1.
Для эксперимента были отобраны 9 образцов почв. Для исследования элементного состава почв
использовался метод энергодисперсионного микроанализа с использованием системы ШБ-2300 в составе растрового электронного микроскопа. Для проведения анализа все пробы почв были одинаково размолоты до однородной морфологии фракции с помощью грунтовой роликовой мельницы. На рис. 2б приведено изображение пробы грунта в растровом электронном микроскопе. Поле сканирования для накопления характеристического спектра составляло область размером 1,5 на 2 мм. Характеристический спектр приведен на рис. 2в. В табл. 1 приведены результаты определения элементного состава для углерода и кальция в % от общей массы. От исследования количественного содержания таких элементов, как фосфор Р и ряда микроэлементов, отказались ввиду их малости и высокой ошибки аппроксимации модели по оценке их количественного содержания.
Рис. 1. Изображение поля 077 с распределением индекса ЫОУ1 (красный — низкое значение, зеленый — высокое значение)
Табл. 1. Содержание углерода и кальция в разных образцах почвы и нумерация образцов почвы
Тип почвы
1Р2-4-6 N3 (0-10)
1Р2-4-6 N3 (10-20)
С70-2 (10-20)
С70-2 (0-10)
1Р 1-3-5 3(0-10)
1Р 1-3-5 3(10-20)
2кфх (10-20)
3кфх 14(0-10)
3кфх 14 (10-20)
С, %
4,97
5,04
5,84
3,85
5,13
5,61
4,85
5,58
6,03
Са, %
3,68
3,18
4,29
14,28
6,10
6,64
12,65
8,13
5,14
№ пробы
4
9
В настоящей работе использовалась лабораторная съемка образцов почв при искусственном освещении галогеновой лампой для получения пространственно-спектральных данных. В отличие от работы [20], предполагается, что такой метод съемки позволит проводить быстрый анализ образцов почв на содержание углерода без использования химических методов. Также такой метод съемки позволяет провести съемку всех образцов почвы одновременно, что минимизирует различия условий съемки, освещения и др.
Получение гиперспектральных изображений образцов почв проводилось при помощи мало-массогабаритной щелевой сканирующей гиперспектральной камеры на основе схемы Оффнера (далее -гиперспектрометр), которая имеет рабочий диапазон 400 -1000 нм и около 250 каналов. Для формирования гиперспектрального изображения образцов почвы съемка осуществлялась перемещением подвижной платформы при неподвижном расположении камеры. На рис. 2а приведена фотография экспериментального стенда.
в) кеУ
Рис. 2. Фотография экспериментальной установки (а): 1 — гиперспектрометр, 2 — платформа с образцами, 3 — рельс системы перемещения платформы, изображение пробы грунта в растровом электронном микроскопе (б), характеристический спектр энергодисперсионного микроанализа образца почвы (в)
В первых экспериментах была сделана попытка найти индексную формулу для классификации раз-
1
8
3
6
2
7
5
ных типов почвы. Для этого проводилось построение всех возможных спектральных индексов разностно-нормализованного типа и индекса отношения для всех 250 спектральных каналов. Этот метод описан в работе [22]. Однако такой перебор не позволил выявить индекс, позволяющий однозначно разделить все образцы почв. На рис. 3 представлен фрагмент индексного изображения с 4 образцами почв, один из которых на индексном изображении существенно ярче других. Кроме того, следует отметить, что все почвы имеют крайне схожие спектральные сигнатуры (см. рис. 4).
'f'C'V
шШ '
Рис. 3. Индексное изображение образцов почвы на основе разностно-нормализованной формулы с использованием каналов с длинами волн 660 и 750 нм
Однако подобрать такие индексные формулы для всех 9 образцов не удалось. Это вполне ожидаемый результат, поскольку почвы имеют близкие физико-химические свойства, отличающиеся по составу химических элементов на единицы процентов, также спектр отражения, регистрируемый в изображении, имеет малое количество уровней квантования практически для всех спектральных слоев.
Для примера на рис. 5 показано полное изображение всех 9 образцов почвы на 240-м спектральном слое, что соответствует длине волны 956 нм.
Как видно по спектральным характеристикам почв на рис. 4, их спектральные сигнатуры имеют очень похожий вид. В рамках данной работы решено было использовать нейросетевой подход для классификации типов почв по содержанию в них углерода и кальция. Точность классификации может снижаться по причине неоднородности освещенности сцены, из-за чего один класс почвы может ошибочно предсказываться одновременно как два или три класса, отличающихся по численному значению содержащегося в них углерода. Для компенсации неоднородности были получены калибровочные значения отраженной яркости источника освещения от белой бумаги и получена матрица коэффициентов нормировки каждого слоя гиперспектральных изображений для данного источника.
1 150-
100
600 700 800 9'
Длина волны, нм
Рис. 4. Спектры 9 образцов почв
Рис. 5. Гиперспектральное изображение 9 образцов почв: 240-й слой гиперкуба, длина волны - 956 нм (а), цветосинтезированное изображение на основе трех каналов, соответствующих цветам RGB (б) (красный - 635 нм,
зеленый - 534 нм, синий - 485 нм)
2. Нейросетевая классификация
Рассмотрим двухэтапную процедуру классификации почв по содержанию углерода и кальция. На первом этапе осуществляется поиск наиболее эффективного многоклассового классификатора на основании метрики Е1^еогв. На втором этапе с целью увеличения точности классификации почв формируется ансамбль из многоклассового и уточняющих бинарных классификаторов.
На первом шаге данной процедуры осуществлено сравнение метода ближайших соседей (в качестве базового алгоритма), спектральной глубокой сверточной нейронной сети Ш-СКК [23] и норма-
лизованной пространственно-спектральной свер-точной сети ЮБ-СК^ базовая версия которой описана в работе [24]. Данная сеть более подробно описана в работах по обнаружению сорных растений [25] и классификации сортов кофе [26]. Архитектура сети представлена на рис. 6.
Гиперспектральное изображение почв, используемое в данной работе, имело пространственное разрешение 3500^320 пикселов. Для эксперимента гиперспектральные данные были размечены по содержанию углерода и кальция (рис. 7 и рис. 8) в соответствии с результатами химического анализа (табл. 1), где синий цвет - низкое содержание вещества (менее 4,9 % для углерода и менее
5 % для кальция); зеленый цвет - среднее содержание вещества (от 4,9 % до 5,5 % для углерода и от 5 % до 8 % для кальция); желтый цвет - высокое содержание вещества (более 5,5 % для углерода и более 8 % для кальция). Суммарное количество размеченных данных для всех четырех классов составило 1120000 гиперпикселов (со спектральным разрешением в 250 каналов).
Обучающая выборка сформирована из 20 % случайных фрагментов гиперспектрального изображения для каждого класса. Валидационная выборка составила 5% от обучающей. Обучение проводилось при помощи оптимизатора Adagrad. Параметры обучения learning rate = 0,01, momentum = 0,01. Размеры мини-батчей у спектральной (1D-CNN) и пространственно-спектральной (N3D-CNN) сетей составил 100 и 40 образцов соответственно. В качестве функции потерь использовалась кросс-энтропия. Графики значений функции потерь на обучающих данных показаны на рис. 9а-б. Графики значений точности (метрика accuracy) на валидаци-онной выборке показаны на рис. 9в-г.
( Input ] Input: 7x7 Band
Convl ReLU
( BatchNorm ]
Conv2_l
Conv2_3 1 Conv2_4
»
t
( BatchNorm ) ( BatchNorm } [ BatchNorm ] [ BatchNorm ]
( BatchNorm ) ( BatchNorm } [ BatchNorm ] ( BatchNorm
tSfim ReLU
Conv4ReLU
[ BatchNorm
I I
[ Output ] Output: Label
Рис. 6. Архитектура сверточной пространственно-спектральной сети
пи
Рис. 7. Маска разметки по содержанию углерода в почве
ш *
Рис. 8. Маска разметки по содержанию кальция в почве
(а)
1D-CNN Train loss
1 D-CNN Validation accuracy
N3D-CNN Validation accuracy
Рис. 9. Графики значений функции потерь на обучающей выборке: (а) 1D-CNN, (б) N3D-CNN; графики значений метрики accuracy на валидационной выборке: (в) 1D-CNN, (г) N3D-CNN (синий - кальций, красный - углерод)
Тестовые данные формировались из 80 % ГСИ, не вошедшего в обучающий набор, графическое представление результатов классификации проводилось на всем ГСИ для большей наглядности. В качестве метрик оценки качества классификации рассматрива-
лись precision (1), recall (2), F1-score (3) (для каждого класса и средний для всех классов).
precision =
TP
TP + FP
(1)
recall=-
TP
F1=
TP+FN precision * recall (ß2 * precision)+recall
(2) (3)
Precision показывает, насколько точно классификатор отличает объекты своего класса от чужого. Более низкое значение метрики говорит о том, что классификатор определяет объекты чужого класса как свои.
Recall показывает, насколько полно классификатор может обнаружить объекты своего класса из всех объектов своего класса. Более низкое значение метрики говорит о том, что классификатор находит малую часть объектов своего класса.
F1-score является объединением метрик качества recall и precision в один агрегированный критерий качества.
Численные результаты классификации типов почв по содержанию углерода и кальция с помощью многоклассовых классификаторов приведены в табл. 2 и 3.
Исходя из полученных результатов можно говорить о значительном превосходстве N3D-CNN по всем трем метрикам. Значения метрик результатов классификации 1D-CNN и метода ближайших соседей очень близки, что показывает отсутствие преимуществ применения данной нейронной сети, за исключением времени обработки ГСИ (4 часа реального времени против 15 минут для ГСИ с разрешением 3500x320x5250). Графические представления результатов многоклассовой классификации представлены на рис. 10 и рис. 11. При сравнении данных изображений с рис. 8 и рис. 9 видно, что классификация типов почв по содержанию углерода и кальция позволяет с высокой долей правдоподобности определить
класс почв. Таким образом, для формирования ансамбля была выбрана сеть ШБ-СММ
Табл. 2. Результаты работы многоклассовых классификаторов почв по содержанию углерода на тестовых данных
KNN 1 D-CNN N3D-CNN
Класс/ Метрика Precision, % Recall, % F1-score, % Precision, % Recall, % F1-score, % Precision, % Recall, % F1-score, %
Фон 90 97 93 91 97 94 96 94 95
Высокое содержание 80 83 81 78 83 80 94 95 95
Среднее содержание 85 77 81 85 73 79 96 92 94
Низкое содержание 92 86 89 92 88 90 98 97 97
Среднее 86 85 86 86 85 85 96 94 95
Табл. 3. Результаты работы многоклассовых классификаторов почв по содержанию кальция на тестовых данных
KNN 1 D-CNN N3D-CNN
Класс/ Метрика Precision, % Recall, % F1-score, % Precision, % Recall, % F1-score, % Precision, % Recall, % F1-score, %
Фон 90 97 93 90 97 93 96 94 95
Высокое содержание 88 68 77 87 66 75 95 93 94
Среднее содержание 73 81 77 69 81 74 93 92 93
Низкое содержание 82 80 81 84 77 80 93 93 93
Среднее 83 81 82 82 80 80 95 93 94
Рис. 10. Графическое представление результатов многоклассовой классификации почв по содержанию углерода методом ближайших соседей (а), спектральной сверточной сетью 1D-CNN (б), нормализованной сетью N3D-CNN (в)
На втором этапе результаты многоклассовой классификации ЮБ-СЫМ уточнялись результатами п-бинарных классификаторов на основе этой же сети для отдельно взятых классов. На этапе обучения, помимо многоклассовой классификации, на полном объеме данных датасет разбивался на N бинарных наборов, где в качестве целевого класса выступал отдельный класс
почвы из изначальной разметки. Далее ансамбль сетей обучается на бинарных наборах данных. После получения результатов бинарной классификации модель оценивает метрики F1-score, precision и recall для каждого класса, а затем сравнивает результаты бинарной модели для одного отдельного класса и результаты для соответствующего класса в модели многоклассовой классифи-
кации. Далее осуществляется процесс настройки будущего ансамбля финального результата. Все результаты бинарных моделей сортируются от самой худшей модели (в качестве метрики выступает F1-score) до самой лучшей. Самые лучшие модели сравнивают свои результаты с соответствующими результатами классификации модели многоклассовой классификации. При соблюдении условия:
recaПbm - recallmul > precisionmul - рге^юпш + k, (4)
где k - коэффициент отбора бинарных моделей в диапазоне от 0 до 1 (при увеличении этого коэффициента ансамбль будет требовать либо более высокий recall от бинарной классификации при том же уровне precision, либо более высокий precision при том же recall), модель встраивается в ансамбль финального результата. Сборка же финального результата выглядит как пошаговое наслоение на результат многоклассовой классификации результатов бинарных моделей в полученном порядке.
Рис. 11. Графическое представление результатов многоклассовой классификации почв по содержанию кальция методом ближайших соседей (а), спектральной сверточной сетью 1D-CNN (б), нормализованной сетью N3D-CNN (в)
Экспериментальные оценки значений метрик классификации типов почв по содержанию углерода и кальция с использованием сети N3D-CNN совместно с ансамблем сверточных пространственно-спектральных сетей представлены в табл. 4 и 5.
Табл. 4. Результаты работы сети ЫЗБ-СЫЫ с ансамблем сетей для многоклассовой классификации почв по содержанию углерода
N3D-CNN Ансамбль N3D-CNN
Класс/ Метрика Precision, % Recall, % F1-score, % Precision, % Recall, % F1-score, %
Фон 96 94 95 94 99 97
Высокое содержание 94 95 95 97 94 96
Среднее содержание 96 92 94 96 95 96
Низкое содержание 98 97 97 99 97 98
Среднее 96 94 95 97 96 97
Табл. 5. Результаты работы сети ЫЗБ-СМЫ с ансамблем сетей для многоклассовой классификации почв
Класс/ Метрика N3D-CNN Ансамбль N3D-CNN
Precision, % тС c e R F1-score, % Precision, % £ тС c e R F1-score, %
Фон 96 94 95 93 99 96
Высокое содержание 95 93 94 96 97 97
Среднее содержание 93 92 93 97 93 95
Низкое содержание 93 93 93 98 97 96
Среднее 95 93 94 96 96 96
Визуальное представление результатов классификации проб почв сетью N3D-CNN совместно с ансамблем бинарных классификаторов показано на рис. 12 и рис. 13. Сравнение значений метрики точности (accuracy) всех классификаторов представлено в табл. 6.
*
Рис. 12. Графическое представление результатов классификации почв нормализованной сетью ЫЗБ-СНЫ совместно с ансамблем бинарных классификаторов по содержанию углерода
Рис. 13. Графическое представление результатов классификации почв нормализованной сетью Ы3В-СЫЫ совместно с ансамблем бинарных классификаторов по содержанию кальция
Табл. 6. Значения метрики точности (accuracy, %) всех рассмотренных классификаторов для классификации почв по содержанию углерода и кальция
KNN 1D-CNN N3D-CNN Ансамбль N3D-CNN
Углерод 86 85 94 96
Кальций 83 81 93 96
Среднее 84,5 83 93,5 96
По численному представлению результатов классификации можно сделать вывод, что использование ансамбля бинарных классификаторов для уточнения отдельных классов в дополнение к сети N3D-CNN позволяет увеличить значения всех рассматриваемых метрик классификации по содержанию углерода и кальция в почве на 1- 2,5 %.
Заключение
В работе проведено исследование методов классификации почв с различным содержанием таких элементов, как углерод и кальций, на основе пространственно-спектральных данных, полученных с использованием гиперспектрометра на основе схемы Оффнера. В качестве исходных данных использовалось ГСИ девяти образцов почв с разным содержанием углерода и кальция. Для каждого образца почвы был проведен химический анализ элементного состава. Проведена разметка ГСИ на 4 основных класса по степени содержания химических элементов (включая фон). Разработан классификатор на базе нормализованной сверточной пространственно-спектральной нейронной сети (N3D-CNN). На основе обученной сети проведено тестирование классификации образцов почвы по содержанию углерода и кальция, также проведено сравнение результатов классификации с методом ближайших соседей и спектральной свер-точной нейронной сетью (1D-CNN). N3D-CNN показала наилучшие метрики среди рассмотренных методов классификации. Произведено сравнение многоклассовой классификации, выполненной N3D-CNN, и классификации, выполненной этой же сетью, дополненной ансамблем бинарных классификаторов. Показано, что ансамблевый метод классификации точнее в сравнении с обычным многоклассовым классификатором. Точность классификации образцов почв по содержанию углерода и кальция составляет 0,96. В дальнейших работах предполагается исследовать алгоритмы атмосферной коррекции для дальнейшего применения разработанного алгоритма для задач дистанционного зондирования Земли.
Благодарности
Работа выполнена в рамках Государственного задания ФНИЦ «Кристаллография и фотоника» РАН (в экспериментальной части), исследования, выполненные методом гиперспектральной съемки, проведены при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рам-
ках НИР лаборатории «Фотоника для умного дома и умного города» (Государственный контракт с Самарским университетом) (проект FSSS-2021-0016), теоретическая часть выполнена при поддержке гранта РНФ № 20-69-47110.
References
[1] Xue J, Su B. Significant remote sensing vegetation indices: A review of developments and applications. J Sens 2017; 2017: 1353691. DOI: 10.1155/2017/1353691.
[2] Li H, Wang C, Zhong C, Su A, Xiong C, Wang J, Liu J. Mapping urban bare land automatically from Landsat imagery with a simple index. Remote Sens 2017; 9: 249. DOI: 10.3390/rs9030249.
[3] Rasul A, Balzter H, Faqe Ibrahim GR, Hameed HM, Wheeler J, Adamu B, Ibrahim S, Najmaddin PM Applying built-up and bare-soil indi-ces from Landsat 8 to cities in dry climates. Land 2018; 7(3): 81. DOI: 10.3390/land7030081.
[4] Deng C, Wu C. BCI: A biophysical composition index for remote sensing of urban environments. Remote Sens Environ 2012; 127: 247-259. DOI: 10.1016/j.rse.2012.09.009.
[5] Zhao H, Chen X. Use of normalized difference bareness index in quickly mapping bare areas from TM/ETM+. Proceedings. 2005 IEEE Int Geoscience and Remote Sensing Symposium (IGARSS '05) 2005; 3: 1666-1668. DOI: 10.1109/IGARSS.2005.1526319.
[6] Schneider A, Friedl MA, Potere D. Mapping global urban areas using MODIS 500-m data: New methods and datasets based on 'urban ecoregions'. Remote Sens Environ 2010; 114(8): 1733-1746. DOI: 10.1016/j.rse.2010.03.003.
[7] Hestir EL, Greenberg JA, Ustin SL. Classification trees for aquatic vegetation community prediction from imaging spec-troscopy. IEEE J Sel Top Appl Earth Obs Remote Sens 2012; 5(5): 1572-1584. DOI: 10.1109/JSTARS.2012.2200878.
[8] Hu X, Weng Q. Estimating impervious surfaces from medium spatial resolution imagery using the self-organizing map and multi-layer perceptron neural networks. Remote Sens Environ 2009; 113(10): 2089-2102. DOI: 10.1016/j.rse.2009.05.014.
[9] Zhang F, Yang X. Improving land cover classification in an urbanized coastal area by random forests: The role of variable selection. Remote Sens Environ 2020; 251: 112105. DOI: 10.1016/j.rse.2020.112105.
[10] Li W. Mapping urban impervious surfaces by using spectral mixture analysis and spectral indices. Remote Sens 2019; 12(1): 94. DOI: 10.3390/rs12010094.
[11] Somers B, Asner G, Tits L, Coppin P. Endmember variability in Spectral Mixture Analysis: A review. Remote Sens Environ 2011; 115(7): 1603-1616. DOI: 10.1016/j.rse.2011.03.003.
[12] Estoque R, Murayama Y. Classification and change detection of built-up lands from Landsat-7 ETM+ and Landsat-8 OLI/TIRS imageries: A comparative assessment of various spectral indices. Ecol Indic 2015; 56: 205-217. DOI: 10.1016/j.ecolind.2015.03.037.
[13] Becker F, Choudhury BJ. Relative sensitivity of normalized difference vegetation index (NDVI) and microwave polarization difference index (MPDI) for vegetation and desertification monitoring. Remote Sens Environ 1988; 24(2): 297-311. DOI: 10.1016/0034-4257(88)90031-4.
[14] McFeeters SK. The use of the normalized difference water index (NDWI) in the delineation of open water features. Int J Remote Sens 1996; 17: 1425-1432. DOI: 10.1080/01431169608948714.
[15] Xu HQ. Analysis of impervious surface and its impact on urban heat environment using the normalized difference imper-
vious surface index (NDISI). Photogramm Eng Remote Sensing 2010; 76(5): 557-565. DOI: 10.14358/PERS.76.5.557.
[16] DengYB, Wu CS, Li M, Chen RR. RNDSI: A ratio normalized difference soil index for remote sensing of urban/suburban environments. Int J Appl Earth Obs Geoinf 2015; 39: 40-48.
[17] Palacios-Orueta A, Ustin SL. Remote sensing of soil properties in the Santa Monica Mountains I. Spectral analysis. Remote Sens Environ 1998; 65(2): 170-183.
[18] Rikimaru A, Roy PS, Miyatake S. Tropical forest cover density mapping. Trop Ecol 2002; 43: 39-47.
[19] Liu Y, Meng Q, Zhang L, Wu C. NDBSI: A normalized difference bare soil index for remote sensing to improve bare soil mapping accuracy in urban and rural areas. Catena 2022; 214: 106265.
[20] Zhu Y, Wang D, Zhang H, Shi P. Soil organic carbon content retrieved by UAV-borne high resolution spectrometer. Transactions of the Chinese Society of Agricultural Engineering 2021; 37(6): 66-72.
[21] Zhou Q, Ding J, Tang M, Yang B. Inversion of soil organic matter content in oasis typical of arid area and its influencing factors. Acta Pedologica Sinica 2018; 55(2): 313-324.
[22] Hamza MM, Blank VA, Podlipnov VV, Doskolovich LL, Skidanov RV, Fan B. Spectral lenses to highlight blood vessels in the skin. Computer Optics 2022; 46(6): 899-904. DOI: 10.18287/2412-6179-CO-1155.
[23] Wei H, Yangyu H, Li W, Fan Zh, Hengchao L. Deep convo-lutional neural networks for hyperspectral image classification. J Sens 2015; 2015: 258619. DOI: 10.1155/2015/258619.
[24] He M, Li B, Chen H. Multi-scale 3D deep convolutional neural network for hyperspectral image classification. IEEE Int Conf on Image Processing (ICIP) 2017: 39043908. DOI: 10.1109/ICIP.2017.8297014.
[25] Firsov N, Podlipnov V, Ivliev N, Nikolaev P, Mashkov S, Ishkin P, Skidanov R, Nikonorov A. Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index. Computer Optics 2021; 45(6): 887-896. DOI: 10.18287/2412-6179-CO-1038.
[26] Makarov AR, Podlipnov VV, Ivliev NA, Nikonorov AV, Ul-yanov DI, Firsov NA. Neural network classification of coffee varieties on hyperspectral images. VIII Int Conf on Information Technology and Nanotechnology (ITNT) 2022: 1-3. DOI: 10.1109/ITNT55410.2022.9848735.
Сведения об авторах
Фирсов Никита Александрович, 1998 года рождения, в 2021 году окончил с отличием Самарский национальный исследовательский университет со степенью магистра по специальности «Прикладная математика и информатика». В настоящее время аспирант кафедры суперкомпьютеров и общей информатики Самарского университета, работает младшим научным сотрудником в лаборатории интеллектуального анализа видеоданных Института систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН, программистом Института искусственного интеллекта Самарского национального исследовательского университета. Область научных интересов: машинное зрение, компьютерная обработка изображений, дифракционная оптика, гиперспектральные данные. E-mail: _ [email protected] .
Подлипнов Владимир Владимирович, 1987 года рождения, инженер НИЛ-35 Самарского национального исследовательского университета, научный сотрудник лаборатории микро- и нанотехнологий Института систем обработки изображений РАН - филиала ФНИЦ «Кристаллография и фотоника» Российской академии наук. Область научных интересов: математическое моделирование, электронно-лучевая литография, оптимизация процедур травления в микроэлектронике, дифракционная оптика и методы обработки и контроля поверхностей. E-mail: [email protected] .
Ивлиев Николай Александрович, 1987 года рождения, в 2010 году окончил Самарский государственный аэрокосмический университет (ныне Самарский национальный исследовательский университет, сокращенно Самарский университет) по специальности «Конструирование и технология радиоэлектронной техники». Кандидат технических наук (2015). В настоящее время работает научным сотрудником в Институте систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН, ассистентом кафедры технической кибернетики Самарского университета. Область научных интересов: физика поверхности, микро-и нанотехнологии. E-mail: ivlievn@gmail. com .
Рыськова Дарья Дмитриевна, 2002 года рождения, в настоящее время студентка Самарского национального исследовательского университета по специальности «Прикладная математика и физика». Область научных интересов: машинное зрение, компьютерная обработка изображений, гиперспектральные данные E-mail: [email protected] .
Пирогов Артем Владимирович, 2002 года рождения, в настоящее время студент Самарского национального исследовательского университета по специальности «Прикладная математика и информатика». Работает техником в лаборатории интеллектуального анализа видеоданных Института систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: машинное зрение, компьютерная обработка изображений, гиперспектральные данные. E-mail: pirogovartem2@gmail. com .
Музыка Артём Алексеевич, 1999 года рождения, в настоящее время учится в магистратуре кафедры технической кибернетики Самарского университета. Работает инженером в лаборатории интеллектуального анализа видеоданных Института систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: гиперспектральные данные, гиперспектральный анализ, глубокие нейронные сети, анализ данных. E-mail: [email protected] .
Макаров Андрей Романович, 1999 года рождения, в 2021 году окончил Самарский национальный технический университет со степенью бакалавра. В настоящее время магистрант кафедры технической кибернетики Самарского университета, работает инженером в лаборатории интеллектуального анализа видеоданных Института систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: гиперспектральные данные, гиперспектральный анализ, глубокие нейронные сети, анализ данных. E-mail: [email protected] .
Лобанов Валерий Евгеньевич, 1998 года рождения, в 2022 году окончил с отличием Адыгейский государственный университет со степенью магистра по специальности «Прикладная математика и информатика». В настоящее время аспирант кафедры суперкомпьютеров и общей информатики Самарского университета, работает инженером-исследователем в лаборатории математических методов в области точного земледелия и биотехнологий Адыгейского государственного университета. Область научных интересов: машинное зрение, компьютерная обработка изображений. E-mail: [email protected] .
Платонов Владимир Игоревич, кандидат химических наук, доцент кафедры химии Самарского университета, исполняющий обязанности заведующего кафедрой экологии и безопасности жизнедеятельности Самарского университета. Научные интересы: экология, хроматография, микрофлюидика, приборостроение. E-mail: [email protected] .
Бабичев Александр Николаевич, 1976 года рождения, доктор сельскохозяйственных наук, ведущий научный сотрудник НИЛ-35 Самарского университета. Научные интересы: нормы орошения, технология возделывания сельскохозяйственных культур, мелиорация орошения, малоресурсность, аридизация.
E-mail: [email protected] .
Монастарский Валерий Алексеевич, 1988 года рождения, кандидат сельскохозяйственных наук, старший научный сотрудник НИЛ-35 Самарского университета. Область научных интересов: минеральные удобрения, технология дифференцированного удобрения, ирригационная мелиорация, дефицит ресурсов, аридизация. E-mail: [email protected] .
Ольгаренко Владимир Игоревич, 1990 года рождения, кандидат технических наук, старший научный сотрудник НИЛ-35 Самарского университета. Область научных интересов: водопользование, эвапотранспирация сельскохозяйственных культур, запасы влаги, дефицит ресурсов, аридизация. E-mail: olgarenko_vi@,mail.ru .
Николаев Петр Петрович, 1943 года рождения, доктор физико-математических наук. Работает в Институте проблем передачи информации РАН с 1966 года. Научные интересы: психофизика зрительного восприятия и его математическое моделирование. E-mail: [email protected] .
Скиданов Роман Васильевич, 1973 года рождения, с отличием окончил (1990) Самарский государственный университет (СГУ) по специальности «Физика». Доктор физико-математических наук (2007). Заведующий лабораторией микро- и нанотехнологий Института систем обработки изображений РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН, по совместительству профессор кафедры технической кибернетики Самарского национального исследовательского университета. Соавтор 260 научных работ, 10 монографий. Его текущие исследовательские интересы включают дифракционную оптику, математическое моделирование, обработку изображений и нанофотонику. E-mail: [email protected] .
Никоноров Артём Владимирович, 1979 года рождения. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016). В настоящее время работает профессором кафедры суперкомпьютеров и вычислительной техники Самарского университета, ведущим научным сотрудником в лаборатории интеллектуального анализа видеоданных Института систем обработки изображений РАН
- филиале ФНИЦ «Кристаллография и фотоника» РАН. Опубликовал более 90 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, системная идентификация, параллельное и распределенное программирование, программирование GPGPU. E-mail: artniko@gmail. com .
Казанский Николай Львович в 1981 году с отличием окончил Куйбышевский авиационный институт (КуАИ, ныне - Самарский национальный исследовательский университет имени академика С.П. Королёва (Самарский университет)) по специальности «Прикладная математика». Доктор физико-математических наук (1996), профессор, работает руководителем Института систем обработки изображений РАН - филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» Российской академии наук (ИСОИ РАН), профессором кафедры технической кибернетики Самарского университета. Является членом международных научных обществ OSA, SPIE и IAPR. Н.Л. Казанский - специалист в области дифракционной оптики, математического моделирования, обработки изображений и нанофотоники. В списке научных работ Н.Л. Казанского 380 статей, 14 монографий, 57 авторских свидетельств и патентов. Область научных интересов: дифракционная оптика, математическое моделирование, обработка изображений и нанофотоника. Сайт: http://www.ipsiras.ru/staff/kazanskiy.htm. E-mail: [email protected] .
Сойфер Виктор Александрович — академик Российской академии наук (РАН), доктор технических наук, профессор, президент Самарского национального исследовательского университета имени академика С.П. Королёва, главный научный сотрудник ИФСИ РАН — филиала ФНЦ «Кристаллография и фотоника» РАН. Лауреат Государственной премии Российской Федерации и премии Правительства РФ в области науки и техники. Получил квалификацию инженера (1968) Куйбышевского авиационного института (КуАИ, ныне Самарский национальный исследовательский университет имени академика С.П. Королёва). Получил степень доктора технических наук (1979) Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» (ГЭТУ). Является членом SPIE и IAPR. Является автором и соавтором значительного количества научных публикаций с высоким индексом цитирования, 10 книг, 50 авторских свидетельств и патентов. E-mail: [email protected] .
ГРНТИ: 28.23.37
Поступила в редакцию 6 декабря 2022 г. Окончательный вариант - 14 апреля 2023 г.
Ensembles of spectral-spatial convolutional neural network models for classifying soil types in hyperspectral images
N.A. Firsov1-2, V.V. Podlipnov1-2, N.A. Ivliev h2, D.D. Ryskova 2, A.V. Pirogov 2, A.A. Muzyka 2, A.R. Makarov 1,2,V.E. Lobanov2'3, V.I. Platonov2, A.N. Babichev 2, V.A. Monastyrskiy 2, V.I. Olgarenko 2, D.P. Nikolaev4, R.V. Skidanov1-2, A.V. Nikonorovh2, N.L. Kazanskiyh2, V.A. Soyfer12 1IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, 443001, Samara, Russia, Molodogvardeyskaya 151;
2 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34;
3 Adyghe State University, 385000, Maykop, Republic of Adygea, Russia, Pervomayskaya St. 208; 4 Institute for Information Transmission Problems of the Russian Academy of Sciences (Kharkevich Institute),
127051, Moscow, Russia, Bol'shoi Karetnyiper. 19
Abstract
The paper presents a study of various approaches to the classification of soil covers based on neural network algorithms using hyperspectral remote and proximal sensing of the Earth. The spectral distributions were recorded in the laboratory using an Offner imaging scanning hyperspec-trometer. Spectral-spatial characteristics of nine soil samples from various parts of a farming land in the Samara region were experimentally studied. Using a method of energy dispersion microanalysis, the correspondence between the hyperspectral data and the chemical composition of the samples taken was established. Based on the data obtained, a neural network-aided classification of soil samples was implemented depending on the content of constituent elements such as carbon and calcium. A normalized spectral-spatial convolutional neural network was used as a classifier. As a result of the work, an approach to the classification of high-resolution hyper-spectral images based on the refinement of a multiclass convolutional neural network using an ensemble of binary classifiers is proposed. It is shown that the classification of soil samples by carbon and calcium content is carried out with an accuracy of 0.96.
Keywords: hyperspectral images, hyperspectral sensing, proximal sensing, convolutional neural networks, spectral-spatial classification, soil cartography.
Citation: Firsov NA, Podlipnov VV, Ivliev NA, Ryskova DD, Pirogov AV, Muzyka AA, Makarov AR, Lobanov VE, Platonov VI, Babichev AN, Monastyrskiy VA, Olgarenko VI, Nikolaev DP, Skidanov RV, Nikonorov AV, Kazanskiy NL, Soifer VA. Ensembles of spectral-spatial convolutional neural network models for classifying soil types in hyperspectral images. Computer Optics 2023; 47(5): 795-805. DOI: I0.18287/2412-6179-C0-I260.
Acknowledgements: This work was partly funded under the ggovernemtn project of the FSRC "Crystallography and Photonics" RAS (experimental part) and grant No.20-69-47110 from the Russian Science Foundation (theoretical part).
Authors' information
Nikita Aleksandrovich Firsov, (b. 1998), graduated with honors from Samara National Research University in 2021 with a Master's degree in Applied Mathematics and Informatics. He is currently a postgraduate student of Supercomputers and General Informatics department of Samara University, a junior researcher at the Laboratory of Intelligent Analysis of Video Data of the Institute of Image Processing Systems of the Russian Academy of Sciences - a Branch of the Federal Research Centre "Crystallography and Photonics" of the Russian Academy of Sciences, a programmer at the Institute of Artificial Intelligence of Samara National Research University. Research interests: machine vision, computer image processing, diffractive optics, hyperspectral data. E-mail:_ [email protected] .
Vladimir Vladimirovich Podlipnov, (b.1987), engineer at NIL-35 of Samara National Research University, researcher at the Laboratory of Micro- and Nanotechnologies of the Institute of Image Processing Systems of the Russian Academy of Sciences, a Branch of the Federal Research Centre "Crystallography and Photonics" of the Russian Academy of Sciences. Research interests: mathematical modelling, electron beam lithography, optimization of etching processes in microelectronics, diffractive optics and surface treatment and control methods. E-mail: [email protected] .
Nikolay Aleksandrovich Ivliev, (b. 1987), PhD, he graduated from Samara State Aviation in 2010 and Space University (now Samara National Research University, abbreviated to Samara University) with a degree in Design and
Technology of Radio-electronic Equipment. Currently works as a researcher at the Institute of Image Processing Systems of the Russian Academy of Sciences - a Branch of the Federal Research Centre "Crystallography and Photonics" of the Russian Academy of Sciences, assistant of Technical Cybernetics department at Samara University. Research interests: surface physics, micro- and nanotechnologies. E-mail: [email protected] .
Darya Dmitrievna Ryskova, (b. 2002), now she is a student of Samara National Research University, majoring in Applied Mathematics and Physics. Research interests: machine vision, computer image processing, hyperspectral data. E-mail: [email protected] .
Artem Vladimirovich Pirogov, (b. 2002), currently he is a student at the Samara National Research University, majoring in Applied Mathematics and Computer Science. Works as a technician in the Laboratory of Intelligent Video Data Analysis of the Institute of Image Processing Systems of the Russian Academy of Sciences - a Branch of the Federal Research Centre "Crystallography and Photonics" of the Russian Academy of Sciences. Research interests: machine vision, computer image processing, hyperspectral data. E-mail: [email protected] .
Artem Alekseevich Muzyka, (b. 1999), he is currently studying for a Master's degree of Technical Cybernetics department at Samara University. He currently works as an engineer in the Laboratory of Intelligent Video Data Analysis of the Institute of Image Processing Systems of the Russian Academy of Sciences, a Branch of the FSRC "Crystallography and Photonics" of the Russian Academy of Sciences. Research interests: hyperspectral data, hyperspectral analysis, deep neural networks, data analysis. E-mail: muzzone [email protected] .
Andrey Romanovich Makarov, (b. 1999), he graduated from Samara National Technical University with a bachelor's degree in 2021. He is currently a master's student of Technical Cybernetics department of Samara University and works as an engineer in the Laboratory of Intelligent Analysis of Video Data at the Institute of Image Processing Systems of the Russian Academy of Sciences - a Branch of the Federal Research Centre "Crystallography and Photonics" of the Russian Academy of Sciences. Research interests: hyperspectral data, hyperspectral analysis, deep neural networks, data analysis. E-mail: andre.makar1999@gmail. com .
Valeriy Evgenievich Lobanov, (b. 1998), he graduated with honors from Adyghe State University with a master's degree in Applied Mathematics and Informatics in 2022. Currently a post-graduate student of Supercomputers and General Informatics department of Samara University and works as an engineer-researcher in Laboratory of Mathematical Methods in Precision Agriculture and Biotechnology of Adyghe State University. Research interests: machine vision, computer image processing. E-mail: [email protected] .
Vladimir Igorevich Platonov, PhD, Associate Professor of Chemistry department at Samara University, acting head of Ecology and Life Safety department at Samara University. Scientific interests: ecology, chromatography, mi-crofluidics, instrumentation. E-mail: [email protected] .
Alexandr Nikolaevich Babichev. (b. 1976), ScD, Leading Researcher in NIL-35 Samara University. Scientific interests: irrigation norms, technology of cultivation of agricultural crops, irrigation reclamation, scarcity of resources, aridization. E-mail: [email protected] .
Valeriy Alekseevich Monastyrsky, (b. 1988), PhD, Senior Researcher in NIL-35 Samara University. His research interests are mineral fertilizers, differentiated fertilization technology, irrigation reclamation, resource scarcity, aridiza-tion. E-mail: [email protected] .
Vladimir Igorevich Olgarenko, (b. 1990), PhD, Senior Researcher in NIL-35 Samara University. His research interests: water use, evapotranspiration of crops, moisture reserves, resource scarcity, aridization. E-mail: Olgarenko_vi@,mail.ru .
Petr Petrovich Nikolaev, (b. 1943), ScD. He works at the Institute for Information Transmission Problems RAS since 1966. Research interests: psychophysics of visual perception and its mathematical modeling. E-mail: [email protected] .
Roman Vasilevich Skidanov, (b. 1973), ScD, graduated with honours (1990) from Samara State University (SSU) with a degree in Physics. Head of the Laboratory of Micro- and Nanotechnologies of the Institute of the Image Processing Systems of the Russian Academy of Sciences - a Branch of the Federal Research Centre "Crystallography and
Photonics" of the Russian Academy of Sciences, part-time Professor of Technical Cybernetics department of Samara National Research University. Co-author of 260 scientific papers, 10 monographs. His current research interests include diffractive optics, mathematical modelling, image processing and nanophotonics. E-mail: [email protected] .
Artem Vladimirovich Nikonorov, (b. 1979), ScD, graduated from SSAU in 2002. Currently he works as a professor of Supercomputers and Computer Engineering department of Samara University, a leading researcher at the Laboratory of Intelligent Analysis of Video Data at the Institute of Image Processing Systems of the Russian Academy of Sciences - a Branch of the Federal Research Centre "Crystallography and Photonics" of the Russian Academy of Sciences. Has over 90 publications, two monographs. Research interests: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: [email protected] .
Nikolay Lvovich Kazanskiy, ScD, graduated with honors (1981) from S.P. Korolyov Kuibyshev Aviation Institute (presently, Samara University), majoring in Applied Mathematics. He is the Head of the IPSI RAS - Branch of the FSRC "Crystallography and Photonics RAS", also holding a part-time position of a professor at Technical Cybernetics department of Samara University, holding the chair at the of High-Performance Computing department at IPSI RAS -Branch of the FSRC "Crystallography and Photonics RAS". He is a member of OSA, SPIE and IAPR. He coauthored 380 scientific papers, 14 monographs, 57 inventions and patents. His current research interests include diffractive optics, mathematical modeling, image processing, and nanophotonics. Website: http://www.ipsiras.ru/staff/kazanskiy.htm . E-mail: [email protected] .
Victor Aleksandrovich Soifer is an Academician of the Russian Academy of Sciences (RAS), Doctor of Engineering, Professor, President of Samara National Research University and the chief researcher of the IPSI RAS - Branch of the FSRC "Crystallography and Photonics" RAS. He is the recipient of the State Prize of the Russian Federation and the RF government prize in Science and Technology. He was awarded an Engineer qualification (1968) by Kuibyshev Aviation Institute (KuAI, presently, Samara National Research University). He received a Doctor in Engineering degree (1979) from Saint Petersburg State Electrotechnical University «LETI» (ETU). He is a SPIE- and IAPR-member. He is the author and coauthor of a substantial number of scientific publications with high citation index, 10 books, and 50 author's certificates and patents. E-mail: [email protected] .
Received December 6, 2022. The final version - April 14, 2023.
