МУЛЬТИКЛАССОВОЕ РАСПОЗНАВАНИЕ АЭРОФОТОСНИМКОВ УЧАСТКОВ СЕЛЬСКОХОЗЯЙСТВЕННЫХ ПОЛЕЙ

Рогачев А. Ф.; Мелихова Е. В.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Authors Information

Pleskachev Yuri Nikolaevich, Doctor of Agricultural Sciences, Professor, Head of the Center for Agriculture, Chief Researcher of the Federal Research Center Nemchinovka: (143026 Moscow Region. Odintsovo District, Novoivanovskoye Village, Kalinina St. 1.), E-mail: [email protected] Voronov Sergey Ivanovich, Doctor of Biological Sciences, Professor, Director of the Federal Research Center Nemchinovka: (143026 Moscow Region. Odintsovo District, settlement Novoivanovskoye, Kalinin St., 1.), E-mail: [email protected]

Magomedova Jaminat Arsalievna, post-graduate student of the Department of Agriculture and Agro-chemistry, Federal state budgetary educational institution of higher education "Volgograd state agrarian University", (400002, southern Federal district, Volgograd region, Volgograd, Universitetskiy Ave., 26.), E-mail: [email protected]

Информация об авторах Плескачёв Юрий Николаевич, доктор сельскохозяйственных наук, профессор, руководитель Центра по земледелию, главный научный сотрудник федерального исследовательского центра Немчи-новка: (143026, Московская область, Одинцовский район, пос. Новоивановское, ул. Калинина, 1), E-mail: [email protected]

Воронов Сергей Иванович, доктор биологических наук, профессор, директор федерального исследовательского центра Немчиновка: (143026, Московская область, Одинцовский район, пос. Новоивановское, ул. Калинина, 1), E-mail: [email protected]

Магомедова Джаминат Арсалиевна, аспирант кафедры «Земледелие и агрохимия», федеральное государственное бюджетное образовательное учреждение высшего образования «Волгоградский государственный аграрный университет» (400002, Южный федеральный округ, Волгоградская обл., г. Волгоград, пр. Университетский, д. 26), E-mail: [email protected]

DOI: 10.32786/2071-9485-2020-03-14 MULTI-CLASS RECOGNITION OF AERIAL IMAGES OF AGRICULTURAL FIELDS

A. F. Rogachev1,2, E. V. Melikhova1

1 Volgograd State Agrarian University, Volgograd, Russia

2 Volgograd State Technical University, Volgograd, Russia

Received 10.06.2020 Submitted 25.08.2020

The article was prepared with the financial support of the RFBR under the project

№ 19-416-340014

Summary

The results of the review of the application of neural network technologies for pattern recognition in agricultural production are presented. Color images for recognition were obtained using spectral video cameras installed on unmanned aerial vehicles. The problem of multiclass neural network image recognition of ag-rophytocenoses was formulated. To implement multi-class image recognition in the monitoring process, an artificial neural network has been developed that provides. preprocessing of spectral images and subsequent neural network analysis using convolutional and fully connected layers.

Abstract

Introduction. The relevance of the study is due to the need for an operational analysis of the state of crops during the growing season on large areas. The results of the review of the use of neural network technologies for pattern recognition in agricultural production are presented. Materials and methods. Color images for recognition were obtained using spectral video cameras installed, for example, on unmanned aerial vehicles, which can also be used as aerial robotic systems that perform not only aerial photography, but also transport and technological operations, for example, local application of plant protection products. For training artificial neural networks built in Python, training and testing samples were formed with image markup in four classes. Results and Conclusions. The formulation of the problem of multiclass neural

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

network recognition of images of agrophytocenoses during the growing season is formulated. To implement multi-class image recognition from unmanned aerial vehicle in the monitoring process, an artificial neural network has been developed that provides. preprocessing of graphic spectral images and subsequent neural network analysis using convolutional and fully connected layers. The basic architecture of artificial neural networks included layers of batch normalization, convolutional layers (model.add (Conv2D (32, (3,3), padding = 'same', activation = 'relu')), interspersed with a layer of subsampling (model.add (Max-Pooling2D (poolsize = (2, 2)))), as well as regularization layers (dropout (0.25)). The output fully connected layer model.add (Dense (4, activation = 'softmax')) included four neurons according to the number of recognized classes. For the purpose of the applied use of the developed artificial neural network, a database and dataset were formed based on the obtained spectral images. Numerical experiments were performed using the developed artificial neural network of the basic architecture and its modernization. In the process of structural-parametric optimization of the artificial neural network, a number of macroparameters were corrected, in in particular, the size of the convolution kernel of the first layer. The main results obtained in the process of research include the developed artificial neural network, re the problem of mul-ticlass recognition of color images of agricultural fields in 4 classes. The resulting assessment of the recognized images of agricultural crops by remote sensing methods with the solution of the recognition problem by means of an artificial neural network of the combined architecture makes it possible to identify defects in the development of agricultural crops. Recognition results can be used in the construction of architecture and software implementation of ensembles of neural network models that allow identifying patterns in the development of crops. The results obtained can be used to build neural network hardware and software systems for operational monitoring and control of the productivity of agrophytocenoses.

Key words: crops, productivity, monitoring, artificial neural networks, artificial neural network architecture, multiclass image recognition, convolutional layers.

Citation. Rogachev A.F., Melikhova E.V. Multi-class recognition of aerial images of agricultural fields. Proc. of the Lower Volga Agro-University Comp. 2020. 3 (59). 142-152 (in Russian). DOI: 10.32786/2071-9485-2020-03-14.

Author's contribution. All of the authors of this study collected material, analyzed the data and wrote the paper.

Conflict of interests. The authors declarese no conflict of interest.

УДК 631.4:519.85:528.7

МУЛЬТИКЛАССОВОЕ РАСПОЗНАВАНИЕ АЭРОФОТОСНИМКОВ УЧАСТКОВ СЕЛЬСКОХОЗЯЙСТВЕННЫХ ПОЛЕЙ

А. Ф. Рогачев1'2, доктор технических наук, профессор Е. В. Мелихова1, кандидат технических наук, доцент

1Волгоградский государственный аграрный университет, Волгоград, Россия 2 Волгоградский государственный технический университет, Волгоград, Россия

Дата поступления в редакцию 10.06.2020 Дата принятия к печати 25.08.2020

Статья подготовлена при финансовой поддержке РФФИ и Администрации Волгоградской области по проекту № 19-416-340014.

Актуальность исследования обусловлена необходимостью оперативного анализа состояния посевов в процессе вегетации на значительных площадях. Приведены результаты проведенного обзора применения нейросетевых технологий для распознавания образов в аграрном производстве. Материалы и методы. Цветные изображения для распознавания были получены с помощью спектральных видеокамер, устанавливаемых, например, на беспилотных летательных аппаратах, которые также могут использоваться в качестве воздушных робототехнических комплексов, выполняющих не только аэрофотосъемку, но и транспортно-технологические операции, например, локальное внесение средств защиты растений. Для обучения построенных на

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

языке Python ИНС сформированы обучающая и тестирующая выборки с разметкой изображений по четырем классам. Результаты и выводы. Сформулирована постановка задачи муль-тиклассового нейросетевого распознавания изображений агрофитоценозов в процессе вегетации. Для реализации мультиклассового распознавания изображений от БПЛА в процессе мониторинга разработана искусственная нейронная сеть (ИНС), обеспечивающая. предобработку графических спектральных изображений и последующий нейросетевой анализ с помощью сверточных и полносвязных слоев. Базовая архитектура ИНС включала слои пакетной нормализации, сверточные слои (model.add(Conv2D(32, (3,3), padding='same', activation = 'relu')), чередующиеся со слоем подвыборки (model.add(MaxPooling2D(pool_size=(2, 2)))), а также слои регуляризации (dropout (0.25)). Выходной полносвязный слой model.add(Dense(4, activation = 'softmax')) включал четыре нейрона по числу распознаваемых классов. С целью прикладного использования разработанной ИНС сформированы база данных (БД) и датасет на основе полученных спектральных изображений. Выполнены численные эксперименты с использованием разработанной ИНС базовой архитектуры и проведена ее модернизация. В процессе структурно-параметрической оптимизации ИНС ряд макропараметров были скорректированы, в частности, размеры ядра свертки первого слоя. Основные полученные в процессе исследований результаты включают разработанную ИНС, решающую задачу мультиклассового распознавания цветных изображений сельскохозяйственных полей по 4 классам. Получаемая оценка распознанных изображений с.-х. посевов методами дистанционного зондирования с решением задачи распознавания посредством ИНС комбинированной архитектуры позволяет выявлять дефекты развития посевов с.-х. культур. Результаты распознавания могут использоваться при построении архитектуры и программной реализации ансамблей нейросетевых моделей, позволяющих выявлять закономерности развития посевов сельскохозяйственных культур. Полученные результаты могут использоваться для построения нейросетевых программно-аппаратных комплексов для оперативного мониторинга и управления продуктивностью агрофитоценозов.

Ключевые слова: посевы сельскохозяйственных культур, продуктивность сельскохозяйственных культур, мониторинг посевов, искусственные нейронные сети, ИНС, архитектура ИНС, мультиклассовое распознавание изображений, сверточные слои.

Цитирование: Рогачев А. Ф., Мелихова Е. В. Исследование развития и продуктивности сельскохозяйственных культур с применением беспилотных летательных аппаратов. Известия НВ АУК. 2020. 3(59). 142-152. DOI: 10.32786/2071-9485-2020-03-14.

Авторский вклад. Все авторы настоящего исследования принимали непосредственное участие в планировании, выполнении или анализе данного исследования. Все авторы настоящей статьи ознакомились и одобрили представленный окончательный вариант.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Введение. Проблема оперативного мониторинга и автоматизированного распознавания состояния агрофитоценозов с использованием аэрофотоснимков, получаемых с использованием беспилотных летательных аппаратов (БПЛА), может решаться посредством нейросетевых технологий, обеспечивающих обработку графической информации в режиме Он-лайн [5, 10, 9, 12, 13].

Возможности оперативного использования БПЛА в сельскохозяйственном производстве не ограничиваются мониторингом агрофитоценозов. Их также можно использовать для оценки объёма и качества выполнения технологических операций [2, 5], а также в качестве многофункциональных робототехнических комплексов, оснащенных тепловизорами, мультиспектральными и ИК-камерами для оценки и корректировки состояния мелиоративных объектов и ГТС.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Изучению применения БПЛА для получения спектральных изображений в сельскохозяйственном производстве посвящены работы отечественных исследователей Якушева В. П., Якушева В. В., Полуэктова Р. А., Михайленко И. М., Петрушина А. Ф. и зарубежных Kitonsa H., Kruglikov S. и др. [17]. В упомянутых исследованиях отмечается возможность оценки воздействия на продуктивность посевов агрометеорологических, почвенно-климатических и организационно-технологических совокупностей факторов, включая получаемые дистанционно т.н. вегетационные индексы (NDVI и аналогичные), формируемые с учетом различных спектров отражения [14, 17].

Следующей проблемой является необходимость содержательной интерпретации графической информации от видео- и радиометрических приемников, монтируемых на мобильных транспортно-технологических средствах [4, 7, 8]. Для решения этой задачи эффективным является использование искусственного интеллекта (ИИ) и построение ИНС [3, 6, 9, 23]. Такие исследователи, как Е. С. Борисов, А. В. Созыкин, J.-S.R. Jang, L.-X. Wang, J. M. Mendel, T. Takagi, M. Sugeno, R. Fuler, O. Nelles и др., показывают различные функциональные возможности применения ИНС, в т.ч. в аграрном производстве. Нейросетевые ИТ на основе мониторинга состояния полей за весь период вегетации позволяют выявлять скрытые закономерности влияния агротехнологических факторов [11], определяющих уровень урожайности культур и продуктивность земель, оптимизировать дозы внесения различных фито- и минеральных мелиорантов с учетом особенностей севооборотов для обеспечения получения устойчивых урожаев [14, 18, 21]. Для решения перечисленных задач необходимы надежные методы оперативного наблюдения и нейросетевого распознавания состояния с.-х. полей.

Материалы и методы. Проведенный аналитический обзор подходов и методов распознавания состояния посевов сельскохозяйственных культур выявил следующие методы искусственного интеллекта (ИИ / AI), применяемые для распознавания, систематизации и оценки состояния посевов сельскохозяйственных культур.

В качестве ключевых подходов были отобраны такие методы ИИ, как машинное обучение [19, 20], моделирование на основе глубоких искусственных нейронных сетей [4, 11, 20], а также способы распознавания образов классификации и изображений, использующие полносвязные и сверточные слои, а также архитектуру на базе их сочетания. Цветные изображения участков сельскохозяйственных полей были получены с помощью спектральных видеокамер высокого разрешения, например квадрокоптеров семейства DJI Phontom 4.

По цветным аэрофотоснимкам высокого разрешения 4К посевов можно классифицировать изображения посевов на четыре класса, обозначаемых на ЯВУ Python: Classes = ['засеянное поле (0)','поле со всходами (1)', 'прокультивированное поле (2)', 'прочие объекты (3)'].

Для формирования обучающего, проверочного и тестирующего массивов были использованы цветные изображения, получаемые с помощью видеокамер квадрокоптеров.

Графические материалы включали обучающие и тестирующие изображения определяемых классов:

/content/drive/My Drive/Base/fields_2020/5_apr_2020/test_img/ и

/content/drive/My Drive/Base/fields_2020/5_apr_2020/train_img/

Фрагмент кода формирования датасета из директории directory = '/content/drive/My Drive/Base/fields_2 02 0/5_apr_2 02 0/test _img/' с выводом имен, последовательно считываемых в цикле файлов для последующей разметки y_train, представлен на рисунке 1.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА: НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Предобработка полученных цветных изображений предусматривала их нормализацию по каждому из RGB-каналов.

# Создаем пустой список для хранений оригинльных изображений тестовой выборки imagesTest = []

# Указываем путь к тестовой выборке с оригинальными изображения directory = '/content/drive/му Drive/Base/fields_2020/5_apr_2020/test_img/'

# Проходим по всем файлам в каталоге по указанному пути for filename in os.listdir(directory):

print(filename)

и читаем очередную картинку и добавляем ее в список изображения с указанным target_size

imagesTest.append(img_to_array(load_img(os.path. join(directory,filename), target_size=(300, 300))).astype( 'uint8'))

13-1.png

19-3.png

20-3.png

21-2.png

22-2.png

01-0.png

02-0.png

03-0.png M 1 ana

Рисунок 1 - Фрагмент кода формирования датасета на языке Python

Figure 1 - Code Snippet for generating a dataset in Python

Фрагмент непосредственной разметки y_train по задаваемым экспертно номерам классов изображений.

y train = [3,3,3,3,3,1,0,0,1,1,1,1,1...

Рисунок 2 - Типовые изображения участков полей для обучения ANN Figure 2 - Typical images of field sections for ANN training

При парсинге размер изображений задавался 300x300 пикселей в 3 каналах цветов формата png. Для параметризации данных использовались макропараметры всех исследуемых архитектур.

Результаты и обсуждение. В процессе автоматизированного поиска релевантной информации для оценки состояния фитоагроценозов основной проблемой являлась компьютеризированная оценка принадлежности графических изображений к задаваемым классам. При этом формулируемая постановка может быть сведена к известной задаче мультиклассового распознавания классифицируемых изображений, исходной информацией для которой являются графические изображения, получаемые от мобильных спектральных камер.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Типовые изображения, получаемые с помощью спектральных видеокамер БПЛА, представлены на рисунке 2. Для решения задачи выявления состояния посевов, определяющих конечную продуктивность посевов сельскохозяйственных культур, была разработана комбинированная ИНС. Конфигурация слоев базовой ИНС на основе сочетания сверточных и полносвязных слоев, с общим числом слоёв - 14, обучаемых параметров - 43 000 000, необучаемых - 70, представлена в таблице 1.

Задача мультиклассового анализа состояния агрополей решалась в следующей постановке. Требуется определить принадлежность цветных изображений, получаемых посредством БПЛА и подаваемых на вход разработанной ИНС, к одному из заранее заданных классов: участки полей с программируемым развитием растений; участки с характерными дефектами (засорённость, неравномерные всходы, поражение болезнями и вредителями и др.). Сложность решения задачи мультиклассового распознавания в описанной постановке связана с необходимостью выбора метода предобработки исходных изображений, подаваемых на входные слои ИНС, подбора релевантной архитектуры, выбор гиперпараметров или диапазона их вариации для получения ансамбля ИНС, ориентированных на исследуемую предметную область.

Базовая архитектура ИНС включала слои пакетной нормализации, сверточные слои (model.add(Conv2D(32, (3,3), padding='same', activa-tion='relu')),

чередующиеся со слоем подвыборки вида

(model. add (MaxPooling2D (pool_size=(2, 2))) ), а также слои регуляризации (dropout (0.25)).

Выходной полносвязный слой

model.add(Dense(4, activation='softmax')) включал 4 нейрона по числу классов.

Таблица 1 - Структура и макропараметры базовой построенной ИНС

Table 1-Structure and macroparameters of the basic built ANN D

Layer (type) Output Shape Param #

batch_normalization_64 (Bate (None, 352, 489, 3) 12

conv2d_149 (Conv2D) (None, 352, 489, 32) 896

conv2d_141 (Conv2D) (None, 352, 489, 32) 9248

max_pooling2d_69 (MaxPooling (None, 176, 249, 32) 9

dropout_96 (Dropout) (None, 176, 249, 32) 9

batch_normalization_65 (Bate (None, 176, 249, 32) 128

COnv2d_142 (Conv2D) (None, 176, 249, 64) 18496

conv2d_143 (Conv2D) (None, 176, 249, 64) 36928

max_pooling2d_61 (MaxPooling (None, 88, 129, 64) 9

dropout_97 (Dropout) (None, 88, 129, 64) 9

flatten_36 (Flatten) (None, 675849) 9

dense_62 (Dense) (None, 64) 43253824

dropout_98 (Dropout) (None, 64) 9

dense_63 (Dense) (None, 3) 195

Ввиду ограниченного объема полученных баз данных изображений в процессе обучения ИНС можно использовать реализуемые на Python генераторы, позволяющие расширять dataseis, необходимые для обучения сетей.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА: НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Результаты обучения построенной комбинированной ИНС, ориентированной на сформулированную постановку задачи, приведены на рисунке 3. На рисунке 3 представлены диаграммы долей верных ответов в процессе обучения разработанной ИНС для базового а) и оптимизированного б) вариантов.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

10

0.8

0.6

0.4

0.2

0.0

- Доля верных ответов на обучающем наборе

- Доля верных ответов на проверочном наборе

10

20 30

Эпоха обучения

40

50

b

Рисунок 3 - Примеры диаграмм обучения комбинированной ИНС при распознавании состояния посевов

Figure 3 - Examples of charts, learning the ins combined with the recognition

of the status of crops

В процессе подбора макропараметров сети (рисунок 3б) было увеличено ядро свертки первого из сверточных слоев до размера до 7х7 пикселей, при этом размер ядер остальных слоев был оставлен 3х3. Количество эпох обучения ИНС также было увеличено до 140.

Ручное тестирование разработанной ИНС проводилось на изображениях, которые не использовались в процессе ее обучения. Типичные результаты тестирования обученной ИНС при использовании в качестве оптимизатора «Adam» с настройками по умолчанию и макропараметров погрешности:

loss = "categorical_crossentropy" представлены ниже.

a

C* oi

50

100 V г Ж ,

150

200

250

0 50 100 150 200 250 ВЫХОД сети: [0.06826358 0.05476724 0.09135429 0.7856149 ] Распознанный образ: 3 Верный ответ: [0. 0. 0. 1.] Распознанный образ на картинке: прочие объекты (3)

Рисунок 4 - Результаты распознавания тестового изображения класса «прочие объекты» Figure 4 - results of recognition of a test image of the "other objects" class»

148

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

ВЫХОД сети: [0.35674 0.13492498 0.20151609 0.306819 ] Распознанный образ: 0 Верный ответ: [1. 0. 0. 0.]

Распознанный образ на картинке: засеянное поле (0)

Рисунок 6 - Результаты распознавания тестового изображения класса «засеянное поле» Figure 6 - Results of recognition of a test image of the "seeded field" class»

Не всегда достаточно высокое качество распознавания (классификации), обеспечиваемое построенной ИНС, объясняется ограниченным размером обучающего датасе-та, требующего существенного увеличения. Численные эксперименты показали, что лучше распознавались изображения класса (1) - «поле со всходами»; хуже - (3) «прочие объекты», долю которых необходимо увеличить с целью повышения его сбалансированности структуры датасета.

Выводы. Построение и исследование ансамбля ИНС, ориентированных на решение сформулированной задачи исследования, позволило сформулировать следующие выводы:

• Разработана нейронная сеть, решающая задачу классификации цветных изображений сельскохозяйственных полей по 4 классам.

• Оценка состояния посевов методами дистанционного зондирования и глубокого машинного обучения с решением задачи мультиклассового распознавания с использованием ИНС комбинированной архитектуры позволяет выявлять дефекты развития посевов с.-х. культур.

• Полученные результаты могут быть использованы для построения ИНС и программной реализации ансамблей нейросетевых моделей, позволяющих выявлять закономерности развития посевов сельскохозяйственных культур.

Библиографический список

1. Башилов А. М., Королев В. А. Автономные беспилотные летательные аппараты в точных системах агропроизводства // Вестник аграрной науки Дона. 2018. Т. 3. № 43. С. 76-82.

2. Борисов Е. С. Рекуррентная сеть LSTM. 2017. URL http://mechanoid.kiev.ua/neural-net-lstm.html.

3. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс, 2018. 652 с.

4. Заводчиков Н. Д., Спешилова Н. В., Таспаев С. С. Использование нейросетевых технологий в прогнозировании эффективности производства зерна // Известия Оренбургского государственного аграрного университета. 2015. № 1 (51). С. 216-219.

5. Захарова Р. В., Гайнутдинов И. Г. Применение беспилотного летательного аппарата при десикации масличных культур // Вектор экономики. 2018. № 11 (29). С. 118.

6. Каширина И. Л., Демченко М. В. Исследование и сравнительный анализ методов оптимизации, используемых при обучении нейронных сетей // Вестник ВГУ. Сер.: Системный анализ и информационные технологии. 2018. № 4. С. 123-132.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

7. Михайленко И. М. Развитие методов и средств применения данных дистанционного зондирования земли в сельском хозяйстве // Тенденции развития науки и образования. 2018. № 41-3. С. 70-83.

8. Михайленко И. М. Управление агротехнологиями и роботизированные и роботизированные средства реализации // Инновации в сельском хозяйстве. 2019. № 1 (30). С. 242-258.

9. Николенко C., Кадурин А., Архангельская Е. Глубокое обучение. СПб.: Питер, 2018. 480 с.

10. Рогачев А. Ф. Мелихова Е. В., Белоусов И. С. Исследование развития и продуктивности сельскохозяйственных культур с применением беспилотных летательных аппаратов // Известия НВ АУК. 2020. № 3(59). С. 397-406. DOI: 10.32786/2071-9485-2019-04-49.

11. Савин И. Ю., Вернюк Ю. И., Фараслис И. Возможности использования беспилотных летательных аппаратов для оперативного мониторинга продуктивности почв // Бюллетень Почвенного института им. В. В. Докучаева. 2015. № 80. С. 95-105.

12. Сулейманов С. Р., Логинов Н. А. Перспектива использования дистанционного зондирования земли и БПЛА в сельском хозяйстве Татарстана // Вестник Казанского государственного аграрного университета. 2017. Т. 12. № 4 (46). С. 17-19.

13. Юн Г. Н., Мединский Д. В. Применение беспилотных летательных аппаратов в сельском хозяйстве // Наукоемш технологи. 2017. Т. 36. № 4. С. 35-41.

14. Estimation of condition of cultivated pastures under remote sensing of earth / Trukhachev V. I. [at all] // Engineering for Rural Development Proceedings. 2019. P. 442-449.

15. Jordan J. Intro to optimization in deep learning: Gradient Descent // Paperspace. Series: Optimization. 2018. URL: https://blog.paperspace.com/intro-to-optimization-in-deep-learning-gradient-descent/.

16. Kawaguchi K. Deep Learning without Poor Local Minima // Advances in Neural Information Processing Systems. 2016. URL: http://arxiv.org/abs/1605.07110.

17. Kitonsa H., Kruglikov S. V. (2018) Significance of drone technology for achievement of the united nations sustainable development goals // R-Economy. 2018. V. 4. № 3. P. 115-120.

18. Melikhova E. V., Rogachev A. F. Computer Simulation and Optimization of Parameters of Configuration of the Contour of Moistening Under Drip Irrigation of Agricultures // Studies in computational intelligence. 2019. V. 826. Pp. 1193-1201.

19. Rogachev A. F. Fuzzy Set Modeling of Regional Food Security. Perspectives on the Use of New Information and Communication Technology (ICT) in the Modern Economy. ISC 2017// Advances in Intelligent Systems and Computing. 2019. V. 726.

20. Rogachev A. F. Computer Modeling of the Development of Russian Small Towns on the Basis of Cognitive Maps. In: Russia and the european union: development and perspectives // Contributions to Economics. 2017. P. 113-118.

21. Schraudolph N. N., Yu J., Gunter S. A Stochastic Quasi-Newton Method for Online Convex Optimization. Statistical Machine Learning. 2017. URL: http://proceedings.mlr.press/v2/schraudolph07a/schraudolph07a.pdf.

22. The Marginal Value of Adaptive Gradient Methods in Machine Learning / A. Wilson, C. R. Roelofs, M. Stern, N. Srebro, B. Recht // Cornell University Library. 2017. URL: https://arxiv.org/abs/1705.08292.

23. Understanding deep learning requires rethinking generalization / C. Zhang, S. Bengio, M. Hardt, B. Recht, O. Vinyals // Cornell University Library. 2016. URL: https://arxiv.org/abs/1611.03530.

Conclusions. The construction and research of an ensemble of ANN, focused on solving the formulated research problem, allowed us to formulate the following conclusions:

• A neural network has been developed that solves the problem of classifying color images of agricultural fields into 4 classes.

• Assessment of the state of crops by remote sensing and deep machine learning methods with the solution of the problem of multiclass recognition, using the combined ANN architecture allows identifying defects in the development of agricultural crops.

• The results obtained can be used to build an ANN and program implementation of ensembles of neural network models that allow identifying patterns of crop development.

НИЖНЕВОЛЖСКОГО АГРОУНИВЕРСИТЕТСКОГО КОМПЛЕКСА НАУКА И ВЫСШЕЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Reference

1. Bashilov A. M., Korolev V. A. Avtonomnye bespilotnye letatel'nye apparaty v tochnyh sistemah agroproizvodstva // Vestnik agrarnoj nauki Dona. 2018. Vol. 3. № 43. P. 76-82.

2. Borisov E. S. Rekurrentnaya set' LSTM. 2017. URL http://mechanoid.kiev.ua/neural-net-lstm.html.

3. Gudfellou Ya., Bendzhio I., Kurvill' A. Glubokoe obuchenie. M.: DMK Press, 2018. 652 p.

4. Zavodchikov N. D., Speshilova N. V., Taspaev S. S. Ispol'zovanie nejrosetevyh tehnologij v prognozirovanii ]ffektivnosti proizvodstva zerna // Izvestiya Orenburgskogo gosudarstvennogo agrar-nogo universiteta. 2015. № 1 (51). P. 216-219.

5. Zaharova R. V., Gajnutdinov I. G. Primenenie bespilotnogo letatel'nogo apparata pri desi-kacii maslichnyh kul'tur // Vektor jekonomiki. 2018. № 11 (29). P. 118.

6. Kashirina I. L., Demchenko M. V. Issledovanie i sravnitel'nyj analiz metodov optimizacii, ispol'zuemyh pri obuchenii nejronnyh setej // Vestnik VGU. Ser.: Sistemnyj analiz i informacionnye tehnologii. 2018. № 4. P. 123-132.

7. Mihajlenko I. M. Razvitie metodov i sredstv primeneniya dannyh distancionnogo zondirovaniya zemli v sel'skom hozyajstve // Tendencii razvitiya nauki i obrazovaniya. 2018. № 41-3. P. 70-83.

8. Mihajlenko I. M. Upravlenie agrotehnologiyami i robotizirovannye i robotizirovannye sredstva realizacii // Innovacii v sel'skom hozyajstve. 2019. № 1 (30). P. 242-258.

9. Nikolenko C., Kadurin A., Arhangel'skaya E. Glubokoe obuchenie. SPb.: Piter, 2018. 480 p.

10. Rogachev A. F. Melihova E. V., Belousov I. S. Issledovanie razvitiya i produktivnosti sel'skohozyajstvennyh kul'tur s primeneniem bespilotnyh letatel'nyh apparatov // Izvestiya NV AUK. 2020. № 3(59). P. 397-406. DOI: 10.32786/2071-9485-2019-04-49.

11. Savin I. Yu., Vernyuk Yu. I., Faraslis I. Vozmozhnosti ispol'zovaniya bespilotnyh le-tatel'nyh apparatov dlya operativnogo monitoringa produktivnosti pochv // Byulleten' Pochvennogo instituta im. V. V. Dokuchaeva. 2015. № 80. P. 95-105.

12. Sulejmanov S. R., Loginov N. A. Perspektiva ispol'zovaniya distancionnogo zondirovaniya zemli i BPLA v sel'skom hozyajstve Tatarstana // Vestnik Kazanskogo gosudarstvennogo agrar-nogo universiteta. 2017. T. 12. № 4 (46). P. 17-19.

13. Yun G. N., Medinskij D. V. Primenenie bespilotnyh letatel'nyh apparatov v sel'skom ho-zyajstve // Naukoemni tehnologiï. 2017. T. 36. № 4. P. 35-41.