Научная статья на тему 'Прогнозирование урожайности зеленых культур на основе мониторинга морфометрических параметров посредством машинного зрения и нейронных сетей'

Прогнозирование урожайности зеленых культур на основе мониторинга морфометрических параметров посредством машинного зрения и нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

0
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
техническое зрение / нейронные сети / прогнозирование урожайности / автоматизация производства / technical vision / neural networks / yield prediction / production automation

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — М. А. Астапова, М. Ю. Уздяев, В. М. Кондратьев

Средства искусственного интеллекта и технического зрения играют важную роль в автоматическом определении стадий роста растений. Исследование направлено на изучение современных технологий для автоматического анализа и измерения характеристик растений, таких как высота, площадь листьев и другие морфометрические параметры. В данной статье рассматривается применение машинного зрения и нейронных сетей для мониторинга морфометрических параметров и прогнозирования урожайности зеленых культур. Разработан алгоритм определения стадий роста салата, который осуществляет сбор данных о растениях с помощью мультиспектральной камеры, а затем анализирует полученную информацию с использованием нейронных сетей. Обучение классификации стадий роста выполнялось на подвыборке исходного датасета, состоящей из 273 случайно отобранных изображений с соблюдением баланса классов (91 изображение в каждом классе). Размер обучающей выборки для каждого класса – 45 изображений и размер тестовой выборки – 46 изображений для каждого класса. Классификация стадий роста показала высокие результаты: более 95 % верно распознанных экземпляров; более 93 % верных распознаваний отдельных стадий роста. По отдельным метрикам (Precision, Recall, F1-score) лучше всего себя показала архитектура ResNet34.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — М. А. Астапова, М. Ю. Уздяев, В. М. Кондратьев

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Prediction the yield of green crops based on monitoring morphometric parameters using machine vision and neural networks

Artificial intelligence (AI) and computer vision tools play an important role in automatically determining plant growth stages. The study aims to analyze modern technologies for automatic analysis and measurement of plant characteristics such as height, leaf area and other morphometric parameters. This article discusses the use of computer vision and neural networks for monitoring morphometric parameters and predicting the yield of green crops. An algorithm has been developed for determining the growth stage, which collects data about plants using a multispectral camera and then analyzes the obtained information using neural networks. Training for growth stage classification was performed on a subsample of the original dataset, consisting of 273 randomly selected images maintaining class balance (91 images in each class). The training sample size for each class is 45 images, and the test sample size is 46 images for each class. Classification of growth stage showed high results: more than 95% of correctly recognized specimens; more than 93% correct recognition of individual growth stages. In terms of individual metrics (Precision, Recall, F1-score), the ResNet34 architecture performed best.

Текст научной работы на тему «Прогнозирование урожайности зеленых культур на основе мониторинга морфометрических параметров посредством машинного зрения и нейронных сетей»

Известия Кабардино-Балкарского научного центра РАН Том 26 № 3 2024

СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ

УДК311.2; 004.932 Научная статья

DOI: 10.35330/1991-6639-2024-26-3-11-20 EDN: EOHSCH

Прогнозирование урожайности зеленых культур на основе мониторинга морфометрических параметров посредством машинного зрения и нейронных сетей

М. А. Астапова1, М. Ю. Уздяев1, В. М. Кондратьев2

1 Санкт-Петербургский Федеральный исследовательский центр Российской академии наук 199178, Россия, Санкт-Петербург, 14-я линия Васильевского острова, 39 2Санкт-Петербургский государственный аграрный университет 196601, Россия, Санкт-Петербург, Пушкин, Петербургское шоссе, 2

Аннотация. Средства искусственного интеллекта и технического зрения играют важную роль в автоматическом определении стадий роста растений. Исследование направлено на изучение современных технологий для автоматического анализа и измерения характеристик растений, таких как высота, площадь листьев и другие морфометрические параметры. В данной статье рассматривается применение машинного зрения и нейронных сетей для мониторинга морфометрических параметров и прогнозирования урожайности зеленых культур. Разработан алгоритм определения стадий роста салата, который осуществляет сбор данных о растениях с помощью мультиспектральной камеры, а затем анализирует полученную информацию с использованием нейронных сетей. Обучение классификации стадий роста выполнялось на подвыборке исходного датасета, состоящей из 273 случайно отобранных изображений с соблюдением баланса классов (91 изображение в каждом классе). Размер обучающей выборки для каждого класса -45 изображений и размер тестовой выборки - 46 изображений для каждого класса. Классификация стадий роста показала высокие результаты: более 95 % верно распознанных экземпляров; более 93 % верных распознаваний отдельных стадий роста. По отдельным метрикам (Precision, Recall, F1-score) лучше всего себя показала архитектура ResNet34.

Ключевые слова: техническое зрение, нейронные сети, прогнозирование урожайности, автоматизация производства

Поступила 02.05.2024, одобрена после рецензирования 06.05.2024, принята к публикации 15.05.2024

Для цитирования. Астапова М. А., Уздяев М. Ю., Кондратьев В. М. Прогнозирование урожайности зеленых культур на основе мониторинга морфометрических параметров посредством машинного зрения и нейронных сетей // Известия Кабардино-Балкарского научного центра РАН. 2024. Т. 26. № 3. С. 11-20. DOI: 10.35330/ 1991-6639-2024-26-3-11-20

MSC: 68T10; 68Т45 Original article

Prediction the yield of green crops based on monitoring morphometric parameters using machine vision and neural networks

M.A. Astapova1, M.Yu. Uzdiaev1, V.M. Kondratyev2

1 St. Petersburg Federal Research Center of the Russian Academy of Sciences 199178, Russia, St. Petersburg, 39, 14th line of Vasilyevsky island

2St. Petersburg State Agrarian University 196601, Russia, St. Petersburg, Pushkin, 2 Peterburgskoe highway

© Астапова М. А., Уздяев М. Ю., Кондратьев В. М., 2024

Abstract. Artificial intelligence (AI) and computer vision tools play an important role in automatically determining plant growth stages. The study aims to analyze modern technologies for automatic analysis and measurement of plant characteristics such as height, leaf area and other morphometric parameters. This article discusses the use of computer vision and neural networks for monitoring morphometric parameters and predicting the yield of green crops. An algorithm has been developed for determining the growth stage, which collects data about plants using a multispectral camera and then analyzes the obtained information using neural networks. Training for growth stage classification was performed on a subsample of the original dataset, consisting of 273 randomly selected images maintaining class balance (91 images in each class). The training sample size for each class is 45 images, and the test sample size is 46 images for each class. Classification of growth stage showed high results: more than 95% of correctly recognized specimens; more than 93% correct recognition of individual growth stages. In terms of individual metrics (Precision, Recall, Fl-score), the ResNet34 architecture performed best.

Keywords: technical vision, neural networks, yield prediction, production automation

Submitted 02.05.2024, approved after reviewing 06.05.2024, accepted for publication 15.05.2024

For citation. Astapova M.A., Uzdiaev M.Yu., Kondratyev V.M. Prediction the yield of green crops based on monitoring morphometric parameters using machine vision and neural networks. News of the Kabardino-Balkarian Scientific Center of RAS. 2024. Vol. 26. No. 3. Pp. 11-20. DOI: 10.35330/1991-6639-2024-26-3-11-20

Введение

Согласно экспертным оценкам, сельскохозяйственным организациям приходится принимать до 50 различных управленческих решений в ограниченные промежутки времени [1]. На сегодняшний день применение технического зрения и нейронных сетей для целей мониторинга состояния и аналитики растений находит широкое применение в современном сельском хозяйстве [2-4]. Совершенствование сельскохозяйственных культур часто ограничено скоростью получения больших объемов фенотипической информации. Поэтому все чаще требуется разработка методов высокопроизводительного фенотипирования сельскохозяйственных культур, особенно для сокращения ручного труда в различных условиях и лучшей характеристики фенотипов. Таким образом, подобные системы востребованы по причине повышения автоматизации производства. В последнее время основное внимание уделяется методам глубокого обучения для автоматического извлечения и использования ключевых функций из многочисленных изображений [5]. Создание таких алгоритмов и методов позволит определять стадии роста и параметрические характеристики растения. Показателями роста (морфометрические параметры) сельскохозяйственных и садовых культур являются высота, диаметр и площадь листьев, зеленая биомасса (сырой вес, сухой вес). Целью этой работы является создание алгоритма обработки мультиспектральных изображений для получения морфометрических параметров салата листового на основе технического зрения и нейронных сетей.

основная часть и сопутствующие работы

Салат является наиболее часто используемым листовым овощем, который широко выращивается во всем мире [6]. Как листовой овощ, имеющий большую экономическую ценность, салат можно собирать как на спелой, так и на ранней стадии роста [7]. Быстрый рост салата способствует получению листьев одинаковой формы, цвета и вкуса [8]. Таким образом, салат стал одним из основных видов овощей в растениеводстве из-за его короткого времени выращивания, одинаковой формы и спроса на рынке [9].

За последнее десятилетие сочетание изображений и методов машинного обучения для решения сельскохозяйственных проблем было одной из наиболее изученных областей циф-

рового сельского хозяйства [10]. Использование компьютерного зрения с методами глубокого обучения позволяет своевременно и правильно идентифицировать различные параметры салата: биомасса/сырой вес (fresh weight) [11, 12], высота салата [13], диаметр листьев [14], площадь листьев [15]. Прогнозирование урожайности салата также является важной задачей [16].

В статье [14] авторы разработали и оценили модель сверточной нейронной сети (CNN) с использованием изображений RGB и глубины для оценки свежего веса, сухого веса, высоты, диаметра и площади листьев салата, выращенного в тепличной гидропонной системе. Данные были собраны с помощью камеры Intel RealSense D415 (388 RGB-изображений). Разработанная модель имеет двухэтапную архитектуру CNN на основе слоев ResNet50V2. Модель обеспечивала коэффициенты определения от 0,88 до 0,95 с нормализованными среднеквадратичными ошибками 6,09; 6,30; 7,65; 7,92 и 5,62 % для свежего веса, сухого веса, высоты, диаметра и площади листьев соответственно на изображениях неизвестного салата-латука. Среднее время обработки каждого изображения салата с использованием разработанной модели CNN, запущенной на мини-ПК Jetson SUB, составило 0,83 с.

В статье [17] представлена оценка вегетативного роста растений салата-латука в аэро-понной камере, где параметры развития корней и листьев были измерены у трех культур салата с помощью изображений, полученных в видимом, ближнем инфракрасном и дальнем инфракрасном спектрах. Морфометрические и тепловые параметры корней салата-латука (периметр, площадь, длина и средняя температура) и листьев (периметр, площадь и средняя температура) оценивались для каждой культуры в течение десяти сеансов получения изображений с помощью внедренной системы мультиспектрального зрения. Средние значения морфомет-рических параметров корней и листьев, полученные с помощью системы визуализации в течение всего периода выращивания салата, были статистически проанализированы с помощью теста Тьюки. Полученные средние значения массы свежего листа составили 102,5; 185,5 и 184,3 г для урожая 1, 2 и 3 соответственно. Анализ значимой разницы полученной средней свежей массы трех культур был проведен с помощью теста Тьюки для p <0,05. Полученные результаты исследования позволяют предположить, что мультиспектральная обработка изображений является полезным неинвазивным инструментом для оценки параметров вегетативного роста корней и листьев аэропонных растений салата в теплице.

В статье [13] извлекается высота листьев салата из изображений RGB с использованием сетей распознавания изображений без калибровки камеры или эталонных объектов. Были выбраны четыре сети распознавания изображений с большими различиями в архитектуре, а именно MobileNetV1, DenseNet, ResNext и EfficientNet. На тестовом наборе, включающем 80 изображений высотой от 0,9 см до 7,5 см, авторы добились результата со средней абсолютной погрешностью 1,22 мм.

Авторы [18] предложили конвейер обработки изображений для оценки множества характеристик салата-латука (вес в свежем виде, сухой вес, высота растения, диаметр, площадь листьев). Авторы объединили DeepLabV3+ и MobileNetV2 для реализации высокоточной и быстрой сегментации салата-латука на сложных фонах и при освещении. Случайный лес (RF), частичная регрессия наименьших квадратов (PLSR) и метод опорных векторов были применены для прогнозирования множества признаков салата-латука и сравнивались для выбора оптимальной модели. Результаты показали, что DeepLabV3+ с Mobilenetv2 обладает наилучшей производительностью сегментации с точностью до пикселей 97,52 и 99,821 %, mIoU 88,661 и 98,517 %, а также скоростью сегментации 0,094 и 0,049 мс на изображение в двух наборах данных. PLSR показал самую высокую точность при прогнозировании веса в свежем виде, сухого веса, диаметра и площади листа, при этом R2 равны 0,898; 0,899; 0,931 и 0,904 соответственно. RF показал самую высокую точность прогнозирования высоты растений - R2, равный 0,858.

В исследовании [11] анализируется способность двух методов обработки изображений -морфологического анализа и анализа значений пикселей - измерять сырой вес салата, выращенного в закрытой гидропонной системе. Изображения 82 образцов салата были получены с помощью цифровой камеры. Изображения в градациях серого использовались для морфологического анализа участков листа с помощью программы La bVIEW. Для разработки модели калибровки, которая связывает количество пикселей в образцах салата с их фактическим свежим весом (измеренным без корней с использованием цифровых весов), были использованы методы простой линейной регрессии и полиномиальной регрессии для определения моделей, объясняющих отношения между количеством пикселей в изображении и фактическим весом свежего салата. Точность модели оценивали путем сравнения новых весов, определенных калибровочной моделью и цифровыми весами, по коэффициенту детерминации (R2), стандартной ошибке калибровки (SEC) и стандартной ошибке прогноза (SEP). Значения коэффициентов детерминации (>0,93) и стандартной ошибки прогнозирования (SEP) (<5 г), полученные двумя разработанными моделями, означают, что методы обработки изображений могут точно оценить сырой вес каждого растения салата на стадии его роста.

В исследовании [15] предлагалось отслеживать рост салата в теплицах с помощью покадровых изображений и глубокого обучения в режиме замедленной съемки сверху. Маска R-CNN была использована для автоматической сегментации области листьев салата-латука на изображении. Маска R-CNN состоит из базовой CNN, сети извлечения объектов, сети предложений по регионам (RPN), выравнивания по интересующей области (RoI), регрессии по ограничивающим рамкам, классификации объектов и прогнозирования по маске. ResNet-50 использовалась в качестве базового CNN. Авторы определяли скорость роста как площадь листьев салата в зависимости от времени. Экспериментальные результаты показали, что модель Mask R-CNN достигла точности 97,63 % при оценке площади листа.

Таким образом, достижения в области машинного зрения имеют большой потенциал для улучшения эффективности и устойчивости сельскохозяйственного производства. Несмотря на это, существует необходимость в разработке новых методов адаптации алгоритмов и сенсоров под различные условия и культуры, а также расширении наборов данных для обучения алгоритмов для достижения высокой точности и надежности систем машинного зрения. Кроме того, в приведенных работах рассматриваются способы оценки стадии созревания различных растений на оценке площади зеленой массы с последующим отображением полученных значений на соответствующие стадии роста. Первым важным недостатком такого подхода является необходимость дополнительно обосновывать отображения значений площади зеленой массы на определенную стадию роста салата. Кроме того, такой подход сопряжен с необходимостью трудоемкой разметки площадей зеленой массы на изображениях. Однако для оценки стадий роста салата в ходе мониторинга степени его созревания оказывается достаточной категориальная разметка изображений на отдельные стадии, выполненная экспертом-агрономом. Сами стадии роста салата являются устоявшимися категориями, которые имеют очерченные классификационные признаки. Категориальная разметка, помимо всего прочего, существенно ускоряет сам процесс разметки. В рамках данной работы выполняется сравнительное исследование распространенных нейросетевых алгоритмов классификации изображений стадий роста салата. При этом анализируются не только усредненные оценки эффективности классификации, как в большинстве представленных научных работ, но и более детальные оценки эффективности классификации для отдельных стадий роста, что позволяет определить, насколько равномерно алгоритмы способны распознавать рассматриваемые стадии роста.

Материалы и методы Сбор данных осуществлялся в лабораторных условиях. Выращенные растения салата помещались в определенном положении относительно стационарно установленной мультис-пектральной камеры. Съемка осуществлялась на протяжении 30 дней с периодичностью два дня. На рис. 1 показана часть набора данных, размер изображений 1280*720 пикселей. Набор данных содержит 1180 изображений в видимом и инфракрасном спектрах.

Рис. 1. Фрагмент набора данных Fig. 1. Dataset fragment

В рамках работы выполнялась категориальная разметка изображений, каждое из которых оценивалось на соответствие определенному классу стадии роста - всходы, рассада и первый настоящий лист; разметка выполнялась экспертом-агрономом на основании качественных визуальных признаков, характерных для каждой стадии роста. Полученный набор данных был разделен на обучающую и тестовую выборку. Процесс аннотации собранного набора данных был проведен в программе Labelme [19].

Выбор методов, технологий и инструментов искусственного интеллекта

Согласно проведенному обзору литературы для оценки классификации стадий роста салата были выбраны три распространенные нейросетевые архитектуры - VGG11 [20], ResNet34 [21], EfficientNetBO [22]. Данные архитектуры показали свою эффективность в смежных задачах, таких как обнаружение и классификация болезней листьев растений [23], классификация уровней спелости масличной пальмы [24] и классификация фруктов [25].

Для оценки качества классификации использовались следующие метрики:

accuracy

TP+TN

TP+TN+FP+FN

precision recall = Fl — score = 2

TP

TP+FP' TP

TP+FN

precision-recall precision+recalV

где TP - количество истинно положительных результатов, FP - количество ложноположи-тельных результатов, FN - количество ложноотрицательных результатов. Процедура анализа данных представлена на рис. 2.

Рис. 2. Общая процедура анализа данных Fig. 2. General data analysis procedure

Результаты

Обучение классификации стадий роста выполнялось на подвыборке исходного датасета, состоящей из 273 случайно отобранных изображений с соблюдением баланса классов (91 изображение в каждом классе). Размер обучающей выборки - для каждого класса 45 изображений. Размер тестовой выборки - 46 изображений для каждого класса. Результаты для каждого эксперимента усреднялись. Дополнительно были получены оценки эффективности распознавания для отдельных стадий роста, что позволяет оценить, насколько равномерно алгоритм способен распознавать различные стадии роста салата.

Результаты распознавания стадий роста и распознавания отдельных стадий (табл. 1 и 2).

Таблица 1. Усредненные результаты распознавания стадий роста Table 1. Average results of growth stages recognition

Модель VGG11 ResNet34 EfficientNetB0

Accuracy 0,949 0,956 0,949

Precision (avg) 0,952 0,960 0,949

Recall (avg) 0,949 0,957 0,95 i

Fl-score (avg) 0,950 0,957 0,950

Таблица 2. Результаты распознавания отдельных классов Table 2. Recognition results of individual classes

1-я стадия

Метрики Всходы

VGG ResNet EfficientNet

Precision 0,902 0,976 0,936

Recall 0,958 0,976 0,917

Fl-score 0,929 0,976 0,926

2-я стадия

Метрики П ервый настоящий лист

VGG ResNet EfficientNet

Precision 0,975 0,976 0,953

Recall 0,95l 0,976 1,00

Fl-score 0,963 0,976 0,976

3-я стадия

Метрики Стадия рассады

VGG ResNet EfficientNet

Precision 0,978 1,00 0,957

Recall 0,938 0,9l7 0,938

Fl-score 0,957 0,957 0,947

Классификация стадий роста показала высокие результаты - более 95 % верно распознанных экземпляров и более 93 % верных распознаваний при определении отдельных стадий роста, которое оценивает метрика Recall. По отдельным метрикам (Precision, Recall, Fl-score) лучше всего себя показала архитектура ResNet34 в усредненной оценке распознавания (табл. 1). При распознавании отдельных стадий роста, где в первую очередь необходимо смотреть на разброс оценок, лучше всего показала себя архитектура VGG (табл. 2).

Сегментация растений салата с использованием нормализованного вегетационного индекса NDVI в дальнейшем может позволить определять параметрические характеристики салата посевного (площадь, занимаемая растениями; высота растения; количество растений). На данном этапе был вычислен NDVI (рис. 3), однако для проверки эффективности и точности в задаче сегментации необходимо дополнительно разметить выборку.

Рис. 3. NDVI изображения салата Fig. 3. NDVI images of lettuce

Заключение

В данном исследовании алгоритм определения стадий роста растений, использующий мультиспектральную камеру и нейронные сети, был разработан и протестирован. Специфика мониторинга степени созревания салата, а также наличие четких классификацион-

ных признаков для определения конкретной стадии роста позволяют ограничиться решением задачи классификации, что существенно облегчает процесс подготовки данных. Полученные результаты классификации стадий роста показывают высокую общую (усредненную) точность - более 95 % правильно распознанных экземпляров и более 93 % точности при распознавании отдельных стадий роста. Последний результат свидетельствует не только о стабильно высоких результатах распознавания, но и об отсутствии существенных отклонений при классификации отдельных классов. Этот алгоритм может быть использован для мониторинга морфометрических характеристик растений и прогнозирования урожайности зеленых культур. Использование машинного зрения и нейронных сетей позволяет автоматизировать и упростить процесс анализа и измерения этих параметров, что может быть полезно для сельскохозяйственных предприятий и исследовательских учреждений.

REFERENCES

1. Щербина Т. А. Цифровая трансформация сельского хозяйства РФ: опыт и перспективы // Россия: тенденции и перспективы развития. 2019. № l4-l. С. 450-453. EDN: UGBYZT

Shcherbina T.A. Digital transformation of agriculture in the Russian Federation: experience and prospects. Rossiya: tendentsii i perspektivy razvitiya [Russia: trends and development prospects]. 20l9. No. l4-l. Pp. 450-453. EDN: UGBYZT. (In Russian)

2. Zhao C., Zhang Y., Du J. et al. Crop phenomics: current status and perspectives. Frontiers in Plant Science. 20l9. Vol. l0. P. 7l4. DOI: l0.3389/fpls.20l9.007l4

3. Shukla R., Dubey G., Malik P. et al. Detecting crop health using machine learning techniques in smart agriculture system. Journal of Scientific & Industrial Research. 202l. Vol. 80. No. 08. Pp. 699-706.

4. Varshney D., Babukhanwala B., Khan J. et al. Plant disease detection using machine learning techniques. 2022 3rd International Conference for Emerging Technology (INCET). IEEE, 2022. Pp. l-5.

5. Jiang Y., Li C. Convolutional neural networks for image-based high-throughput plant phenotyping: a review. Plant Phenomics. 2020. DOI: l0.34l33/2020/4l528l6

6. Adhikari N.D., Simko I., Mou B. Phenomic and physiological analysis of salinity effects on lettuce. Sensors. 20l9. Vol. l9. No. 2l. P. 48l4. DOI: 10.3390/s19214814

7. Simko I., Hayes R.J., Furbank R.T. Non-destructive phenotyping of lettuce plants in early stages of development with optical sensors. Frontiers in plant science. 2016. Vol. 7. P. 1985. DOI: l0.3389/fpls.20l6.0l985

8. Grahn C.M., Benedict C., Thornton T., Miles C. Production of baby-leaf salad greens in the spring and fall seasons of northwest Washington. HortScience. 2015. Vol. 50. No. 10. Pp. 1467-1471. DOI: 10.21273/HORTSCI.50.10.1467

9. Wen Y., Zha L., Liu W. Dynamic responses of ascorbate pool and metabolism in lettuce to light intensity at night time under continuous light provided by red and blue LEDs. Plants. 2021. Vol. 10. No. 2. P. 214. DOI: l0.3390/plantsl00202l4

10. Barbedo J.G.A. Detection of nutrition deficiencies in plants using proximal images and machine learning: A review. Computers and Electronics in Agriculture. 2019. Vol. 162. Pp. 482-492. DOI: I0.l0l6/j.compag.20l9.04.035

11. Jung D.H., Park S.H., Han X.Z., Kim H.J. Image processing methods for measurement of lettuce fresh weight. Journal of Biosystems Engineering. 2015. Vol. 40. No. 1. Pp. 89-93. DOI: 10.5307/JBE.2015.40.1.089

12. Lin Z., Fu R., Ren G. et al. Automatic monitoring of lettuce fresh weight by multi-modal fusion based deep learning. Frontiers in Plant Science. 2022. Vol. 13. P. 980581. DOI: 10.3389/ fpls.2022.980581

13. Wang M., Guo X. Extracting the height of lettuce by using neural networks of image recognition in deep learning. ESS Open Archive. 2022. DOI: 10.1002/essoar.10510405.1

14. Gang M.S., Kim H.J., Kim D.W. Estimation of greenhouse lettuce growth indices based on a two-stage CNN using RGB-D images. Sensors. 2022. Vol. 22. No. 15. P. 5499. DOI: 10.3390/s22155499

15. Lu J.Y., Chang C.L., Kuo Y.F. Monitoring growth rate of lettuce using deep convolutional neural networks. 2019 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers. 2019. P. 1. D0I:10.13031/aim.201900341

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

16. Mokhtar A., El-Ssawy W., He H. et al. Using machine learning models to predict hydroponically grown lettuce yield. Frontiers in Plant Science. 2022. Vol. 13. P. 706042. DOI: 10.3389/fpls.2022.706042

17. Martinez-Nolasco C., Padilla-Medina J.A., Nolasco J.J.M. et al. Non-Invasive monitoring of the thermal and morphometric characteristics of lettuce grown in an aeroponic system through multispectral image system. Applied Sciences. 2022. Vol. 12. No. 13. P. 6540. DOI: 10.3390/ app12136540

18. Zhang Y., Wu M., Li J. et al. Automatic non-destructive multiple lettuce traits prediction based on DeepLabV3+. Journal of Food Measurement and Characterization. 2023. Vol. 17. No. 1. Pp. 636-652. DOI: 10.1007/s11694-022-01660-3

19. Wada K. Labelme: Image polygonal annotation with Python. 2016. URL: https:// github.com/labelmeai/labelme

20. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. arXivpreprint arXiv:1409.1556. 2014. DOI: 10.48550/arXiv.1409.1556

21. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Pp. 770-778.

22. Tan M., Le Q. Efficient net: Rethinking model scaling for convolutional neural networks. International conference on machine learning, PMLR, 2019. Pp. 6105-6114.

23. Kumar V., Arora H., Sisodia J. Resnet-based approach for detection and classification of plant leaf diseases. 2020 International conference on electronics and sustainable communication systems (ICESC), IEEE, 2020. Pp. 495-502. DOI:10.1109/ICESC48915.2020.9155585

24. Elwirehardja G.N., Prayoga J.S. Oil palm fresh fruit bunch ripeness classification on mobile devices using deep learning approaches. Computers and Electronics in Agriculture. 2021. Vol. 188. P. 106359. DOI:10.1016/j.compag.2021.106359

25. Wang J., Zhang H., Zhou W. Apple automatic classification method based on improved VGG11. Third International Conference on Computer Vision and Pattern Analysis (ICCPA 2023). SPIE, 2023. Vol. 12754. Pp. 473-478.

Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.

Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.

Финансирование. Исследование проведено без спонсорской поддержки.

Funding. The study was performed without external funding.

Информация об авторах

Астапова Марина Алексеевна, мл. науч. сотр. лаборатории технологий больших данных социокиберфизических систем, Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН);

199178, Россия, Санкт-Петербург, 14-я линия Васильевского острова, 39; astapova.m@iias.spb.su, ORCID: https://orcid.org/0000-0002-9121-894X, SPIN-код: 3195-0770 Уздяев Михаил Юрьевич, мл. науч. сотр. лаборатории технологий больших данных социокиберфизических систем, Санкт-Петербургский федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН);

199178, Россия, Санкт-Петербург, 14-я линия Васильевского острова, 39; uzdyaev.m@iias.spb.su, ORCID: https://orcid.org/0000-0002-7032-0291, SPIN-код: 7398-2273 Кондратьев Виталий Михайлович, канд. с.-х. наук, доцент кафедры технологий хранения и переработки сельскохозяйственной продукции, Санкт-Петербургский государственный аграрный университет (СПбГАУ);

196601, Россия, Санкт-Петербург, Пушкин, Петербургское шоссе, 2; vitsevsk@mail.ru, ORCID: https://orcid.org/0000-0001-5822-4144, SPIN-код: 2148-2591

Information about the authors

Marina A. Astapova, Junior Researcher of the Laboratory of Big Data Technologies in Socio-Cyberphysical Systems, St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS); 199178, Russia, St. Petersburg, 39, 14th line of Vasilyevsky island;

astapova.m@iias.spb.su, ORCID: https://orcid.org/0000-0002-9121-894X, SPIN-code: 3195-0770 Mikhail Yu. Uzdiaev, Junior Researcher of the Laboratory of Big Data Technologies in Socio-Cyberphysical Systems, St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS); 199178, Russia, St. Petersburg, 39, 14th line of Vasilyevsky island;

uzdyaev.m@iias.spb.su, ORCID: https://orcid.org/0000-0002-7032-0291, SPIN-code: 7398-2273 Vitaly M. Kondratyev, Candidate of Agricultural Sciences, Assistant Professor of the Department of Technology of Storage and Processing of Agricultural Products, St. Petersburg State Agrarian University (SPbSAU);

196601, Russia, St. Petersburg, Pushkin, 2 Peterburgskoe highway;

vitsevsk@mail.ru, ORCID: https://orcid.org/0000-0001-5822-4144, SPIN-code: 2148-2591

i Надоели баннеры? Вы всегда можете отключить рекламу.