CC BY
46ТЕХНИЧЕСКИЕ НАУКИ
УДК 004.032.26:58
DOI 10.34822/1999-7604-2021 -2-6-16
ФЕНОТИПИРОВАНИЕ РАСТЕНИЙ АДАПТИВНОЙ СИСТЕМОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ НА БАЗЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ
М. Я. Брагинский Д. В. Тараканов
Сургутский государственный университет, Сургут, Россия в E-mail: mick17@mail.ru
Данная работа является продолжением исследований авторов в области проектирования систем автоматического фенотипирования растений. Интенсивное развитие цифровых технологий в агробизнесе позволяет снизить количество ошибок при визуальном анализе здоровья растений, повысить их урожайность и, как следствие, производительность труда специалистов. Построение автоматической системы фенотипирования требует анализа значительного объема цифровых изображений растений (более тысячи). Ключевым элементом автоматической системы фенотипирования является аппарат сверточных нейронных сетей, с помощью которого проводится анализ характеристик листьев растений во взаимосвязи с внешней средой, заболеваниями и морфологическими характеристиками. Анализ качества работы автоматической системы фенотипирования на базе сверточных нейронных сетей показал ее высокую эффективность при оценке заболеваний растений. В качестве компоненты адаптации системы управления в работе используется Е-сетевой граф, позволяющий формировать вектор управления системами технического зрения и выработки агрономических рекомендаций.
Ключевые слова: сверточные нейронные сети, сегментация изображения, классификация, фенотипирование растений, Е-сети.
PLANT PHENOTYPING BY AN ADAPTIVE IMAGE PROCESSING SYSTEM BASED ON CONVOLUTIONAL NEURAL NETWORKS
M. Ya. Braginsky D. V. Tarakanov
Surgut State University, Surgut, Russia B E-mail: mick17@mail.ru
The article continues the study devoted to the design of automatic plant phenotyping systems. This topic of scientific research is now widely developed. The intensive development of digital technologies in agribusiness can significantly increase labor productivity, reduce errors in the visual analysis of plant health, and as a result, increase productivity. It is commonly known that building an automatic plant phenotyping system requires mass analysis of a large number (about a thousand) of plants through digital image processing. As a key element of the automatic phenotyping system, the convolutional neural network apparatus is used. This apparatus analyzes the characteristics of plant leaves under the influence of the external environment for the presence of diseases and morphological features of the plant. The analysis of the quality of the automatic phenotyping system based on convo-lutional neural networks shows a high efficiency of plant disease assessment. As a component of the adaptation of the control system, we use the E-network graph, which allows forming a control vector for the technical vision system and the development of agronomic recommendations.
Keywords: convolutional neural networks, image segmentation, classification, plant pheno-typing, E-networks.
Введение
В настоящее время активно разрабатываются системы дистанционного контроля растений как в тепличных хозяйствах, так и в полевых условиях [1-3]. Использование автоматической системы фенотипирования позволяет оценить динамику роста растений, снизить количество ошибок при их визуальном осмотре, получить сведения о биомассе в сыром и сухом состояниях, повысить производительность труда специалистов. В работе рассмотрены вопросы проектирования автоматической системы фенотипирования листьев и стеблей растений для определения заболеваний, степени поражения растений засухой. Для решения поставленной задачи используется анализ формы и цветовых характеристик органов растений по цифровым фотографиям, полученным не только в видимом диапазоне волн, но и в инфракрасном диапазоне. По результатам анализа изображений адаптивная система обработки изображений растений формирует с использованием пакета прикладных программ Ма1ЬаЬ агротехнические мероприятия.
Адаптивная система оценки фенотипирования растений
На рис. 1 представлена концептуальная схема фенотипирования растений с возможностью адаптации конфигурации средств регистрации растений и процедур, выполняющих обработку изображений. Представленная система выполняет следующие задачи: оценку динамики роста растений в вегетационный период, объема биомассы растений, скорости транспирации; классифицирование заболеваний либо угнетенного состояния растений по цвету и форме листьев.
Регистрация изображения
Мультиспектраль ная камера
Сцена регистрируемого объекта
Средство Средство !
регистрации регистрации
изображения для изображения для
видимого ИК-волн
диапазона волн
Предварительная обработка изображения: повышение контраста, устранение помех, повышение четкости изображения, устранение смаза и расфокусировки изображения
Исходное задание на выполнение фенотипирование растений
! Система управления средствами ' | регистрации и ввода данных
М
Е-сетевая схема адаптации системы анализа цифровых изображений растений
У1©
Нейросетевая семантическая сегментация
Нейросетевая семантическая сегментация
и-^2
Нейросетевая классификация заболевания растений
Оценка динамики роста растений в вегетационный период. Объем биомассы
Скорость транспирации
-а
Результат классификации заболевания и угнетенного состояния растений по цвету и форме растений
Результат оценки состояния растений
База вегетативных параметров растений. База агротехнических рекомендаций
База изображений больных и угнетенных растений
У^) - агротехнические указания, полученные на основании текущего анализа состояния растений.
Рис. 1. Этапы оценки состояния растения с использованием сверточных нейронных сетей
Примечание: составлено авторами.
Для большинства практических случаев используются средства регистрации изображений в видимом диапазоне длин волн, но в ряде случаев для определения визуально слаборазличимых заболеваний необходимо использовать инфракрасные средства регистрации [1].
При регистрации изображений с помощью мобильных устройств возможен их смаз и расфокусировка, для устранения которых (а также для повышения контрастности) исходное цифровое изображение подвергается первичной обработке с подключением библиотеки реконструкции изображений и использованием методов решения обратных задач: фильтра Винера - Колмогорова, Люси - Ричардсона и т. д. [4]. После первичной обработки изображений растения данные поступают на вход нейронных сетей для решения задачи фенотипирования.
Задачу классификации заболеваний решает нейронная сеть SqueezeNet1 [5-6]. На первом этапе проектирования данная сеть была обучена для решения задач идентификации 12 типовых заболеваний. Нейросетевая семантическая сегментация осуществляется сетью
для оценки динамики роста растений в вегетационный период, определения площади растений и вычисления оценки объема биомассы. Нейронная сеть ^N^2 решает задачу оценки скорости транспирации на основании изображения, полученного камерой длинноволнового ИК-диапазона.
Результат оценки состояния растений поступает по каналу обратной связи в модуль адаптации Е-сетевой схемы [7-8] системы анализа цифровых изображений, которая формирует управляющий вектор на основании текущего состояния растений для выполнения агротехнических мероприятий либо, в случае необходимости, для подключения необходимых средств регистрации и/или методов фильтрации для решения задачи обработки конкретного изображения.
Схема адаптации построена с использованием математического аппарата расширенных сетей Петри - Е-сети [7-8]. Данный выбор обусловлен модельной мощностью формализма, возможной визуализацией структуры и поведения исследуемой системы [7]. Е-сетевой граф адаптивной системы представлен на рис. 2. Начальная фаза роста растения отмечена переходом который генерирует фишки, атрибутирующие информацию о виде растения, параметрах анализа его цифровых изображений. Переход ^ маршрутизирует поток фишек Е-сети для каждого исследуемого растения. Переход Т3 на основании результата анализа изображения заносит фишку в актуальную позицию S3 (соответствует здоровому состоянию), при наличии к-й патологии - в позицию Sk, затем Е-сеть генерирует сообщение с указанием агротехнических мероприятий. При необходимости получения дополнительной информации, определения водного состояния растений формируется команда на подключение мультиспектральной и/или ИК-камеры. Таким образом, фенотипирование отражено в позициях Е-сети, срабатывание переходов сети отражает этапы развития растений в заданные моменты времени.
Начальная Выбор Фаза роста 1 Финальная
Рис. 2. Е-сетевая адаптации системы анализа цифровых изображений растений
Примечание: составлено авторами.
Загрузка и обучение сверточной нейронной сети SqueezeNet
Целью обучения нейронной сети SqueezeNet является классификация по цвету и форме листьев растений. На начальном этапе проектирования системы нейронная сеть детектирует 13 состояний растений: здоровое растение (класс «Healthy») и болезни (бактериальная пятнистость - класс «Bacterial_spot»; черная корь - класс «Black_Measles»; ржавчина - класс «Common_mst»; альтернариоз - класс «Early_blight»; поражение грибом Isariopsis - класс «Isariopsis_Leaf_Spot»; фитофтороз - класс «Late_blight»; церкоспороз - класс «Leaf_Mold»; угловой ожог - класс «Leaf_scorch»; мучнистая роса - класс «Pow-dery_mildew»; септориоз -класс «Septoria_Leaf_Spot»; сосудистый бактериоз - класс «Black_rot»; вирус желтой курчавости - класс «Yellow_Leaf_Curl_Virus»).
Процедура загрузки, настойки и обучения данного вида сетей подробно представлена в работе [9]. Отметим основные этапы проектирования нейронной сети. На рис. 3 выделены слои SqueezeNet, подлежащие корректировке.
Рис. 3. Корректируемые слои CNN SqueezeNet
Примечание: составлено авторами.
Кроме того, необходимо произвести замену классификационного слоя. Смена параметров слоя свертки представлена на рис. 4.
Рис. 4. Изменение параметров слоя свертки
Примечание: составлено авторами.
Перед началом обучения нейронной сети необходимо указать, в какой директории хранятся изображения из обучающей выборки. В качестве параметров функции выступает переменная «path», хранящая путь к изображениям:
path = 'train';
imds = imageDatastore(path,'IncludeSubfolders',1,'LabelSource','foldernames');
Параметр «IncludeSubfolders» указывает, что в переданном пути хранятся папки с изображениями растений.
Последние два параметра - «LabelSource» и «foldemames» - означают, что имена классов изображений будут совпадать с именами папок. Результат выполнения функции записывается в переменную «imds».
На рис. 5, 6 показаны примеры обучающих изображений некоторых классов.
■ ■ ,
у' V ! !
' ' ¥ ■ 'J r
V
Рис. 5. Пример обучающего изображения листа здорового растения (томат, класс «Healthy»)
Примечание: скриншот авторов.
Рис. 6. Пример обучающего изображения листа растения, больного вирусом желтой курчавости (томат, класс «Yellow_Leaf_Curl_Virus»)
Примечание: скриншот авторов.
Далее с помощью функции «countEachLabel» осуществляется определение количества изображений, находящихся в каждой папке, а результат записывается в переменную «tbl»:
tbl = counffiachLabel(imds)
tbl =
13x2 table
Label
Eacterial_spot
Elack_Measles
Elack_rot
Commonrust
Early_blight
Healthy
Isariopsis_Leaf_Spot
Late_bliqht
Leaf_Mold
Leaf_3corch
Powdery_mildew
Septoria_leaf_spot
Yellow Leaf Curl Virus
Count
5453 1920 3875 1907 3859 11125 1722 3790 1882 1774 3419 1745 19 61
Для обеспечения равномерности обучения необходимо уравнять число изображений каждого класса. Для этого посредством функции «splitEachLabel» число изображений каждого класса ограничивается до наименьшего (в данном случае до 1 722):
>> imds - splitEachLabel(imds, 1722); >> countEachLabel(imds)
ans -
13*2 table
Label Count
Bacterial_spot 1722
Black_Measles 1722
Black_rot 1722
Common_rust 1722
Earlyblight 1722
Healthy 1722
Isariopsis_Leaf_Spot 1722
Late_blight 1722
Leaf_Mold 1722
Leaf_scorch 1722
Powdery_mildew 1722
Septorialeafspot 1722 Yellow Leaf Curl Virus 1722
На следующем этапе размер исходного изображения необходимо преобразовать M-функцией «readFunction» для входа в обучаемую нейронную сеть:
function I = readFunction(filename)
I = imread(filename);
I = imresize(I,[227 227]);
imds.ReadFcn = @readFunction;
Входные изображения преобразуются до допустимого размера, равного [227 х 227], с помощью встроенной в MatLab функции «imresize». На следующем шаге обучающая выборка изображений посредством функции «splitEachLabel» делится на тестовую и тренировочную:
countEachLabel(imds)
[trainingDS,testDS] = splitEachLabel(imds,1400,322,'randomize');
Тренировочная и тестовая выборки рекомендованы в соотношении примерно 4:1, соответственно, значения равны 1 400 и 322. Параметр «randomize» означает, что изображения распределяются случайным образом.
Обучение выполняется функцией «trainNetwork», в которую передается массив заданных параметров «opts», тренировочная выборка «trainingDS» и сеть «lgraph_1» с замененными слоями свертки и классификации:
net = trainNetwork(trainingDS, lgraph_1, opts).
Для обучения сети в переменную «opts» записывается массив «trainingOptions», в котором в качестве обучающего алгоритма используется «sgdm» (метод стохастического градиентного спуска), минимальный размер батча устанавливается равным 20 изображениям; максимальное количество эпох - 12; скорость обучения - 0,005 (рис. 7).
100 90 80 70
g 60 &
i 50 и а
< 40 30 20 10, о
-
р
/
/
/
1
1
1
1 1 10
2000 2500
Iteration
r-S) Final
2000 2500
Iteration
Рис. T. Результат обучение нейронной сети
Примечание: скриншот авторов.
Далее оценивается точность сети на тестовом множестве:
tic
[labels,err_test] = classify(net,testDS,'MiniBatchSize',20);
toc
Время оценки замеряется посредством встроенных в MatLab функций «tic» и «toc»:
Elapsed time is 160.992933 seconds.
ans = 0.9096
Согласно полученному результату оценка точности произведена примерно за 161 секунду и составила 90,96 %.
Тестирование обученной сети
На первом этапе производится классифицирование здорового растения. Для этого после загрузки изображение необходимо преобразовать к требуемому размеру:
>> I = imresize(I,[227 227]);
Классифицирование осуществляется функцией «classify», которая принимает в качестве аргументов имя сети и изображения. Результат классифицирования записывается в переменную «labels», а вероятность принадлежности изображения соответствующим классам -в переменную «err_test»:
>> [labels,err_test] = classify(net,I);
Фотография листа грейпфрута на рис. 8 взята из тестовой выборки.
Рис. 8. Классифицированное изображение здорового листа грейпфрута
Примечание: скриншот авторов.
Аналогичным образом проводится оценка больных растений. Растения на рис. 9, 10 взяты из тестовой выборки.
Рис. 9. Классифицированный больной фитофторозом лист томата
Примечание: скриншот авторов.
-Л Figure 1 — □ X
File Edit View insert lools Desktop Window Help
Black ot, 54.9%
»1 » • . 9
Рис. 10. Классифицированный больной сосудистым бактериозом лист томата
Примечание: скриншот авторов.
Все изображения тестовой выборки на рис. 9, 10 были классифицированы корректно. Стоит отметить невысокую вероятность принадлежности объекта на рис. 10 к классу болезней «сосудистый бактериоз» из-за значительной схожести данной патологии по визуальным проявлениям с «черной корью» (класс «В1аск_теа81е8»).
На рис. 11 представлен успешный результат обработки нейронной сетью изображения листа клубники, пораженного мучнистой росой.
Рис. 11. Классифицированное изображение листа клубники, пораженного мучнистой росой
Примечание: скриншот авторов.
Для оценки динамики роста растений в вегетационный период использована нейронная сеть И-Ые^ [10-11], выполняющая задачу нейросетевой семантической сегментации листьев и стволов растений. Визуализация результатов процедуры сегментации представлена на рис. 12.
plant
I
Рис. 12. Результат сегментации изображения нейронной сетью €-N^1
Примечание: скриншот авторов.
Как видно из рис. 12, результат сегментации изображения выполнен достаточно точно. После процедуры сегментации в вегетационный период осуществлена оценка площади листвы (рис. 13) для оценки динамики роста растения (рис. 14).
1 v r j ! 1 Г j Ч~ ь : \ • f У ' х i \ Îj f M Vf л Y* ~ i i f f ! 1 ! f .О:"'- v ' Vf) ' ■î i
img1 img2 1mg3 img4 img5 img6 img7 img8 iingS img10
КИЯ KM mm ИИ H Ш m ES БЖШ
ng11
Tig 12
ng13
Tig 14
ngT5
mg!7
mg19
I .tj 7- r'i
Рис. 13. Динамика роста растений на 20 изображениях
Примечание: скриншот авторов.
Рис. 14. График динамики роста растения в вегетационный период
Примечание: скриншот авторов.
Заключение
Представленная архитектура системы технического зрения для фенотипирования растений содержит компоненты предварительной обработки изображений, полученных с му-тиспектральных камер. Для фенотипирования растений по листьям и стеблям используются сверточные нейронные сети, которые показали высокую эффективность решаемых задач. Кроме того, в предлагаемой системе присутствует Е-сетевая компонента, учитывающая состояние и развитие растений, что позволяет сформировать агротехнические мероприятия, обеспечивающие высокую урожайность.
Литература
1. Афонников Д. А., Генаев М. А., Дорошков А. В., Комышев Е. Г., Пшеничникова Т. А. Методы высокопроизводительного фенотипирования растений для массовых селекционно-генетических экспериментов // Генетика. 2016. Т. 52, № 7. C. 788-803.
2. Ashok R., Uma S. K. Garden Environmental Monitoring & Automatic Control System Using Sensors // International Journal for Modern Trends in Science and Technology (IJMTST). 2016. Vol. 2, No. 5. Р. 141-144.
3. Faouzi D., Bibi-Triki N., Draoui B., Abene A. Greenhouse Environmental Control Using Optimized, Modeled and Simulated Fuzzy Logic Controller Technique in MATLAB SIMULINK // Computer Technology and Application. 2016. No. 7. Р. 273-286.
4. Запевалова Л. Ю., Запевалов А. В. Предварительная обработка цифровых изображений в системе управления вертикальной фермой // Вестник кибернетики. 2020. № 1. C. 77-84.
5. Setiawan W., Utoyo M. I., Rulaningtyas R. Reconfiguration Layers of Convolutional Neural Network for Fundus Patches Classification // Bulletin of Electrical Engineering and Informatics. 2021. No. 10 (1). Р. 383-389.
6. SqueezeNet-Residual by songhan. URL: http://songhan.github.io/SqueezeNet-Residual (дата обращения: 06.05.2021).
7. Брагинский М. Я., Тараканов Д. В. Концепция построения аналитико-имитационных моделей человеко-машинных систем управления с помощью Е-сетей // Вестник кибернетики. 2020. № 2. C. 50-57.
8. Gilbert D., Heiner M., Ghanbar L., Chodak J. Spatial Quorum Sensing Modelling using Coloured Hybrid Petri Nets and Simulative Model Checking // BMC Bioinformatics. 2019. No. 20 (4). P. 173.
9. Брагинский М. Я., Тараканов Д. В. Оценка состояния растений с использованием сверточных нейронных сетей // Вестник кибернетики. 2021. № 1. С. 41-50. DOI 10.34822/ 1999-7604-2021-1-41-50.
10. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. URL: https://arxiv.org/abs/1505.04597 (дата обращения: 06.05.2021).
11. Брагинский М. Я., Тараканов Д. В. Компьютерная обработка изображений в задаче выявления фитопатологии биологических культур // Интеграция науки, образования, общества, производства и экономики : сб. ст. по материалам междунар. науч.-практич. конф. Уфа, 2020. С. 29-35.
