CC BY
17УДК 004.93+581.2
DOI 10.34822/1999-7604-2019-3-26-34
КОМПЬЮТЕРНАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ В ЗАДАЧЕ ИДЕНТИФИКАЦИИ СОСТОЯНИЯ БИОЛОГИЧЕСКИХ КУЛЬТУР
Л. Ю. Запевалова, А. В. Запевалов, Д. В. Тараканов
Сургутский государственный университет, larzap@list.ru, zapev@mail.ru, sprtdv@mail.ru
В представленной работе рассматривается задача идентификации растений по визуальным признакам с использованием средств систем технического зрения. Задача решается в пространстве цветовых компонент модели RGB. Для повышения качества идентификации используются процедуры предварительной обработки изображения и морфологические операторы бинарного изображения. Результаты идентификации биологических объектов могут быть использованы в системах автоматического управления тепличным хозяйством.
Ключевые слова: распознавание зрительных образов, сегментация, фильтрация.
COMPUTER IMAGES PROCESSING IN STATE IDENTIFICATION OF BIOLOGICAL CULTURES
L. Yu. Zapevalova, A. V. Zapevalov, D. V. Tarakanov
Surgut State University, larzap@list.ru, zapev@mail.ru, sprtdv@mail.ru
The article discusses the problem of plants identification based on visual signs with the use of a computer vision system. The problem is solved in the space of colour components of the RGB model. The procedures of image preprocessing and morphological operators for binary images are used to improve the quality of identification. The results of the identification of biological objects could be used in automatic greenhouse systems.
Keywords: visual recognition, segmentation, filtering.
Введение. Распознавание изображений является важным в современном мире научным направлением, имеющим большое прикладное значение в различных областях деятельности. Одной из возможных прикладных областей является применение в автоматизированных аграрных фермах. На этих фермах часто применяются компьютерные системы анализа состояний растений (анализа прироста зеленой массы растений, отслеживания состояния здоровья растений и др.), использующие различные алгоритмы анализа изображений.
Существует насущная потребность в новых технологиях, которые отслеживают и прогнозируют воздействие абиотических (например, свет, температура) и биотических (например, вредители, болезни) стрессов на рост и продуктивность растений в больших масштабах. В большинстве случаев болезни видны на листьях или стеблях растения. Следовательно, идентификация растений, листьев, стеблей и выявление болезней, процентной доли заболеваемости и симптомов поражения болезнями играют ключевую роль в успешном выращивании сельскохозяйственных культур [1].
Внешние признаки болезни растений проявляются в виде сплошного или частичного изменения окраски различных органов, местного отмирания ткани (пятнистости), деформации (курчавость листьев), опухолей и наростов, разрушения мякоти, образования налетов и т. д. Авторами работы предлагается использовать многоуровневую систему идентификации состояния растительных культур, основанную на выявлении визуальных признаков фи-топатологий. Для решения задачи идентификации состояния растений предлагается использовать систему технического зрения [2-16].
Архитектура системы оценки состояния растений. Основные этапы идентификации состояния растений, блок-схема которой приведена на рис. 1, выполняются с использованием обработки изображений.
Электронная фотография
•
Получение изображения с web-камеры
Исходное изображение RGB J(:,:,:) в момент времени to
Первичная обработка (масштабирование, повышение контраста)
Сегментация на основе анализа цвета Jr, Jg, Jb (два метода)
Вторичная обработка (устранение шума)
Извлечение дескриптора (классификация в пространстве RGB)
XZ
Формирование результата идентификации состояния растений (локация ореола заболевания/здоровой составляющей,
_оценка биомассы)_
_л_
Рис. 1. Блок-схема идентификации состояния растений
Качество полученного изображения зависит как от параметров камеры, так и от внешних факторов (условия освещения, погодные условия, расстояние до интересующего биообъекта).
В данном исследовании цифровые изображения были получены с web-камеры «Logitech Webcam 250» в RGB-формате.
На этапе предварительной обработки изображения улучшается его качество (повышение контрастности, масштабирование, фильтрация) и повышается эффективность процедуры анализа состояние биологических объектов.
Искажения цифровых изображений могут иметь различную природу: перемещение объекта в процессе экспозиции или средства регистрации изображения, наличие взвеси в среде (в виде пыли, дыма, воды и проч.), расфокусировка. На рис. 2 представлена физическая схема регистрации изображения.
Рис. 2. Физическое представление регистрации изображения
Модель процесса искажения можно формализовать как действие оператора Н, выполняющего процедуру искажения исходного изображения /(х, у). Искаженное изображение в пространственной области определяется следующим выражением:
У) = нУ) х ДX У) + Кх, У) . (1)
При восстановлении изображения учитывается не только действие оператора Н, но и аддитивный шум к (х, у). Таким образом, задача восстановления изображения заключается в синтезе некоторого приближения ^(х у) исходного изображения / (х, у) по заданному искаженному изображению g (х, у) (рис. 3).
I (х, у)
Н к
Оператор ч
искажения А
изображения ~1
g(х, у)
Шх.у)
ФИЛЬТР ~ х, У)
Оператор Г
реконструкции изображения 1
Рис. 3. Модель преобразования изображения (искажения/восстановления)
После предварительной обработки применяется сегментация изображения с целью выделения частей с одинаковыми свойствами (яркость, цвет, форма). Основная цель сегментации состоит в том, чтобы упростить и изменить представление изображения на что-то более понятное и простое для анализа. В зависимости от решаемой задачи определяется степень детализации.
В большинстве случаев алгоритмы сегментации монохромных изображений основаны на одном из двух базовых свойств яркости изображения, таких как однородность и разрывность. Первая группа методов осуществляет разбиение изображений на однородные области, которые определяются заранее заданными критериями. Во втором случае подход состоит в разделении изображения на части, исходя из резких перепадов значений яркости, которые происходят, например, на границах объектов.
Для идентификации состояния растений в данной работе применяются два метода сегментации цветных изображений.
Суть первого метода состоит в том, чтобы классифицировать все пиксели RGB-изображения для дальнейшего определения принадлежности выделенному «среднему» цветовому классу. На основе некоторой меры сходства цветов изображения можно выполнить такое сопоставление. Для этого используется метрика в евклидовом пространстве, так как она может разделять объекты по цвету, что приводит к получению трех изображений [4-6, 15, 16]. Пусть z - произвольная точка RGB-пространства. Допустим, что z схожа по цвету с точкой m, если евклидово расстояние между ними не превышает заданной пороговой величины D0, то оно вычисляется по следующей формуле:
D(z,m) = \\z - m\\ = [(z - m)T(z - m)]1/2 = [(zR - mR)2 + (zG - mG)2 + (zB - ms)2]1/2,
где \\-\\ является нормой аргумента, а нижние индексы R, G и B обозначают RGB компоненты векторов z и m. Геометрическое местоположение точек, для которых D(z,m) < D0 является шаром радиуса D0, представлено на рис. 4. Исходя из определения, точки, лежащие внутри шара или на его сферической поверхности, удовлетворяют заданному цветовому критерию, а точки, лежащие вне этого шара и его граничной сферы - не удовлетворяют. Присвоив двум множествам изображения различные значения, например, 1 (белое) и 0 (черное), в результате такой сегментации получим двоичное изображение.
Рис. 4. Подход к окружению данных в векторном RGB-пространстве
Данный метод заключается в выборе пикселей с интересующим цветом для определения средних значений пикселей интенсивности и среднеквадратических отклонений каждой из цветовых компонент с помощью стандартных библиотечных функций MatLab.
Так как сегментация изображения - это процесс отделения полезной информации от фона на основе некоторых функций, то цвет будет являться одной из наиболее широко используемых визуальных функций для сегментации.
Для решения задачи идентификации состояния растения необходимо каждый пиксель цветовой составляющей сравнить со средним значением, и эта разница не должна превышать
значения рассчитанной ошибки. Пиксель, уровень оттенка которого меньше или превышает пороговое значение, будет назначен фону (0), в противном случае - переднему плану (1). Результирующее изображение называется двоичным изображением.
Результатом данных методов являются сгруппированные в области пиксели, имеющие общие характеристики: текстуру, цвет или интенсивность.
Сегментация изображения генерирует набор сегментов, определяя их местоположение. В зависимости от того, как расположены эти объекты - внутри области или вдоль границы, можно получить компактное представление данных для дальнейшего процесса идентификации состояния растений. Полученные данные необходимы для оценки интересующей области, например, площади здоровой или зараженной части растения.
Полученное изображение после сегментации подвергается фильтрации, чтобы избежать выделения посторонних объектов с идентичной интенсивностью пикселей. Некоторые сегментированные изображения могут содержать шум, например, зеленый фоновый материал, такой как мох (водоросли), и могут быть сегментированы с растением. Постобработка изображения имеет дело с такими исключительными случаями, позволяя определить необходимую область. Однако, чтобы точно устранить объекты со схожей интенсивностью пикселя, сегментации на основе анализа цвета не достаточно, необходимо учитывать и другие факторы, например, текстуру или форму объекта. Поэтому необходима процедура фильтрации бинарного изображения. Для этого воспользуемся морфологической процедурой эрозии [15-16]. Процедура эрозии устраняет шум, вызванный ошибкой сегментации. Эрозия - один из двух основных операторов в области математической морфологии. Данная операция над бинарным изображением заменяет граничные пиксели объекта на 0 (используется оператор поиска локального минимума). Результат эрозии схематично представлен на рис. 5, где шаблон центра, выделенный красным цветом, является ведущим элементом и соединяется с текущим пикселем при вычислении свертки, а серым цветом залиты пиксели, которые станут черными после морфологического преобразования.
Рис. 5. Результат эрозии
После завершения этапа вторичной обработки, можно приступить к извлечению дескрипторов интересующей части изображения. Получив изображение после фильтрации необходимо выделить интересующий объект (здоровую составляющую растений либо больную часть, если таковая имеется). Метод выделения состоит из нескольких этапов:
1. Детектирование объектов (используется для построения границ обнаруженных объектов).
2. Заполнение промежутков (применяется для точного описания области интереса).
3. Дилатация объекта - один из двух основных операторов в области математической морфологии [15-16]. Данная операция над бинарным изображением заменяет граничащие
пиксели фона с объектом на 1 (используется оператор поиска локального максимума). Результат дилатации схематично представлен на рис. 6, где шаблон центра, выделенный красным цветом, является ведущим элементом и соединяется с текущим пикселем при вычислении свертки, а серым цветом залиты пиксели, которые станут белыми после морфологического преобразования. Данная операция применяется для увеличения границ областей пикселей переднего плана.
Рис. 6. Результат дилатации
4. Заполнение внутренних промежутков (используется для заливки области интереса).
5. Сглаживание объекта (применяется для того, чтобы обработка имела естественный вид).
В результате вышеперечисленной обработки получим изображение с выделенными контурами болезней листьев растений или здоровой составляющей в виде маркеров.
Для детектирования больных и здоровых растений используется пороговая сегментация в пространстве RGB (рис. 7).
Рис. 7. Представление здорового и больного состояния растений в пространстве RGB
Результаты идентификации состояния растения. Процесс идентификации состояния растения по цветным фотографиям методами сегментации производится в среде моделирования MatLab R2015b.
Первое тестовое изображение представлено на рис. 8. Конечным результатом обработки изображения является выделение области интереса (растений) (рис. 9).
Рис. 8. Исходная фотография группы растений
Рис. 9. Результат детектирования растений
Второе тестовое изображение представлено на рис. 10. На данном изображении присутствует повреждение листьев. Результат детектирования больного фрагмента биообъекта представлен на рис. 11.
Рис. 10. Исходная фотография растения с повреждением листьев
Рис. 11. Результат детектирования заболевания растения
Заключение. Представленный метод детектирования состояния растений позволяет как формировать признаки здорового, так и фиксировать заболевания биологических культур. В качестве базовых дескрипторов использовались компоненты векторного пространства RGB. Результатом работы программы являются контуры растений, выделенные маркерами на цветных изображениях. Для проверки корректности работы программы было проведено тестирование, которое заключалось в использовании двух методов сегментации в векторном пространстве RGB. Второй метод показал меньшее количество ложных объектов. Для повышения помехоустойчивости в дальнейшем предлагается использовать текстуру и ряд дескрипторов, описывающих форму растений.
Литература
1. Руткин Н. М., Лагуткина Л. Ю., Лагуткин О. Ю. Урбанизированное агропроизвод-ство (сити-фермерство) как перспективное направление развития мирового агропроизводства и способ повышения продовольственной безопасности // Вестн. АГТУ. Серия: Рыбное хозяйство. 2017. № 4. URL: https://cyberleninka.ru (дата обращения: 10.12.2018).
2. Albadarneh A. Automated Flower Species Detection and Recognition from Digital Images // IJCSNS International Journal of Computer Science and Network Security. 2017. Vol. 17, No. 4. P. 144-151.
3. Amanatidis D. Image Contour Segmentation in Hardware // Radio Electronics, Computer Science, Control. 2015. No. 4. P. 66-71.
4. Ashwini R. Classification of Flower Images using Clustering Algorithms // IJCTA International Journal of Computer Technology and Applications. 2015. No. 8 (3). P. 1025-1032.
5. Elangovan K. Plant Disease Classification Using Image Segmentation and SVM Techniques // International Journal of Computational Intelligence Research. 2017. Vol. 13, No. 7. P.1821-1828.
6. Hagara M., Kubinec P. About Edge Detection in Digital Images // Radioengineering. 2018. Vol. 27, No. 4. P. 919-929.
7. Jeon H. Y., Tian L. F., Zhul H. Robust Crop and Weed Segmentation under Uncontrolled Outdoor Illumination // Sensors (Basel). 2011. No. 11 (6). P. 6270-6283.
8. Mainkar P. M., Ghorpade S., Adawadkar M. Plant Leaf Disease Detection and Classification Using Image Processing Techniques // International Journal of Innovative and Emerging Research in Engineering. 2015. Vol. 2, No. 4. P. 139-144.
9. Masood R., Khan S. A., Khan M. N. A. Plants Disease Segmentation using Image Processing // I. J. Modern Education and Computer Science. 2016. No. 1. P. 24-32.
10. Myasnikov E. V. Hyperspectral Image Segmentation Using Dimensionality Reduction And Classical Segmentation Approaches // Computer Optics. 2017. No. 41 (4). P. 564-572.
11. Oo Y. M., Htun N. C. Plant Leaf Disease Detection and Classification using Image Processing // International Journal of Research and Engineering. 2018. Vol. 5, No. 9. P. 516-523.
12. Oppenheim D., Edan Y., Shani G. Detecting Tomato Flowers in Greenhouses Using Computer Vision // International Journal of Computer and Information Engineering. 2017. Vol. 11, No. 1. P. 104-109.
13. Singh V., Misra A. K. Detection of Plant Leaf Diseases Using Image Segmentation and Soft Computing Techniques // Information Processing in Agriculture. 2016. No. 4 (1). P. 41-49.
14. Swathi R., Mahalakshmi T., Srinivas A. Vision Based Plant Leaf Disease Detection on The Color Segmentation through Fire Bird V Robot // GRD Journals - Global Research and Development Journal for Engineering. 2016. Vol. 1, No. 4. P. 75-79.
15. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М. : Техносфера, 2005. 1072 с.
16. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде Matlab. М. : Техносфера, 2006. 618 с.
