CC BY
28
УДК 528.87
М.Ю. Катаев, А.В. Кислов, Е.А. Самохин
Оценка состояния хвойных растений методами компьютерного зрения
Оценка экологии городской территории является сложным процессом, который связан с многочисленными пространственно-временными измерениями и определением разнообразных параметров почвы и воздуха. Однако такие измерения невозможно полностью назвать мониторинговыми, так как площадь даже среднего города достаточно большая и отследить можно только на регулярной основе лишь несколько точек. Нами предлагается подход, который является чувствительным к изменениям экологии воздуха и почвы и связан с изучением состояния хвойных растений. Хвойные растения круглый год являются зелеными, посажены во многих частях города и их RGB-изображения можно получать регулярно. Каждое изображение сегментируется с помощью индексов Greenness, и, проанализировав данные коэффициенты, можно оценить состояние растений. Состояние хвойного растения связано с изменением цвета (от зеленого к желтому). Описана программная система, использующая предложенные методы и алгоритмы. Приводятся результаты обработки реальных данных измерений, показывающих работоспособность предложенного подхода.
Ключевые слова: хвойное растение, программное обеспечение, кластеризация, вегетационный индекс, экология. doi: 10.21293/1818-0442-2020-23-1-70-75
Повышенная осведомленность людей (особенно экологов) об экологическом состоянии городской территории оказывает влияние на необходимость уделять этому аспекту больше внимания. Получение актуальной информации о степени загрязнения воздуха, почвы, городской экосистемы является существенной помощью для управления, а также процессов принятия решений.
Для контроля экологической ситуации территории городов применяются наземные измерительные системы и спутниковые многоспектральные изображения дистанционного зондирования. У каждого подхода есть свои преимущества и ограничения, которые определяют уровень современного исследования экологического состояния городской среды. Получаемая этими подходами информация обеспечивает представление об экологической ситуации в городе с определенным временным и пространственным разрешением.
Однако данные экологических служб не затрагивают всю городскую территорию и могут выступать лишь в качестве надежной информации по некоторым стационарным точкам. Спутниковая информация пока еще слабо используется для аналитических целей экологическими службами.
Одним из индикаторов качества экологического состояния является городская растительность. Изучая в видимом и ближнем инфракрасном диапазоне спектра изображения растительности, появляется возможность получать информацию о состоянии растительного покрова (в случае экологии - здоровое, больное). Получение изображений позволяет строить мониторинговые системы наблюдения за отдельными ареалами городской растительности практически во всех участках городской территории.
Надо отметить, что по изображению можно получить информацию о состоянии растения по всей его высоте, что позволяет оценивать не только изменение воздушной среды, когда нарушаются верхние
части растения, но и структуры почвы, которые отражаются на нижней части дерева (желтеют, нарушается структура кроны).
Для работы с изображениями применяются различные методы обработки и анализа, которые основаны на цветовых, текстурных или индексных характеристиках исследуемых объектов. Получение результатов обработки и анализа может быть автоматизировано, и любое отклонение от нормы может являться индикатором принятия того или иного решения. Естественно, что при этом возможна и визуальная интерпретация получаемых результатов. Автоматизация требует знания многих аспектов измерений, которые связаны с погодой, временем дня и года, сложностью сцены и типом цифровой камеры.
В данном исследовании предлагается на полученном изображении RGB выделить пиксели, которые связаны с хвойным растением, убрав пиксели фона (земля, небо, другие деревья и т.д.). Далее необходимо изучение состояния растительности с помощью индекса растительности. Данный индекс определяется из комбинации длин волн, связанных с RGB-каналами, и позволяет выделить растительность на изображении, а также оценивать ее состояние.
Далее задача связана с выделением зон изменения цвета пикселей от основного (выделение цветов пикселей, соответствующих хвойному растению, например, основная масса соответствует оттенкам зеленого - здоровое растение, возможны желтые и красноватые оттенки - больное растение). Эти изменения становятся индикаторами перемены экологического состояния. Кроме цветовых характеристик хвойных растений, экология влияет на плотность кроны дерева.
Таким образом, получая RGB-изображение дерева, например, один раз в день, и обрабатывая его, можно отслеживать изменения состояния хвойных растений, а значит, и экологическую ситуацию в данной части города.
Постановка задачи
Существующие методики дистанционного зондирования Земли позволяют измерять масштаб и биоразнообразие покрытых лесом территорий. Одним из подходов, на основе которого можно говорить о фенологических характеристиках леса, является вегетационный индекс NDVI (Normalized Difference Vegetation Index) [1], расчет которого проводится на основе красного спектрального канала и ближней ИК-области спектра. Чувствительность такого способа очень высока.
Однако результаты данного метода существенно зависят от наличия облачности в поле зрения спутникового прибора. Например, для территории Томской области безоблачных и частично облачных наблюдается всего около 100 дней, остальное же время связано с полным закрытием изучаемой области облаками [2]. Поэтому параллельно с методикой на основе NDVI развивается подход, в основе которого определяются характеристики зелени деревьев путем обработки RGB-изображений типовых цифровых камер (или веб-камер). Многоспектральные или гиперспектральные измерения являются чувствительными к индивидуальным особенностям отражения света от типов лесной растительности (лиственной и хвойной).
Цветные изображения RGB менее чувствительны к особенностям спектрального отражения света растениями, так как имеют достаточно широкие полосы спектральных каналов [3]. Это заставляет применять разнообразные методики из арсенала компьютерного зрения или выполнять разделение растительности вручную на изображениях RGB.
Нами предлагается подход, в основе которого лежит мониторинговое получение RGB-изображе-ний определенной территории, где присутствуют хвойные растения. Хвойные растения нами выбраны ввиду того, что они являются весь год зелеными и позволяют детектировать их возможные изменения в зависимости от экологических особенностей расположения. Хвойные деревья реагируют на изменение внешних условий изменением цвета хвои достаточно быстро (несколько дней или недель). Последний аспект является важным для получения достаточно простого подхода к оценке экологической составляющей исследуемой области городской территории.
Цифровая обработка изображений
Многие типы многоспектральных изображений дистанционного зондирования обычно записываются в цифровом виде ([HDF [https://www.hdfgroup.org], NetCDF https://www.unidata.ucar.edu/software/netcdi], GeoTiff [http://geotiff.maptools.org], Jpeg2 [https://jpeg.org/jpeg2000]), а затем обрабатываются компьютерами для получения синтезированных или индексных изображений. В простейшей форме для проведения цифровой обработки изображений предварительно используются методики, которые включают этапы атмосферной и радиометрической коррекции. Далее применяют методики, которые уже выполняют функции сложных, как правило, итера-
ционных манипуляций с данными для получения сегментированных изображений, после чего решается задача классификации. В этом направлении опубликован ряд книг по теме обработки и интерпретации цифровых изображений [4, 5].
В таблице приведены основные возможности и ограничения для RGB изображений при изучении растительности [6-9].
Возможности мониторинговых измерений с помощью ^ получения RGB-изображений
Характеристика Возможности Ограничения
Спектральные каналы Ультрафиолетовые (УФ), ^АВ}, Ближне-инфракрасные (БИК) и инфракрасные каналы (ИК) Сложность получения изображений разных спектральных областей в одном поле зрения
Спектральное разрешение Достаточно широкие спектральные G, В} каналы (30-50 нм) Существенное отличие каналов от типа цифровой камеры
Пространственное разрешение Существенно зависит от расстояния до объекта и числа пикселей изображения При удалении объекта от цифровой камеры действуют оптические эффекты (дисторсия [4, 5])
Временное разрешение Возможности получать изображение с высокой частотой (несколько кадров в секунду) Величина потока энергии, попадающей в объектив цифровой камеры, зависит от времени, что сказывается на качестве изображения. Необходимо применять особые методы обработки
Долгосрочный мониторинг Ежедневные измерения с необходимой периодичностью в течение светового дня Зависимость изображения объекта растительности от состояния погоды (дождь, туман, снегопад)
Любое изображение можно представить в виде двух областей, одну из которых занимает исследуемый объект, а другую фон, который необходимо выделить и удалить из изображения. Каждый пиксель изображения имеет числовое значение DN (Digital Numbers), которое представляет собой величину отражения или излучения от поверхности в различных участках спектра. Значение DN определяется спектральными свойствами отражения и поглощения каждого объекта на изображении, угловым положением Солнца, состоянием атмосферы и удаленности от цифровой камеры, а также спектральной чувствительностью каналов {R, G, B}.
Из таблицы можно увидеть, что использование RGB-изображений позволяет, с некоторыми ограничениями, использовать их для долговременных, мониторинговых измерений и получения необходимой информации после анализа результатов обработки.
Методы обработки изображений могут быть сгруппированы в три функциональные категории:
1. Предварительная обработка изображения, компенсирующая ошибки данных, шумы и геометрические искажения, возникающие во время записи изображения, а также занимающаяся исправлением изображения для атмосферного рассеяния.
2. Улучшение изображения путем использования методики «Серый мир», контрастного усиления, преобразования интенсивности, оттенка и насыщенности изображения.
3. Извлечение информации из изображения -кластеризация (сегментация), классификация, распознавание, обнаружение изменений и др. [6-12].
Предлагаемая методика
Использование вегетационного индекса NDVI для анализа состояний растений по спутниковым данным подразумевает, что для его расчета требуются спектральные каналы не только в видимой области, но и ближней инфракрасной области спектра. Однако цифровые спектральные камеры, которые реализуют такие измерения, являются достаточно дорогими, что затрудняет их широкое использование на практике. Нами предлагается использовать обычные цифровые RGB-камеры для получения изображений растительности, для которых разработаны индексы, являющиеся аналогом спутникового NDVI [13]. Одним из таких индексов является GCC (Green Chromatic Coordinate), который определяет числовое значение наличия зелени в данном пикселе. Существует несколько вариантов расчета этого индекса [14, 15]:
GCC1 = Green/Sum, (1)
GCC2 = 2-Red - (Blue+Green), (2)
GCC3=(Red-Blue)/(Red+Blue), (3)
GCC4 = (Blue + Green - Red)/Sum, (4) GCC5 = (2-Red - Blue)/(2-Red + Blue), (5) где Red, Green, Blue - каналы RGB-цифровой камеры (красный, зеленый и синий) и Sum = Green + + Blue + Red.
Опытным путем было установлено, что формула (5) наиболее чувствительна к наличию зелени растений на изображении, что позволяет с хорошей точностью выделить наличие растений на изображении. Надо заметить, что для другой цифровой камеры, где спектральные каналы RGB отличаются, наиболее чувствительной к зелени может быть другая формула. Перед тем, как выполнять расчет индексов GCC, нами выполнялась цветовая коррекция изображений по методике «Серый мир». Данный метод приводит к изменению цветового баланса каждого изображения относительно некоторого базового. Применение «Серого мира» помогает решить проблему разной освещенности в течение года, когда могут меняться погодные условия и угловое положение Солнца относительно горизонта. Методика заключается в последовательном применении формул:
Rs = XXRed(x, y), (6)
Gs = ££Green(x, y), (7)
Bs = XZBlue(x, y), (8)
AVG = (Rs + Gs + Bs)/3, (9)
Rn(x, y) = [Red(x, y)-AVG]/Rs, (10)
Gn(x, y) = [Green(x, y)-AVG]/Gs, (11) Bn(x, y) = [Blue(x, y)-AVG]/Bs, (12)
где (Rs, Gs, Bs) - средние значения красного, зеленого и синего каналов RGB-изображения, AVG -средний серый цвет и (Rn, Gn, Bn) - измененные изображения.
После выполнения коррекции рассчитывается индекс GCC и происходит отделение хвойных растений на изображении от фона (GCC > 0,3). Так как положение растения фиксировано относительно камеры, возможно построить маску зелени выделенного растения, а остальные пиксели изображения не использовать для обработки. Для того чтобы отличать поврежденные участки растения, площадь маски разбивается на 6 частей относительно центра масс изображения. Таким образом, получаются две части в нижней, средней и верхней части растения. Это позволяет выделить место на растении, которое подверглось тому или иному воздействию, в том числе и экологическому. Так происходит каждый день и результатом является кривая поведения состояния растения, которая соответствует фенологическому циклу растения.
Полученные результаты Для разработки программы работы с изображениями используется открытая библиотека алгоритмов компьютерного зрения OpenCV [16]. В основе этой библиотеки находятся разработки программного обеспечения Intel, и она содержит алгоритмы для: интерпретации изображений, калибровки камеры по эталону, устранения оптических искажений, определения сходства, анализа перемещения объекта, определения формы объекта и слежения за объектом, сегментации объекта и многие другие алгоритмы. Процесс получения изображения, его обработки и анализа можно представить в виде блок-схемы, представленной на рис. 1.
Получение изображения Выполнить коррекцию «Серый ынр>> Рассчитать Индекс осс
1
Разделить область растения на 6 частей
«- Выделить хвойное растение <- Выполнить выделение зелени
1
Рассчитать Занести Выполнить
средние значения в анализ
значения по 6 оазу данных изменения
частям значений ОСС
Рис. 1. Алгоритм получения и обработки изображения
На рис. 2 показана работа программы по обработке данных изображений системы измерений Phenocam (http://phenocam.sr.unh.edu) для станции,
расположенной в местности Oregon. Измерения RGB-изображений на этих станциях проводятся в течение всего года.
б
Рис. 2. Результат построения маски растений: а - исходное; б - преобразованное изображение
Величина GCC, отн. ед.
Номер месяца в году Рис. 3. Результат расчета суммарного GCC для шести частей выделенного хвойного растения за год
На рис. 2, а показано исходное изображение и на рис. 2, б - маска выделенной зелени (удален фон) и конкретное растение (белый пунктир). Для анализа из всех имеющихся изображений (348 за год) было выбрано 12, по одному из середины каждого месяца (15-е число). Для каждого из них был рассчитан индекс ОСС для каждой из шести частей изображения хвойного растения.
Результат расчетов приведен на рис. 3, где цифрами и стрелками указаны номера частей на растении. Нумерация начинается с верхней части растения и слева направо.
Естественно, для получения более точных результатов нужно обработать изображения за каждый день, но в данной статье нами показывается принципиальная возможность анализа состояния хвойных растений по RGB-изображению.
Заключение
При выполнении работы, приведенной в статье, были решены задачи выбора вегетационного индекса GCC, построенного на основе RGB-каналов изображения и являющегося аналогом вегетационного индекса NDVI, получаемым с помощью многоспектральных спутниковых измерений. Для расчетов использованы мониторинговые измерения RGB-изображений для стационарной станции (Oregon Phenocam), в поле зрения которой находились хвойные растения.
Далее на основе открытой библиотеки компьютерного зрения OpenCV разработана программа обработки изображений. Программа включает этапы выделения хвойного растения на изображении, разбиения его площади на 6 частей и оценки вегетационного индекса GCC для изображений, сделанных в разное время года. Полученные результаты показывают, что в течение года наблюдается изменение вегетационного индекса в соответствии с известными в литературе закономерностями [10]. В дальнейших исследованиях планируется обработать все изображения каждого дня года для здорового хвойного растения и больного растения, у которого наблюдается изменение цвета хвои.
Литература
1. Доклад об особенностях климата на территории Российской Федерации за 2016 г. - М.: Росгидромет, 2017. - 70 с.
2. Черепанов А.С. Спектральные свойства растительности и вегетационные индексы / А.С. Черепанов, Е.Г. Дружинина // Геоматика. - 2009. - № 3. - С. 28-32.
3. Балалаев А.К. Предварительные результаты применения метода цифровой обработки изображения для определения проективного покрытия растительности как основного индикатора состояния экосистем / А.К. Балалаев, О.А. Скрипник // Экология и природопользование. -2011. - № 14. - С. 114-123.
4. Методы компьютерной обработки изображений / под ред. В.А. Сойфера. - М.: Физмалит, 2001. - 784 с.
5. Желтов С.Ю. Обработка и анализ изображений в задачах машинного зрения / С.Ю. Желтов, Ю.В. Визильтер,
A.В. Бондаренко и др. - М.: Физматкнига, 2010. - 689 с.
6. Оптико-электронные системы экологического мониторинга природной среды / В.И. Козинцев и др. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 528 с.
7. Фомин В.В. Автоматизированная оценка состояния деревьев с использованием системы анализа изображений / В.В. Фомин, Д.С. Капралов, А.С. Попов,
B.И. Крюк // Лесной журнал. - 2008. - № 1. - C. 24-30.
8. Катаев М.Ю. Возможности космического мониторинга для целей сельского хозяйства Томской области / М.Ю. Катаев, А.А. Скугарев, И.Б. Сорокин // Доклады ТУСУР. - 2017. - Т. 20, № 3. - С. 186-190.
9. Барталев С.А. Спутниковое картографирование растительного покрова России по данным спектрорадио-метра MODIS / С.А. Барталев, В.А. Егоров, Д.В. Ершов,
A.С. Исаев, Е.А. Лупян // Современные проблемы дистанционного зондирования Земли из космоса. - 2011. - Т. 8, № 4. - С. 285-302.
10. Козодеров В.В. Методы оценки состояния поч-венно-растительного покрова по данным оптических систем дистанционного аэрокосмического зондирования /
B.В. Козодеров, Т.В. Кондранин. - М.: МФТИ, 2008. - 222 с.
11. Малышева Н.В. Автоматизированное дешифрирование аэрокосмических изображений лесных насаждений. - М.: Моск. гос. ун-т леса, 2012. - 154 с.
12. Кочубей С.М. Спектральные свойства растений как основа методов дистанционной диагностики /
C.М. Кочубей, Н.И. Кобец, Т.М. Шадшина. - Киев: Нау-кова думка, 1990. - 136 с.
13. Lebourgeois V. Can commercial digital cameras be used as multispectral sensors? A crop monitoring test / V. Lebourgeois, A. Begue, S. Labbe, B. Mallavan // Sensors. -2008. - No. 8. - P. 7300-7322.
14. Ide R. Use of digital cameras for phenological observations / R. Ide, H. Oguma // Ecol. Inform. - 2010. - No. 5. -P. 339-347.
15. Катаев М.Ю. Методы технического зрения для картирования состояния сельскохозяйственных полей / М.Ю. Катаев, К.С. Ёлгин, И.Б. Сорокин // Доклады ТУ-СУР. - 2018. - Т. 21, № 4. - С. 75-80.
16. Гарсия Г.Б. Обработка изображений с помощью OpenCV / Г.Б. Гарсия, О.Д. Суарес. - М.: ДМК-Пресс, 2016. - 210 с.
Катаев Михаил Юрьевич
Д-р техн. наук, профессор
каф. автоматизированных систем управления (АСУ) Томского государственного университета систем управления и радиоэлектроники (ТУСУР) 40, Ленина пр-т, г. Томск, Россия, 634050 Тел.: +7 (382-2) 70-15-36, +7-960-975-27-85 Эл. почта: kmy@asu.tusur.ru
Кислов Андрей Вячеславович
Студент каф. АСУ ТУСУРа
40, Ленина пр-т, г. Томск, Россия, 634050
Тел.: +7 (382-2) 70-15-36
Эл. почта: andrei.kisloff@yandex.ru
Самохин Егор Александрович
Студент каф. АСУ ТУСУРа
40, Ленина пр-т, г. Томск, Россия, 634050
Тел.: +7 (382-2) 70-15-36
Эл. почта: e.samokhin22@gmail.com
Kataev M.Yu., Kislov A.V., Samokhin E.A. Estimation of coniferous plants state using computer vision methods
Evaluating the ecology of an urban area is a complex process that is associated with numerous spatial-temporal measurements and the specifying of various parameters of soil and air.
However, such measurements does not represent a pure monitoring, since the area of the average city is quite large and only a few points can be tracked on a regular basis. The article proposes an approach that is sensitive to changes that can occur in the of air and soil ecology and is associated with the study of the conifers' state. Conifers are green all year round, planted in many parts of the city and their RGB images are available on a regular basis. Each image can be segmented using Greenness indexes and then the state of the plants estimated from the analysis. The condition of the coniferous plant is associated with a color change (from green to yellow). A software system using the proposed methods and algorithms is described. The processing results of real measurement data showing the operability of the proposed approach is presented. Keywords: coniferous plant, software, clustering, vegetation index, ecology.
doi: 10.21293/1818-0442-2020-23-1-70-75
References
1. Report on climate features in the Russian Federation for 2016. Moscow, Roshydromet, 2017, 70 p.
2. Cherepanov A.S., Druzhinina E.G. Spectral properties of vegetation and vegetation indices. Geomatics. 2009, no. 3, pp. 28-32.
3. Balalaev A.K., Skrypnik O.A. Preliminary results of applying the digital image processing method to determine the projective cover of vegetation as the main indicator of ecosystem status Ecology and nature management. 2011, no. 14, pp. 114-123
4. Methods of computer image processing. M., Fismalit, 2001, 784 p.
5. Zheltov S.Yu., Vizilter Yu.V., Bondarenko A.V. Image Processing and Analysis in Machine Vision Problems. M., Fizmatkniga, 2010, 689 p.
6. Kozintsev V.I. Optoelectronic systems for environmental monitoring of the environment. M., Publishing House of MSTU N.E. Bauman, 2002, 528 p.
7. Fomin V.V., Kapralov D.S., Popov A.S., Hook V.I. Automated assessment of the state of trees using an image analysis system. Forest Journal, 2008, no. 1, pp. 24-30.
8. Kataev M.Yu, Skugarev A.A., Sorokin I.B. Possibilities of space monitoring for agricultural purposes of the Tomsk region. TUSUR reports, 2017, vol. 20, no. 3, pp. 186-190.
9. Bartalev S.A., Egorov V.A., Ershov D.V., Isaev A.S., Lupyan E.A. Satellite mapping of the vegetation cover of Russia according to the MODIS spectroradiometer. Modern problems of remote sensing of the Earth from space. 2011, vol. 8, no. 4, pp. 285-302.
10. Kozoderov V.V., Kondranin T.V. Methods for assessing the state of land cover according to the data of optical systems for remote aerospace sounding. Moscow, MIPT, 2008, 222 p.
11. Malysheva N.V. Automated interpretation of aerospace images of forest stands. Moscow, Mosk. state University of Forests, 2012, 154 p.
12. Kochubey S.M., Kobets N.I., Shadshina T.M. Spectral properties of plants as the basis of remote diagnostic methods. Kiev: Naukova Dumka, 1990, 136 p.
13. Lebourgeois V., Begue A., Labbe S., Mallavan B. Can commercial digital cameras be used as multispectral sensors? A crop monitoring test. Sensors. 2008, no. 8, pp. 73007322.
14. Ide R., Oguma H. Use of digital cameras for pheno-logical observations. Ecol. Inform, 2010, no. 5, pp. 339-347.
15. Kataev M.Yu., Yolgin K.S., Sorokin I.B. Methods of technical vision for mapping the state of agricultural fields. TUSUR reports, vol. 21, no. 4, pp. 75-80.
16. Garcia G.B., Suarez O.D. Image processing using OpenCV. Moscow, DMK-Press, 2016, 210 p.
Mikhail Yu. Kataev
Doctor of Engineering Sciences, Professor,
Department of Automated Control Systems (ACS),
Tomsk State University of Control Systems
and Radioelectronics (TUSUR)
40, Lenin pr., Tomsk, Russia, 634050
Phone: +7 (382-2) 70-15-36, +7-960-975-27-85
Email: kmy@asu.tusur.ru
Andrey V. Kislov
Student, Department ACS TUSUR 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-36 Email: andrei.kisloff@yandex.ru
Egor A. Samokhin
Student, Department ACS TUSUR 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-36 Email: e.samokhin22@gmail.com
