Научная статья на тему 'АНАЛИЗ МЕТОДОВ ЦВЕТОВОЙ КАЛИБРОВКИ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЦВЕТОВЫХ ПРОСТРАНСТВ RGB И HSV В ЗАДАЧАХ ИНТЕЛЛЕКТУАЛЬНОГО МАШИННОГО ЗРЕНИЯ (НА ПРИМЕРЕ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ В УСЛОВИЯХ ПРОМЫШЛЕННЫХ ТЕПЛИЦ)'

АНАЛИЗ МЕТОДОВ ЦВЕТОВОЙ КАЛИБРОВКИ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЦВЕТОВЫХ ПРОСТРАНСТВ RGB И HSV В ЗАДАЧАХ ИНТЕЛЛЕКТУАЛЬНОГО МАШИННОГО ЗРЕНИЯ (НА ПРИМЕРЕ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ В УСЛОВИЯХ ПРОМЫШЛЕННЫХ ТЕПЛИЦ) Текст научной статьи по специальности «Математика»

CC BY
156
26
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЦВЕТОВАЯ КОРРЕКЦИЯ ИЗОБРАЖЕНИЙ / МАШИННОЕ ЗРЕНИЕ / ПРОМЫШЛЕННЫЕ ТЕПЛИЦЫ

Аннотация научной статьи по математике, автор научной работы — Кулакова Анна Дмитриевна, Галкин Всеволод Александрович, Макаренко Андрей Викторович

Проанализирована проблема цветового искажения изображений, формируемых системами машинного зрения в условиях промышленных теплиц. Рассмотрены методы цветовой калибровки изображений, применяемые для коррекции подобных искажений. Проведён анализ особенностей цветового пространства HSV. Составлена математическая модель в пространстве RGB и две модели в пространстве HSV, использующиеся для решения задачи цветокоррекции. Проведен сравнительный анализ качества представленных алгоритмов. Функционирование алгоритмов продемонстрировано на задаче коррекции цветовых искажений изображений томатов, выращиваемых в условиях промышленных теплиц, при искусственном и естественном освещении.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Кулакова Анна Дмитриевна, Галкин Всеволод Александрович, Макаренко Андрей Викторович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

METHOARIAL; ANALYSIS OF METHODS OF COLOUR CALIBRATION OF IMAGES USING RGB ANG HSV COLOUR SPACES IN TASKS OF INTELLIGENT COMPUTER VISION (FOR EXAMPLE, IMAGES OB-TAINED IN INDUSTRIAL GREENHOUSES

The article analyses the problem of colour distortion of images generated by computer vision systems in industrial greenhouses. Methods of colour calibration of images used to correct such distortions are considered. The analysis of the features of the HSV colour space is carried out. A mathematical model in RGB space and two models in HSV space used to solve the colour correction problem have been compiled. A comparative analysis of the quality of the presented algorithms is carried out. The functioning of the algorithms is demonstrated on the task of correcting colour distortions in images of tomatoes grown in industrial greenhouses, under artificial and natural lighting.

Текст научной работы на тему «АНАЛИЗ МЕТОДОВ ЦВЕТОВОЙ КАЛИБРОВКИ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЦВЕТОВЫХ ПРОСТРАНСТВ RGB И HSV В ЗАДАЧАХ ИНТЕЛЛЕКТУАЛЬНОГО МАШИННОГО ЗРЕНИЯ (НА ПРИМЕРЕ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ В УСЛОВИЯХ ПРОМЫШЛЕННЫХ ТЕПЛИЦ)»

АНАЛИЗ МЕТОДОВ ЦВЕТОВОЙ КАЛИБРОВКИ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЦВЕТОВЫХ ПРОСТРАНСТВ RGB И HSV В ЗАДАЧАХ ИНТЕЛЛЕКТУАЛЬНОГО МАШИННОГО ЗРЕНИЯ (НА ПРИМЕРЕ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ В УСЛОВИЯХ ПРОМЫШЛЕННЫХ ТЕПЛИЦ)

Кулакова А. Д.1

(Московский авиационный институт, Москва, ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва) Галкин В.А.2 Макаренко А.В.3

(ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)

Проанализирована проблема цветового искажения изображений, формируемых системами машинного зрения в условиях промышленных теплиц. Рассмотрены методы цветовой калибровки изображений, применяемые для коррекции подобных искажений. Проведён анализ особенностей цветового пространства HSV. Составлена математическая модель в пространстве RGB и две модели в пространстве HSV, использующиеся для решения задачи цветокоррекции. Проведен сравнительный анализ качества представленных алгоритмов. Функционирование алгоритмов продемонстрировано на задаче коррекции цветовых искажений изображений томатов, выращиваемых в условиях промышленных теплиц, при искусственном и естественном освещении.

Ключевые слова: цветовая коррекция изображений, машинное зрение, промышленные теплицы.

1. Введение

Современные инструменты фото и видео съемки подвержены искажению цветопередачи. Каждая комбинация фотоаппарата, объектива и света создают уникальную передачу цвета. Цвет на изображении может варьироваться в зависимости от различных условий, таких как источник света и спектральная чувствитель-

1 Анна Дмитриевна Кулакова, студент (akulakova29@gmail.com).

2Всеволод Александрович Галкин, студент (galckin.vsevolod@gmail.com),

3Андрей Викторович Макаренко, к.т.н. (avm.science@mail.ru).

ность камеры [4, 9]. В связи с этим естественным образом возникает задача калибровки цвета, направленная на восстановление исходных значений цветовой композиции.

Стоит отметить, что задача цветокоррекции имеет широкий спектр практического применения, особенно в тех задачах, где истинные значения цвета объекта имеют ключевое значение. Целью данной работы является разработка методов калибровки цвета для задачи автоматической классификации сельскохозяйственных объектов. В данной работе результаты будут применены к коррекции цветовых искажений изображений томатов, выращиваемых в условиях промышленных теплиц при искусственном и естественном освещении.

2. Обзор существующих методов

Существуют различные методы калибровки цвета, применение которых зависит от поставленной задачи. В последнее время наиболее распространенными являются методы адаптивной гамма-коррекции [6, 18, 22], методы сопоставления гистограмм распределений цветов [8, 19, 20], а также методы, основанные на выявлении функциональной зависимости между цветами с фотографии и эталонными [1, 10, 11, 12, 15]. Методы гамма-коррекции направлены на исправление контраста на изображении и часто используются в работе с фотографиями, полученными под водой [23]. Выравнивание гистограмм используется в задачах сшивки нескольких изображений [8, 19, 20], так как для применения данного метода необходимо изображение, распределение цветов которого считается референсным. Целью исследования текущей работы являются методы, основанные на аппроксимации зависимости между значениями референсных и полученных на изображении цветов. Такие методы являются наиболее подходящими для задач, в которых цвет является ключевым признаком [3, 5, 14]. Так, в задаче автоматической классификации сельскохозяйственных объектов предобработка изображений с использованием процедуры калибровки цвета является необходимой, так как цвет позволяет определить принадлежность 88

анализируемого объекта к классу. Целью предобработки данных в такой задаче является восстановление истинного цвета объекта с высокой точностью. Применительно к поставленной цели недостатком группы методов, основанных на сопоставлении гистограмм распределений цветов, является необходимость в ре-ференсном изображении, полученном без искажения цветов. Методы гамма-коррекции направлены на улучшение изображений в контексте контраста и баланса белого, что не позволит решить поставленную задачу. Обозначенной цели позволяют добиться методы, основанные на выявлении функциональной зависимости между исходными и референсными цветами. Связано это с тем, что при использовании данных методов достаточно одной фотографии калибровочной мишени, полученной в таких же условиях освещения, как и целевые объекты. Калибровочная мишень представляет собой совокупность спектрально нейтральных плашек, цветовые характеристики которых априорно известны с высокой точностью. Особенностью методов, основанных на приближении зависимости является необходимость в подборе математической модели, от которой напрямую зависит точность алгоритма.

Представленные в данной работе алгоритмы аппроксимируют функциональную зависимость с помощью регрессионной модели в двух цветовых пространствах: RGB и HSV с использованием цветовой мишени SpyderCheckr 48 [7].

3. Данные

3.1. ИСХОДНЫЕ ФОТОГРАФИИ

Исходные данные представляют собой совокупность фотографий томатов и цветовой мишени, причем для каждого подмножества множества снимков томатов соответствует одна фотография мишени, которая была сделана в тех же условиях освещения. Таким образом, цветовые искажения фотоснимков томатов и цветовой мишени, в первом приближении, можно считать идентичными. В процессе получения целевых изображений использовались фотоаппараты: Canon PowerShot G7X Mark II, Canon EOS 550, Canon EOS 600D, с разрешающей способностью

89

4864 х 3648 и 5184 х 3456 (для двух последних фотоапаратов) пикселей.

3.2. ИСПОЛЬЗУЕМОЕ ЦВЕТОВОЕ ПРОСТРАНСТВО

Хранить, определять и задавать цвет позволяют цветовые пространства, в которых цвет представляется точкой. Существуют различные вариации цветовых пространств, предназначенные для конкретных задач.

Трёхмерное пространство RGB является формой отображения цвета на различных цифровых устройствах. В упомянутой цветовой модели каждый цвет описан набором из трёх координат: каждая из них отвечает компоненте цвета в разложении на красный, зелёный и синий цвета и принадлежит диапазону от 0 до 255. При фотосъёмке существуют два основных цветовых пространства: sRGB и Adobe RGB. Разница между ними заключается в диапазоне захватываемых цветов. Цветовое пространство RGB принято представлять кубом, см. рис. 1.

Рис. 1. Представление цветового пространства RGB

В используемом наборе данных цвет на фотографиях хранится в sRGB пространстве, основным преимуществом которого является широкий диапазон использования на различных устройствах. Вследствие этого переносимость полученных результатов увеличивается. Математическая модель первого из представленных алгоритмов составлена в цветовом пространстве sRGB.

При составлении математической модели для двух других представленных алгоритмов решения задачи калибровки цвета 90

использовано пространство HSV, которое наиболее близко к человеческой интерпретации цвета. В этой системе координат цвет не складывается из трех базовых. Компонента H (англ. Hue - тон) отвечает за цветовой тон и измеряется в градусах в диапазоне от 0 до 360. Компоненты S (англ. Saturation - насыщенность) и V (англ. Value - значение) отвечают за «количество» белого и черного в определяемом цвете и принимают значения от 0 до 100. Визуализировать цветовое пространство HSV можно цилиндром, см. рис. 2.

Рис. 2. Представление цветового пространства HSV

3.3. ОБРАБОТКА ФОТОСНИМКОВ

Как было отмечено выше, эталонные цвета мишени априорно известны. Следовательно, для решения задачи цветокоррекции требуется определить цвета плашек мишени на исходных фотографиях.

Для этого пронумеруем клетки мишени (рис. 3) и решим задачу сегментации каждой из используемых плашек (всего 48), используя известное расположение эталонных цветов на мишени.

Стоит отметить, что значение цвета может варьироваться внутри самой клетки. Поэтому в качестве цветового значения плашки, характеризующего клетку, используем медианное значение сегментированной области. Таким образом, результатом обработки изображений с мишенью является двумерный массив размером 48 х 3 где по одной оси будем отмечать номер клетки, а по второй - значение цвета по каждому из трёх каналов.

18 12 щ 36 30 24

Ш] 37 31 25

20 14] 8 38 32 26

21 15 9 3 45 39 33 27

22 16 10 4 46 40 34] 28

23 17 11 5 47 41 35 29

Рис. 3. Нумерация цветовой мишени

В массивах, хранящих цветовые значения плашек, важную роль в дальнейшем решении задачи играет порядок. Массив эталонных цветов достаточно упорядочить один раз, после чего использование массива становится корректным при обработке любой фотографии калибровочной мишени из исходных данных. Используемый в работе модуль colour checker detection для python, отвечающий за решение задачи сегментации, может считывать цветовые значения с изображения в прямом и обратном порядке относительно оговоренного ранее для каждой из половин цветовой мишени. Таким образом, каждая из двух частей имеет два возможных варианта расположения значений в массиве, а также возможны два варианта расположения самих массивов, хранящих значения левой и правой частей мишени. Значения цветов с фотографии могут быть считаны в любом из 8 описанных порядков. При решении проблемы упорядочивания составляются 8 возможных вариантов расположения 48 значений. Значения каждой из комбинаций переводятся в цветовое пространство HSV и вычисляется медиана по компоненте H. Такая же процедура проведена для верно упорядоченной комбинации эталонных цветов и получена опорная медиана. В результате поочередного сравнения полученных 8 медианных значений возможных комбинаций с опорной вычисляется модуль алгебраической разницы каждой пары сравниваемых медиан. Массив комбинации цветов,

медиана которого имеет наименьший модуль описанной разницы, принимается подходящей для последующего анализа. Результаты работы алгоритма приведены на рис. 4.

до цветокоррекции

эталон

О 10 20 30 40

Рис. 4. Сопоставление эталонных и полученных цветов

4. Математическая модель

41. АЛГОРИТМ, ОСНОВАННЫЙ НА ЛИНЕЙНОЙ РЕГРЕССИИ В ПРОСТРАНСТВЕ RGB Формализуем поставленную задачу на примере первого рассматриваемого алгоритма. Пусть X - спектральные характеристики мишени с исходной фотографии, а У - эталонные значения цветов (1), где RixGixBix - значения цветов по трём каналам для г-й клетки.

/ Rix G\x B\x \ ( Riy Giy Bly \

(1) X = Rix G<2X B^x ,Y = Riy G2y B-2y

\ R±8x B± 8z ) Л 8 8y 8 СЦ /

Существует, но неизвестно и подлежит определению отображение / : X ^ У .В качестве целевого отображения / используем линейную регрессию, которая представляет собой параметрическую функцию и будет являться аппроксимантом неизвестного отображения.

Составим систему (2) линейных уравнений 1-го порядка для трёх каналов с неизвестными коэффициентами на примере цветовых значений одной клетки из массивов X и У соответственно:

(3) ССМ =

{RY = ао + a\Rx + «2 Gx + азВх; Gy = 7о + 7i ^х + l2Gx + Ъвх;

BY = fo + PiRx + fcGx + ^э^х. Матрица (3) является матрицей неизвестных коэффициентов регрессии. Будем называть (3) матрицей цветокоррекции и обозначать как CCM (сокращение от Colour Correction Matrix).

( ао 7о Ро \ ai 7i Pi «2 72 $2 \ аэ 7э Рэ ) Для оценки элементов матрицы CCM используем 48 клеток цветовой мишени.

Для нахождения параметров линейной регрессии обычно используется стохастический градиентный спуск. В некоторых случаях, когда матрица входных данных имеет относительно небольшой размер, можно воспользоваться методом нормального уравнения (4), который дает оценку параметров модели за одну итерацию, однако требует обращения матрицы.

(4) Y = X х CCM, CCM = (Xт х X)-i х Xт х Y. Таким образом, мы получим функциональную зависимость

между цветами на фотографии и эталонными цветами. Впоследствии полученное решение может быть использовано для исправления цветовых искажений фотографий, снятых в тех же условиях.

Стоит обратить внимание на графики облаков точек зависимости эталонных значений от значений цветов плашек с фотографии по трем компонентам (рис. 5). На графиках также указаны значения коэффициентов корреляции (5).

(5) г = -, - - У)

W) ' ху = 1

л/ТГг=1(Хг - X)2 £5=1 (Уг - У)2 На рис. 5 можно заметить, что наиболее близкие к единице коэффициенты корреляции наблюдаются между следующими

величинами: Ry и Rx, Gy и Gx, Gy и Gx, что говорит об их сильных линейных взаимосвязях. Также наблюдаются умеренные и слабые линейные связи между другими компонентами, где линейность не является ярко выраженной, тем не менее взаимозависимость этих величин в первом приближении можно считать линейной. В связи с этим применение нелинейной регрессионной модели в цветовом пространстве RGB является избыточным.

Рис. 5. Зависимости эталонных значений от значений цветов плашек с фотографии в пространстве RGB

4.2. АЛГОРИТМЫ, ОСНОВАННЫЕ НА РЕГРЕССИИ

В ПРОСТРАНСТВЕ HSV

Были составлены две модели в цветовом пространстве HSV: линейная и нелинейная. Массивы (1) переведены в цветовое пространство HSV.

Для модели, основанной на линейной регрессии, составлена аналогичная (2) система линейных уравнений 1-го порядка (6): (6) Y = CCMт х X.

Для составления математической модели , основанной на полиномиальной регрессии, были проанализированы облака точек зависимости эталонных значений от значений цветов плашек с фотографии по трем компонентам, см. рис.6.

Рис. 6. Зависимости эталонных значений от значений цветов плашек с фотографии

Исходя из рис. 6 тенденции к линейной зависимости между парами величин Ну и Sx, Ну и Vx характеризуются относительно невысоким коэффициентом корреляции гнуsx = 0,119 и гнуУз; = -0,16, что говорит о слабой линейной взаимосвязи, следовательно, допустимо пренебречь членами Sx и Vx.

Линейные взаимосвязи Sy = f (Vx) и Vy = f (Sx) также не являются сильными, что показывают соответствующие коэффициенты корреляции: rsyvx = 0,448 и ryysx = 0,21. Однако коэффициент rsy отражает умеренную линейную взаимосвязь величин Sy и Vx. Более того, компоненты S и V отвечают за «количество» белого и черного в конкретном цвете, соответственно. Включим члены Vx и Sx в уравнения для компонент Sy и Vy соответственно.

Исходя из вида зависимости Sy = f (Sx) (рис. 6), можно гораздо лучше объяснить нелинейной зависимостью. Аппроксимируем данную зависимость полиноминальной регрессией степени 2-6 и линейной регрессией степени 1 и сравним результаты (рис. 7). Для качественного анализа приведен коэффициент детерминации R2 для каждой модели.

Заметим, что начиная с 4 степени полиномиальной регрессии оценка R2 растёт незначительно. Поэтому примем значение степеней 1-4 для члена Sx уравнения компоненты Sy нелинейной модели.

Основываясь на вышеприведенных рассуждениях, составим нелинейную регрессионную модель в цветовом пространстве HSV:

{HY = ао + а\Нх,

Sy = 7о + liSx + ЪЯ2Х + 7з^ + 74^ + ъУх, VY = ßo + ßiSx + Аз Vx.

Для определения выбросов окрасим точки в соответствующие им цвета, см. рис. 8. Очевидно, что описанная ситуация наблюдается только для значений тех цветов, которые являются белым, чёрным и их оттенками, т.е. не имеют примеси других цветов.

Степень = 1 Степень = 2 Степень = 3

0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0,6 0.8 1.0 0,0 0,2 0,4 0.6 0.8 1.0

Рис. 7. Зависимости эталонных значений от значений цветов плашек с фотографии

0.0 0.2 0.4 „ 0.6 0.8 1.0

Их

Рис. 8. Зависимость Ну = /(Нх)

Из рис. 8 видно, что описанная ситуация наблюдается только для значений тех цветов, которые являются белым, чёрным и их оттенками, т.е. не имеют примеси других цветов.

Действительно, определить цветовой тон чёрного или белого цвета не представляется возможным. Выбрав для таких цветов и их оттенков любое значение Н, визуально не будет наблюдаться никаких изменений. Следовательно, в подобных случаях значение компоненты Н можно не учитывать.

В таком случае для исключения вышеописанных выбросов при аппроксимации зависимости применим алгоритм RANSAC [13]. Проанализируем результаты аппроксимации функций обоими методами на примере зависимости точек Ну = /(Нх), см. рис. 9.

На графике рис. 9 видно, что метод RANSAC успешно идентифицирует анализируемые выше выбросы (отмечены жёлтым цветом).

Для решения системы уравнения (7) будем использовать метод RANSAC.

1.0

л

0.2

0.8

0.6

0.4

0.0

Linear regressor RAN SAC regressor Inliers

0.0 0.2 0.4 0.6 0.8 1.0

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Нх

Рис. 9. Сравнение RANSAC и метода нормального уравнения

5. Сравнительный анализ алгоритмов

Человеческое зрение способно улавливать относительно малые различия цветов. Однако с помощью одного только зрительного аппарата человек не может выразить цветовое различие численно и с достаточной точностью. Естественным образом возникает проблема оценки цветового различия.

5.1. МЕТРИКА ЦВЕТОВОГО РАЗЛИЧИЯ

Для решения описанной проблемы международная комиссия по освещению (МКО) задала метрику цветового различия АЕ CIE76 [21]. АЕ по стандарту CIE76 рассчитывается в цветовом пространстве CIE Lab и не учитывает неоднородности восприятия в нём. Неоднородности восприятия цвета важны, так как человеческий глаз к одним цветам более чувствителен, к другим - менее. МКО задалась целью устранения этого недостатка и представила две новые формулы 1994 [16] и 2000 [2] годов. Ввиду того, что определение 1994 года не полностью устранило неоднородности восприятия цветового различия, МКО разработала стандарт CIEDE2000.

Формула цветового различия АЕ по стандарту CIEDE2000 между цветом (L2, a2, b2) и эталонным цветом (L\, a\, b\), заданными в пространстве CIE Lab (8):

Подробное описание коэффициентов, использованных в формуле (8), приведено в [17].

Последующая оценка алгоритмов при сравнительном анализе будет основываться на использовании вышеприведенной метрики цветового различия (8).

(8)

АЕ

5.2. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ АЛГОРИТМОВ

И ИХ СРАВНЕНИЕ

В процессе проведения анализа были использованы 93 фотографии цветокалибровочных мишеней из описанного в начале работы набора данных. Все изображения сделаны в различных условиях цветопередачи, а также на три различных фотоаппарата. Для каждой фотографии проделано следующее:

1. Считаны цвета плашек (48 штук) и записаны в вектор С(48хз), где в качестве нижнего индекса указана размерность вектора. Каждый из трёх столбцов отвечает за каждый цветовой канал соответственно.

2. Эталонные цвета записаны в аналогичный вектор Я(48хз) в цветовом пространстве RGB.

3. Оба вектора R(48x3) и С(48х3) переведены в цветовое пространство Lab. Такой перевод требуется для расчёта оценки по используемой метрике (8). Для цветов, хранящихся в RGB, использована последовательность переходов RGB ^ XYZ ^ Lab. Для цветов, хранящихся в HSV : HSV ^ RGB ^ XYZ ^ Lab. Результаты переводов записаны в векторы R(48x3) и С*(48х3).

4. Произведено сравнение полученных цветов, хранящихся в векторах R(48x3) и С(48х3) соответственно, по формуле (8). Результат, вычисленный по метрике для каждой пары цветов, записан в вектор Д^(48х1).

5. На данном этапе качество работы модели на конкретной фотографии палетки характеризуется вектором. Возьмём 1\-норму вектора ДЕ(48?1) для определения качества модели скаляром:

п

ДЕк = £ 1ДЕг1 = ||Д^(48х1)|1.

г=1

6. Оценки качества по всем фотографиям можно представить в виде вектора ДЕ{1,(93х1), состоящего из значений ДЕ[1. Медиана этого вектора будет являться оценкой работы модели на всех 93 изображениях ДЕ05>то^е1, где в качестве model будет использоваться условное обозначение одной из трёх рассматриваемых

математических моделей.

Оценки, полученные описанным алгоритмом, приведены в таблице 1. В первом столбце таблицы также приведены оценки различия эталонных цветов с исходными цветами на фотографиях до цветокоррекции.

Таблица 1. Результаты анализа

а^0,5,исх. аEo,5,RGB AEo,5,HSV лин. AEo,5,HSV нелин.

510,999 264,793 530,298 234,973

В качестве визуального анализа приведен пример работы рассмотренных алгоритмов на примере изображений двух цветовых мишеней (рис. 10), а также пример изображения с эталонными цветами клеток мишени для сравнения, см. рис. 11.

Проанализируем результаты работы рассмотренных алгоритмов на основе проведённого статистического анализа, а также примеров работы на паре фотографий калибровочных мишеней.

исходное RGB НБУлин. НБ\/нелин

Рис. 10. Пример работы алгоритмов

Линейная HSV модель демонстрирует как визуально, так и статистически неудовлетворительные результаты: цветовая композиция на фотографии, обработанной этим алгоритмом, на верхней калибровочной мишени (рис.. 10), нарушена сравнительно с эталонными цветами. Также наблюдаются ярко выраженные точечные дефекты на объектах, имеющих цвет оттенков серого, белого и чёрного. На нижней палетке (рис. 10) те же точечные 102

дефекты выглядят менее выраженными. Наблюдаются сильные искажения цветов. При статистическом анализе результаты работы линейной HSV модели по выбранной метрике показывают расхождения с истинными цветами, что является неприемлемым.

и

Рис. 11. Пример эталонных цветов плашек мишени

Нелинейная HSV модель и линейная RGB показывают лучшие результаты решения поставленной задачи. Визуально цвета плашек обеих мишеней (рис. 10) выглядят хоть и различимо, но с достаточной точностью схожими с эталонными цветами. Проведенным статистическим анализом показано, что по используемой метрике нелинейная HSV модель демонстрирует наилучше результаты, в сравнении с остальными рассмотренными алгоритмами цветокоррекции.

6. Применение алгоритмов

Как говорилось ранее, фотография калибровочной мишени сделана в таких же конкретных, характерных подмножеству фотографий томатов, условиях освещения и цветопередачи. Следовательно, получив модель для цветокоррекции по фотографии мишени, становится возможным скорректировать цвета для всех соответствующих снимков томатов. Для примера возьмем фотографии помидоров, соответствующие изображениям цветовых мишеней, представленным на рис. 10, и произведем цветокоррекцию тремя анализируемыми алгоритамами (рис. 12).

По результатам цветокоррекции (рис. 12) видно, что необработанные выбросы при цветокоррекции линейной моделью HSV

103

отрицательно влияют на качество цветовой калибровки. Линейная модель в цветовом пространстве RGB и нелинейная в пространстве HSV успешно решают задачу цветокоррекции изображений.

исходное RGB НБХ/лин. НБУнелин

Рис. 12. Результаты цветокоррекции

7. Заключение

В представленной работе была решена задача коррекции цвета фотографий томатов, выращиваемых в промышленных тепличных комплексах. Для калибровки цвета использовалась цветовая мишень SpyderCheckr с 48 цветовыми плашками. Представлены три различных алгоритма цветокоррекции. Проведён сравнительный предложенных алгоритмов.

Дальнейшие исследования в данной задаче будут направлены на повышение качества и устойчивости алгоритмов, а также применение глубоких нейронных сетей, которые выступают в роли универсального аппроксиматора.

Полученные модели являются основой для решения множества сельскохозяйственных задач с применением технологий искусственного интеллекта, таких как автоматическая классификация томатов по сортам и степени зрелости.

Литература

1. ABDALLA A. Color calibration of proximal sensing RGB images of oilseed rape canopy via deep learning combined with

K-means algorithm // Remote Sensing. - 2019. - Vol. 11. -No. 24. - P. 3001.

2. ALESSI P.J. Colorimetry-part 6: CIEDE2000-colour-difference formula // ISO/CIE. - 2014. - P. 11664-6.

3. AMANI M. Color Calibration on Human Skin Images // Int. Conf. on Computer Vision Systems. - Springer, Cham, 2019. -P. 211-223.

4. ANDRESEN C.G., TWEEDIE C.E., LOUGHEED V.L. Climate and nutrient effects on Arctic wetland plant phenology observed from phenocams // Remote Sensing of Environment. - 2018. -Vol. 205. - P. 46-55.

5. AZMI N.F.B. Color correction of baby images for cyanosis detection // Annual Conference on Medical Image Understanding and Analysis. - Springer, Cham, 2018. -P. 354-370.

6. CAO G. Contrast enhancement of brightness-distorted images by improved adaptive gamma correction // Computers & Electrical Engineering. - 2018. - Vol. 66. - P. 569-582.

7. Datacolor: Spydercheckr 48 // [Электронный ресурс]. -2008. - URL: https://www.datacolor.com/photography-design/product-overview/spydercheckr-family/ (дата обращения: 15.08.2021).

8. DING C., MA Z. Multi-camera color correction via hybrid histogram matching // IEEE Trans. on Circuits and Systems for Video Technology. - 2020. - Vol. 31. - No. 9. - P. 3327-3337.

9. DOUGHERTY G. Digital image processing for medical applications. - Cambridge University Press, 2009.

10. FANG F. Colour Correction Toolbox // Proc. 13th AIC Cong. -2017. - P. 13-18.

11. FANG F., FINLAYSON G. Maximum Ignorance Polynomial Colour Correction. - 2017.

12. FINLAYSON G.D., MACKIEWICZ M., HURLBERT A. Color correction using root-polynomial regression // IEEE Trans. on Image Processing. - 2015. - Vol. 24. - No. 5. - P. 1460-1470.

13. FISCHLER M., BOLLES R.Random Sample Consensus:

A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography [Электронный ресурс] // Comm. Of the ACM: journal. - 1981. - June (Vol. 24). -P. 381-395.

14. HERNANDEZ-HERNANDEZ J.L., GARCIA-MATEOS G., GONZALEZ-ESQUIVA J.M., ESCARABAJAL-HENAREJOS D., RUIZ-CANALES A., MOLINA-MARTINEZ J.M. Optimal color space selection method for plant/soil segmentation in agriculture // Comput. Electron. Agric. - 2016. - Vol. 122. - P. 124-132.

15. KAMARUDIN N.D. Performance Comparison of Colour Correction and Colour Grading Algorithm for Medical Imaging Applications // Int. Journal of Engineering & Technology. -2018. - Vol. 7. - No. 4.33. - P. 353-356.

16. LINDBLOOM B.J. Delta E (CIE1994) // Delta E (CIE 1994). -1994.

17. LINDBLOOM B.J. Delta E (CIE 2000) // Brucelindbloom. com. - 2016.

18. MAHMOOD A. An adaptive image contrast enhancement technique for low-contrast images // IEEE Access. - 2019. -Vol. 7. - P. 161584-161593.

19. NIU H., LU Q., WANG C. Color correction based on histogram matching and polynomial regression for image stitching // IEEE 3rd Int. Conf. in Image, Vision and Computing (ICIVC). -IEEE, 2018. - P. 257-261.

20. NIU Y. Visually consistent color correction for stereoscopic images and videos // IEEE Trans. on Circuits and Systems for Video Technology. - 2019. - Vol. 30. - No. 3. - P. 697-710.

21. SCHANDA J. Colorimetry: understanding the CIE system. -John Wiley & Sons, 2007.

22. VELUCHAMY M., SUBRAMANIB. Image contrast and color enhancement using adaptive gamma correction and histogram equalization // Optik. -2019. - Vol. 183. - P. 329-337.

23. ZHANG W. Color correction and adaptive contrast enhancement for underwater image enhancement // Computers & Electrical Engineering. - 2021. - Vol. 91. - P. 106981.

METHOARIAL; ANALYSIS OF METHODS OF COLOUR CALIBRATION OF IMAGES USING RGB ANG HSV COLOUR SPACES IN TASKS OF INTELLIGENT COMPUTER VISION (FOR EXAMPLE, IMAGES OB-TAINED IN INDUSTRIAL GREENHOUSES)

Anna Kulakova, Moscow Aviation Institute, student, V.A. Trapeznikov Institute of Control Sciences of RAS, Moscow (akulakova29@gmail.com).

Vsevolod Galkin, V.A. Trapeznikov Institute of Control Sciences of RAS, Moscow, student (galckin.vsevolod@gmail.com). Andrey Makarenko, V.A. Trapeznikov Institute of Control Sciences of RAS, Moscow, Ph.D in Cybernetics (avm.science@mail.ru).

Abstract: The article analyses the problem of colour distortion of images generated by computer vision systems in industrial greenhouses. Methods of colour calibration ofimages used to correct such distortions are considered. The analysis ofthe features of the HSV colour space is carried out. A mathematical model in RGB space and two models in HSV space used to solve the colour correction problem have been compiled. A comparative analysis of the quality of the presented algorithms is carried out. The functioning of the algorithms is demonstrated on the task of correcting colour distortions in images of tomatoes grown in industrial greenhouses, under artificial and natural lighting.

Keywords: colour correction of images, computer vision, industrial greenhouses.

УДК 004.4 ББК 32.972

DOI: 10.25728/ubs.2022.97.5

Статья представлена к публикации членом редакционной коллегии Я.И. Квинто.

Поступила в редакцию 14.11.2021. Дата опубликования 31.05.2022.

i Надоели баннеры? Вы всегда можете отключить рекламу.