CC BY
39
ДЕСКРИПТОРЫ ЦВЕТОВЫХ РЕГИОНОВ В ЗАДАЧЕ ОБЕСПЕЧЕНИЯ ЦВЕТОВОЙ СОГЛАСОВАННОСТИ ИЗОБРАЖЕНИЯ1
© Горемыкин И.В.* *, Бутенко Л.Н.*
Волгоградский государственный технический университет, г. Волгоград
Рассмотрены локальные признаки изображения, используемые при обучении регрессионной модели цветовой согласованности изображения. Описаны цветовые, текстурные и геометрические категории признаков, отражающие особенности цветовосприятия человека. Анализируется влияние локальных признаков на восприятие цветовой согласованности изображения.
Ключевые слова согласованность цветов, цифровая обработка изображений, признаки изображения, машинное обучение.
1. Введение
Цветовая согласованность, также известная как «гармония цвета» или «цветовые пропорции», представляет собой эстетическую категорию, которая определяет законы для формирования привлекательных цветовых сочетаний [1-5]. Задачи автоматизированного обеспечения цветовой согласованности возникают в ряде областей: цифровая фотография, дизайн интерфейса пользователя, киноиндустрия, рендеринг реального времени. Нами разработан управляемый данными (англ. «data-driven») метод автоматического согласования цветов изображения. Мы рассматриваем задачу обеспечения цветовой согласованности изображения как задачу регрессии и извлекаем критерии цветовой согласованности из произведений искусства (картин) -на основе машинного обучения. На вход разработанной системы подаётся цветное изображение (фотография), на её выходе - изображение, цвета в котором согласованы между собой.
1 Настоящее исследование было поддержано грантом Microsoft Azure for Research.
* Аспирант кафедры «Системы автоматизированного проектирования и поискового конструирования».
* Профессор кафедры «Системы автоматизированного проектирования и поискового конструирования», доктор химических наук.
Системный анализ, управление и обработка информации
7
Метод обеспечения автоматической согласованности цветов изображения состоит из нескольких этапов, обусловленных особенностями цветовосприятия человека. Согласно [6] человек воспринимает изображение от общего представления к деталям - регионам изображения, для которых глаз усредняет цвет. Общее представление отражает глобальные характеристики изображения: опорные цвета палитры изображения, является ли изображение тёмным или светлым, контрастным или однородным, и т.д. Цветовые регионы отражают локальные характеристики изображения; в цветовосприятии важную роль играют такие параметры региона как площадь, форма, текстура, средний цвет, расположение и характеристики соседних с ним регионов и др.
В соответствии с указанными особенностями цветовосприятия параметры регрессионной модели делятся на две категории: глобальные и локальные. Регионы изображения выделяются путём цветовой сегментации. На вход обученной регрессионной модели подаётся вектор глобальных и локальных признаков изображения, на её выходе - распределения цветов (гистограммы) для каждого региона, соответствие которым обеспечит цветовую согласованность изображения. Каждый цветовой регион перекрашивается в соответствии с полученными гистограммами.
В настоящей работе рассматриваются локальные признаки модели цветовой согласованности изображения.
2. Признаки регионов изображения
В отличие от предыдущих работ по согласованию цветов изображения [5] в число локальных признаков были включены текстурные, геометрические признаки и дескрипторы соседства регионов, ввиду их значимости в контексте цветовосприятия [1, 6, 7].
2.1. Цветовые признаки
Для цветового региона рассчитываются гистограммы и средний цвет. Часть цветовых признаков (средний цвет региона) подаётся на вход регрессионной модели, они вычисляются и для обучающей выборки, и для тестовой. Обученная модель возвращает гистограммы для каждого цветового
8
ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ
региона, поэтому другая часть признаков (гистограммы) вычисляются только для обучающей выборки.
Гистограммы региона вычисляются для трёх цветовых каналов в цветовом пространстве sRGB, ввиду его независимости от аппаратных характеристик устройства цветовоспроизведения [7]. Перекрашивание осуществляется для изображения с 24-битной глубиной: для каждой из трёх компонент цветовой модели цвет представлен с использованием 256 уровней яркости. Соответственно, гистограммы для каждого цветового канала имеют 256 классов.
Средний цвет региона вычисляется в цветовом пространств CIE LAB, ввиду его однородности с точки зрения цветовосприятия человека [7].
2.2. Текстурные признаки
Текстура представляет собой пространственную организацию элементов в пределах некоторого участка изображения и является одним из ключевых компонентов в восприятии человеком изображения [6]. В отличие от цвета текстура возникает не в точке, а в некой области и воспринимается как перепад уровней интенсивности. Текстура обладает такими характеристиками, как периодичность и масштаб; она может быть описана в терминах направленности, зернистости и контраста. Текстурные признаки вычисляются для чёрно-белого изображения.
2.2.1. Признаки Харалика
Признаки Харалика [8] основаны на статистике, отражающей частоту присутствия в текстуре различных пар уровней яркости пикселя. Составляется матрица частот, число строк и столбцов которой равны числу уровней яркости в текстуре. Элемент матрицы частот P^^i, j) соответствует относительной частоте, с которой пиксели с интенсивностью i и j встречаются в текстуре, на расстоянии (Дх, Ду) друг от друга. Параметр сдвига (Дх, Ду), задающий взаимное расположение пикселей, чаще всего выбирается таким, что соответствует направлениям 0, п/4, п/2 и 3п/4 радиан и расстояниям от 1 до 4 пикселей.
Системный анализ, управление и обработка информации
9
На основе матрицы частот пар пикселей вычисляются следующие признаки текстуры: контраст, энтропия, энергия, однородность. Контраст соответствует величине перепада яркости на протяжении всей текстуры. Энтропия соответствует величине хаотичности текстуры и имеет максимальное значение, когда все элементы Р(дх,ду)(1, j) равны друг другу. Энергия представляет собой сумму квадратов элементов матрицы частот.
2.2.2. Признаки Тамура
В [9] предложены три текстурных дескриптора, существенных для зрительного восприятия: зернистость, контрастность, направленность.
Зернистость описывает размер структурных элементов текстуры. В регионе присутствуют микротекстуры и макротекстура, зернистость устанавливает, на каком максимальном масштабе существует текстура. Чем больше зернистость, тем текстура грубее. Вычисление зернистости осуществляется для нескольких окрестностей пикселя, соответствующих степени двойки 2 : 8^8, 16x16, 32x32 и т.д.
1 R
Coarseness =---V 2K (‘J>,
N V
NR i,J
где Nr - площадь региона, R - множество точек, принадлежащих региону, K - матрица, которая содержит степени двойки k, соответствующие масштабу, при котором разница уровней серого в окрестностях пикселя (i, j) максимальна.
Контраст соответствует тому, насколько отчётливо воспринимаются структурные элементы текстуры. Основными факторами, влияющими на величину контраста являются диапазон уровней серого, присутствующих в текстуре, а также асимметричность распределения тёмного и светлого в регионе. Первый фактор соответствует стандартному отклонению уровней серого с, второй - коэффициенту эксцесса оц:
Contrast = ———,
(«4)П
где n - коэффициент, величину которого Тамура установил опытным путём, значение n = % наиболее точно соответствует восприятию человека.
10
ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ
Направленность описывает степень ориентированности структурных элементов текстуры; две текстуры, отличающиеся друг от друга только ориентацией будут иметь одинаковую направленность. Текстура может иметь одну или несколько доминирующих ориентаций, а также может не иметь их вовсе. Для вычисления направленности необходимо вычислить горизонтальные и вертикальные производные АН и AV путём свёртки текстуры с соответствующими ядрами, после чего для каждого пикселя региона вычисляется ориентация 0:
.. ТТ
9(i, J) = — + tan
i AV(i, J) AH (i, J
Затем для полученных значений 0 вычисляется 16-классовая гистограмма. Направленность вычисляется как сумма вторых моментов р2 для каждого пикового значения гистограммы:
Directionality = I Иг,
П=1
где NP - число пиков в гистограмме.
2.2.3. Признаки Габора
Признаки Габора [10] вычисляются на основе текстуры, на которой был применён фильтр Габора. Фильтр Габора - линейный электронный фильтр, который моделирует поведение клеток зрительной горы головного мозга [10] и соответствует зрительному восприятию человека. Фильтр Габора является полосопропускающим и осуществляет фильтрацию текстуры в частотной и пространственной областях, захватывая при этом весь частотный спектр сигнала: и его амплитудную, и фазовую часть. Фильтр даёт наибольший отклик на границах и в областях изменения текстуры. Один из важнейших параметров фильтра - ориентация нормали параллельных полос функции Габора, определяющая, на какую ориентацию структурных элементов текстуры фильтр реагирует (например, при 0 = 0 фильтр будет реагировать только на горизонтальные структурные элементы).
Системный анализ, управление и обработка информации
11
Фильтры Габора вычисляются для нескольких комбинаций масштаба фильтра (размерности ядра фильтра) и направлений, на которые фильтр реагирует (Nd направлений в интервале [0; п]). Вычисленные фильтры формируют банк фильтров, свёртка текстуры с банком фильтров позволяет извлечь из текстуры частотную и пространственную информацию (рис. 1).
Рис. 1. Вычисление признаков Габора путём свёртки текстуры с банком фильтров Габора
На основе полученных в результате фильтрации матриц отклика вычисляются следующие признаки: фазовая информация, амплитуда, локальная энергия, ориентация. Фазовая информация содержит информацию о границах и других деталях текстуры. Амплитуда содержит информацию о спектре частот, ориентированном в одном из ND направлений. Локальная энергия также вычисляется для одного из ND направлений. Ориентация текстуры соответствует матрице отклика с максимальной энергией.
2.3. Геометрические признаки
При рассмотрении цветовой согласованности изображении важно учитывать геометрические характеристики региона такие, как его расположение, площадь, ориентированность, свойства формы и прочие [1, 3, 6]. В [1, 3] показано, что регионы с большей площадью оказывают большее влияние на цветовое восприятие композиции.
2.3.1. Простейшие геометрические признаки
Значения многих простейших геометрических признаков напрямую влияют на цветовое восприятие изображения [1, 3, 6]. В настоящей работе используются несколько простейших признаков:
12
ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ
- площадь (число пикселей, принадлежащих региону);
- периметр (число пикселей, расположенных на внешнем контуре региона);
- центр масс (координаты точки, которая характеризует движение тела как целого);
- компактность (отношение квадрата периметра региона к его площади);
- ориентация оси наименьшей инерции (характеризует ориентированность региона, она проходит через центр масс региона, сумма расстояний от оси до точек внешнего контура региона минимальна);
- удлинённость (соотношение сторон минимального охватывающего регион прямоугольника);
- цельность (представляет собой меру выпуклости или вогнутости формы региона и вычисляется как отношение площади региона к площади охватывающего выпуклого многоугольника);
- соотношение между регионом и содержащимися в нём отверстиями (отношение площади региона к площади содержащихся в нём отверстий).
2.3.2. Статистика лучевого угла
Этот дескриптор вычисляется на основе статистики взаимного расположения точек внешнего контура региона [11]. Граница внешнего контура B представлена множеством последовательно соединённых точек {B1, B2, •••, BN}, где N - число точек во внешнем контуре. От каждой точки контура В1 строится вектор к k-предыдущей и вектор к k-последующей точкам контура -V1-k и V1+k, соответственно. На рис. 2 изображён лучевой угол Ck(i), образованный векторами V1-k и V1+k при значении параметра окрестности k = 5.
Вычисленный для каждой точки контура лучевой угол Ck(i) может быть рассмотрен как случайная величина с плотностью вероятности Pk(Ck(i)). Форма контура может быть компактно описана с помощью моментов m-ного порядка случайной величины Ck(i):
(N/2)-1
E(Cm (0) = X C (i) х Pk (Ck (i)),
k=1
где E - математическое ожидание.
Системный анализ, управление и обработка информации
13
Рис. 2. Лучевой угол, образованный при значении параметра окрестности k = 5
На рис. 3 представлены графики 1-ого, 2-ого и 3-его моментов исходного и зашумлённого контуров. Для обоих контуров получены близкие значения моментов, что свидетельствует об устойчивости признака к шуму.
Рис. 3. 1-ый, 2-ой и 3-ий моменты статистики лучевого угла исходного и зашумлённого контуров
В [11] рекомендуется использовать в качестве дескриптора 2-ой момент - вектор из N чисел. Для каждого контура осуществляется
14
ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ
передискретизация точек 2-ого момента, с тем, чтобы вектор-признак имел фиксированный размер.
2.3.3. Масштабируемое пространство кривизны
Признак масштабируемого пространства кривизны [12] входит в стандарт для описания мультимедиа-материалов MPEG-7 в качестве дескриптора контура формы. Контур региона задаётся параметрически:
г о) = (х о), у О)),
где д - параметр длины контура, принимающий значения д £ [0, 1].
В результате последовательной свёртки контура Г с фильтром Гаусса создаётся семейство упрощённых версий контура {Гс: с > 0 }, где с - стандартное отклонение фильтра Гаусса. По мере увеличения параметра с незначительные детали контура исчезают, число точек перегиба уменьшается, а основные черты - сохраняются. В итоге, при некотором значении с контур станет выпуклым (рис. 4).
Далее на основе полученного семейства контуров вычисляется изображение масштабируемого пространства кривизны контура (рис. 5).
На оси абсцисс представлены значения параметра длины контура д £ [0, 1], на оси ординат нанесены значения стандартного отклонения с. Начальное значение с принимается равным 0 и увеличивается с шагом Дс. Найденные для каждого контура Гс точки перегиба наносятся на изображение кривизны контура. Значение с увеличивается до тех пор, пока в сгенерированном контуре имеются точки перегиба (рис. 4).
Системный анализ, управление и обработка информации
15
Рис. 5. Изображение масштабируемого пространства кривизны контура
Изображение масштабируемого пространства кривизны контура может быть рассмотрено как бинарное изображение, в котором значение пикселя равно 1 в каждой точке перегиба кривой (р, с), и равно 0 - во всех остальных точках. Полученное бинарное изображение выступает в качестве дескриптора контура региона.
2.4. Признаки соседства регионов
Характеристики соседних цветовых участков играют важную роль в цветовосприятии [1, 6, 7] и являются одной из причин таких зрительных эффектов, как симультанный контраст [1], иллюзия тени Адельсона [7] и др.
Для каждого региона вычисляются следующие признаки соседства с другими регионами:
- длина совместной границы,
- вектор соединяющий центры масс регионов,
- угол между главными осями инерции,
- отношение площадей,
- визуальная разница между средними цветами регионов с помощью формулы цветового отличия CIEDE2000,
- значения контрастов Иттена [1],
- отношение числа соседствующих регионов к числу всех регионов.
16
ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ
3. Заключение
Был составлен набор локальных признаков, используемый при обучении регрессионной модели цветовой согласованности изображения. Помимо цветовых признаков региона предложено использовать текстурные, геометрические признаки, а также признаки соседства регионов. Проанализировано влияние указанных признаков на восприятие цветовой согласованности изображения.
Список литературы:
1. Иттен И. Искусство цвета [Текст]: пер.с англ. Л. Монахова / И. Иттен -М.: Издатель Дмитрий Аронов, 2011. - 96 с.
2. Горемыкин И.В. Методы автоматизированной гармонизации цветовой палитры изображения [Текст] / И.В. Горемыкин, Л.Н. Бутенко // Вестник компьютерных и информационных технологий. - 2015. - № 4. - C. 31-35 + 4-я стр. обл.
3. Moon P. Area in Color Harmony [Текст] / P. Moon, D. E. Spencer // Journal of the Optical Society of America, vol. 34, number 2. 1944.
4. O’Donovan, P. Color Compatibility from Large Datasets [Текст] / P. O’Donovan, A. Agarwala, A. Hertzmann // Proceeding SIGGRAPH ‘11 ACM SIGGRAPH 2011 Article No. 63. - 2011.
5. Cohen-Or D. Color Harmonization [Текст] / D. Cohen-Or, O. Sor-kine, R. Gal, T. Leyvand, Y.-Q. Xu // SIGGRAPH '06 ACM SIGGRAPH 2006 Papers. - 2006. - P. 624-630.
6. Арнхейм P Искусство и визуальное восприятие [Текст]: сокр. пер. с англ. В.Н. Самохина / Р Арнхейм - М.: Архитектура-С, 2012. - 392 с.
7. Fairchild M.D. Color Appearance Models [Текст]: книга / M.D. Fairchild. -NYC.: Riley, 2013. - 417 c.
8. Albregtsen F. Statistical Texture Measures Computed from Gray Level Coocurrence Matrices [Текст] / F. Albregtsen // International Journal of Computer Science, Engineering and Information Technology (IJCSEIT), Vol. 2, No. 2. 2012.
9. Tamura H. Textural Features Corresponding to Visual Perception [Текст] / H. Tamura, S. Mori, T. Yamawaki // IEEE Transaction on Systems, Man, and Cybernetcs, Vol. SMC-8, No. 6. 1978. P. 460-472.
Системный анализ, управление и обработка информации
17
10. Zheng D. Features Extraction using Gabor Filter Family [Текст] / D. Zheng, Y. Zhao, J. Wang 2004.
11. Nafiz A. BAS: a perceptual shape descriptor based on the beam angle statistics [Текст] / A. Nafiz, T. Fatos, V Yarman // Pattern Recognition Letters Volume 24, Issues 9-10. 2003 - P. 1627-1639.
12. Abbasi S. Curvature Scale Space Image in Shape Similarity Retrieval [Текст] / S. Abbasi, F. Mokhtarian, J. Kittler // Regular Papers Multimedia Systems November 1999, Volume 7, Issue 6. 1999. - P. 467-476.
МЕТОДОЛОГИЯ ПРИНЦИПОВ ПОСТРОЕНИЯ КРОССПЛАТФОРМЕННЫХ ПОИСКОВЫХ СИСТЕМ ДЛЯ АДАПТИВНЫХ СИСТЕМ
© Певцов А.С.*
Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, г. Санкт-Петербург
Данная статья повествует о принципах построения кроссплатформенных систем. В ходе данной статьи выводится статистическое обоснование лучших примеров построения данных систем для автоматизированных программных обеспечений (далее - ПО).
Ключевые слова поисковая система, кроссплатформенность, браузер, ассемблер, отладчик.
В данной статье рассмотрен принцип построения и функционирования операционных систем касательно автоматизированных систем. В данном случае, ситуация вокруг автоматизированных процессов склоняется к зависимости простоты и точности элементов поиска. За пример автоматизированных систем в широком доступе можно указать агентно-ориентированный подход с наличием экспертных модулей для минимизации действий администратора или оператора эксплуатируемой системы.
Студент кафедры Защищенных систем связи.
