CC BY
78
Бегунов Глеб Витальевич
Тульский государственный педагогический университет им. Л.Н. Толстого
факультет математики, физики и информатики (магистратура, 1 курс)
«АРТСИГНАТУРА»: ЦВЕТОВОЙ АНАЛИЗ ИЗОБРАЖЕНИЙ
Аннотация: статья посвящена созданному автором веб-приложению «АртСигнатура», нацеленному на предоставление пользователям возможности аналитики изображений на основе их цвета, рассмотрен процесс создания приложения, приведены примеры его работы и перспективы дальнейшего исследования.
Ключевые слова: АртСигнатура, веб-приложение, векторная модель, Интернет, живопись.
Abstract: the article is devoted to the web-application «ArtSignatura», created by the author, aimed at providing users with the possibility of image analytics on the basis of their color, the process of creating an application, examples of it's work and research prospects are given.
Keywords: ArtSignatura, web-application, vector model, Internet, painting.
B современном мире трудно переоценить влияние web-технологий и сервисов. Инновационные решения, плагины и модули порождают такие перспективные разработки, как webassembly, nodejs, новые стандарты и версии языков программирования. Активно развиваются и применяются различные способы вёрстки, оформления веб-страниц и интерфейса пользователя. Изменение методов дизайна и веб-программирования привело к необходимости переработки популярных проектов.
Наличие новых возможностей стало основой для данной работы, целью которой является создание веб-приложения «Арт-сигнатура», позволяющего пользователям анализировать изображение на основе его цвета, определять степень схожести изображения с известными жанрами и составлять список художников, работавших с аналогичной цветовой палитрой.
Приложение «АртСигнатура» [2] целесообразно использовать искусствоведам, занимающимся анализом изображений, а также пользователям сети Интернет, интересующимся живописью.
Приложение анализирует цвета картины (или фото) на основе доминирующей палитры входного изображения, а также формирует список ху-
дожников, создававших картины в схожей цветовой гамме, выстраивает сравнительную таблицу предполагаемых жанров.
Приложение «АртСигнатура» должно не просто определять прямое вхождение цвета в анализируемое изображение и в картину, ранее загруженную в базу, а выявлять общие цветовые паттерны и на их основе составлять массив с результирующими данными. Таким образом, цель приложения - анализ близости многомерных векторов, содержащих информацию о цветах входных изображений и данных из заранее сформированной базы, выборка для которой создаётся экспертом.
Подобный подход, безусловно, предполагает ряд ограничений. Например, в случае применения косинусной меры для сравниваемых векторов возможна ситуация, при которой угол между ними невелик, но при этом диапазон, в котором лежат цвета, сильно отличается. Для более точного анализа предполагается комбинированное использование различных алгоритмов сравнения и метрик.
Созданный программный продукт представляет собой веб-приложение с возможностью загрузки новых данных, построения на основе этого сравнительной таблицы предполагаемых жанров, а также выдачи имён художников, которые создавали картины с похожими цветами.
На основании вышеприведённого функционала приложения представлены выборки по следующим критериям:
• близость сформированного вектора цвета входящего изображения с цветовым вектором конкретных жанров, имеющихся в системе;
• использование цветов входящего изображения в работах конкретных художников.
В качестве косвенных аналогов приложения можно отметить поисковые системы сети Интернет, которые предоставляют возможность цветового анализа изображения и поиска картин, похожих по цветовой палитре. Самыми известными подобными сервисами являются «Картинки Google» (https://www.google.ru/imghp) и «Яндекс.Картинки» (https://yandex.ru/images/). Их отличительные особенности:многочисленная выборка похожих изображений и поиск различных разрешений входящего файла. Кроме того, гибкие фильтры позволяют выбирать из результатов изображения с заданным доминирующим цветом, а также с использованием дополнительных параметров (например, «белый фон», «горизонтальная ориентация», «PNG файл» и подобные). Однако данные сервисы не связаны с областью изобразительного искусства и не анализируют изображения, а формируют выборку исключительно в виде конкретных картин по заданным критериям.
ЯНДеКС Леонардо да Винчи Найти
ПОИСК картинки ВИДЕО КАРТЫ МАРКЕТ ЕЩЁ
размер v ориентация ^ тип л цвет v файл v товары свежие обои 1440-900
Рис. 1. Пример сложного запроса в «Яндекс.Картинках»
Мобильное приложение Smartify позволяет с помощью камеры устройства определять название и автора полотна, а затем предоставляет справочную информацию о произведении (https://play.google.com/store/apps/deta-ils?id=com.mobgen.smartify&hl=ru).
Однако прямых аналогов разрабатываемого сервиса, анализирующего цвет входящих изображений и выдающего информацию об их схожести с различными жанрами живописи и работами известных художников, не обнаружено.
Формирование вектора
Определение похожих жанров и степени их схожести осуществляется на основе вычисления некоторых коэффициентов и метрик. Для численной оценки схожести документов используется понятие функции расстояния и метрики. В практических работах иногда пользуются функциями близости, не удовлетворяющими аксиомам метрики.
Введём векторную модель. Тогда каждое изображение можно представить в виде вектора, где на i-й позиции находится число, демонстрирующее близость цвета к эталонному.
Для каждого изображения предусмотрены функции выделения доминирующих цветов и их представления в векторе, показывающем в шест-надцатеричной системе HEX близость основных цветов системы к преобладающем на изображении цветам. Такие векторы формируются как для вход-входного изображения, так и для жанров картин, находящихся в базе (рис. 2).
Для формирования вектора проверяется сходство некоторого набора цветов с основными эталонными цветами шестнадцатерич-ной системы представления HEX. Чем ближе цвета набора к эталонным, тем ближе значение координат вектора к единице.
Формирование векторов по жанрам происходит при нажатии кнопки «Определить векторы» на странице администратора. При срабатывании события vectorTeach происходит выборка всех жанров и художников из таблицы «genre». Затем для каждого художника выбираются соответствующие цвета из таблицы «color». После этого создаётся массив, хранящий соответствия цветов и жанров. Иллюстрация этого процесса представлена на рисунках 3 и 4. На основе этих цветов строится вектор всех жанров. В итоге все сформированные векторы записываются в таблицу «vector».
HEX таблица цветов
Цвета исходного изображения
Результирующим вектор
Рисунок 2. Формирование вектора
Рис. 3. Изначальное соотношение цветов Рис. 4. Итоговое соотношение цветов
Вектор цветов входящего изображения составляется на основе его доминирующих цветов. При его формировании вычисляется косинусная мера близости между всеми векторами жанров. Полученные значения выводятся в таблице, поля которой закрашиваются в соответствии с их близостью к максимальному значению.
Применяемые метрики
Косинусное сходство - это мера сходства между двумя векторами линейного пространства, которая используется для измерения косинуса угла между ними [1].Если даны два вектора признаков, А и В, то косинусное сходство, cos(0), мы можем представить, используя скалярное произведение и норму:
cos( в) = , T.i-iAlxBl _ , Где а и в - сравниваемые векторы, а 0 -
JSh(Ai)2xSh(Bi)2
угол между ними.
В случае информационного поиска косинусное сходство двух документов изменяется в диапазоне от о до 1, поскольку частота терма не может быть отрицательной. Угол между двумя векторами частоты терма не может быть больше, чем 90°.
Метрика схожести, называемая сходством (resemblance) или коэффициентом перекрытия (overlap), рассчитывается следующим способом:
S(x, у) = . S'x'2y' 2 , где оператор min означает выбор минимального значения.
Преимущество такой метрики - в простоте представления заданных множеств. А недостаток заключается в сложности учёта повторяющихся элементов.
Следующая распространённая мера близости, используемая в приложении, носит название коэффициент Дайса. Рассчитать коэффициент Дайса (Dice) можно по следующей формуле:
S(x у) = 2'SiXi'yi
S(x,y) Six2+Siy(2'
Недостаток этой меры близости связан с проблемой теоретического обоснования некоторых операций над векторами. Достоинство же - в её простоте.
Ещё одна указанная выше метрика подобия документов - коэффициент Джаккарда (Дассагё). Недостаток меры аналогичен недостатку расчёта коэффициента Дайса. В перечисленных выше обозначениях формула определения коэффициента Джаккарда имеет вид:
S(X У) = -2^ixi'yi-
S(X,y) S^S^-S^yf
Наибольшую популярность среди перечисленных метрик подобия имеет косинус угла между векторами.
Результаты и тестирование
Чтобы убедиться в том, что система работает корректно, проведём тест с текущей сформированной базой данных, содержащей, например, информацию о чёрно-белых гравюрах Гюстава Доре. В качестве теста (рис. 5) используется изображение с гравюрой этого художника, которая на момент формирования базы данных не была включена в выборку. Как видно из примера, результат выдачи корректен, так как сформированная таблица схожести по жанрам отражает степень близости гравюры к абстрактным
жанрам, для которых характерны яркие и контрастные цвета. Кроме того, на этапе формирования базы данных художнику Доре был присвоен жанр «Абстрактное».
Показательным примером работы приложения «АртСигнатура» (рис. 6) послужит анализ фрагмента триптиха Иеронима Босха «Сад земных наслаждений», так как он имеет разнообразную цветовую палитру. Именно поэтому в таблице схожести жанров во всех строках близкие показатели. Две галереи с работами художников, создававших картины в аналогичной цветовой палитре, соответствуют входному изображению. Так, тёмные элементы и красноватые фрагменты «Сада земных наслаждений» соотносятся с рядом работ Микеланджело Меризи да Караваджо. Нижняя часть анализируемого изображения со светло-жёлтыми и золотыми оттенками схожа с красками, которые любил использовать Густав Климт (например, в картине «Поцелуй»).
Выберите файл
Создавали работы с аналогичными цветами: Доре, Миро.
Версия 2.0 О проекте
Рисунок 5. Пример работы приложения «АртСигнатура»
Рисунок 6. Пример работы приложения «АртСигнатура»
Таким образом, в результате тестирования системы было выявлено, что разработанное веб-приложение «АртСигнатура» (https://artrue.ru/signatura) визуализирует результаты вычислений, помогая произвести анализ изображения на основе его цвета и предоставляя список художников, создававших произведения с подобной цветовой палитрой. В перспективе рассматривается реализация алгоритмов кластерного анализа и внедрение технологий нейронных сетей для уточнения выборки и формирования более полного результата анализа.
Литература
1. Бойцов Л.М. Классификация и экспериментальное исследование современных алгоритмов нечеткого словарного поиска // Электронные библиотеки: перспективные методы и технологии, электронные коллекции Труды Шестой Всероссийской научной конференции [Электронный ресурс]: URL: http://rcdl.ru/doc/2004/paper27.pdf (дата обращения: 13.09.2017)
2. АртСигнатура - веб-приложение для аналитики изображений на основе их цвета [Электронный ресурс]: URL: https://artrue.ru/signatura(дата обращения: 13.09.2017)
