Научная статья на тему 'Анализ методов снижения психосемантической избыточности изображений'

Анализ методов снижения психосемантической избыточности изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
127
13
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ПСИХОСЕМАНТИЧЕСКАЯ ИЗБЫТОЧНОСТЬ / КАДРИРОВАНИЕ ИЗОБРАЖЕНИЙ / КАРТА САЛИЕНТНОСТИ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Валухов Виктор Алексеевич

В данной статье рассмотрен вопрос снижения психосемантической избыточности графической информации, выявлены преимущества и недостатки методов кадрирования изображений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Валухов Виктор Алексеевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Анализ методов снижения психосемантической избыточности изображений»

АНАЛИЗ МЕТОДОВ СНИЖЕНИЯ ПСИХОСЕМАНТИЧЕСКОЙ ИЗБЫТОЧНОСТИ ИЗОБРАЖЕНИЙ Валухов В.А.

Валухов Виктор Алексеевич - магистрант,

кафедра программной инженерии, Орловский государственный университет им. И.С. Тургенева, г. Орёл

Аннотация: в данной статье рассмотрен вопрос снижения психосемантической избыточности графической информации, выявлены преимущества и недостатки методов кадрирования изображений.

Ключевые слова: психосемантическая избыточность, кадрирование изображений, карта салиентности.

В настоящее время вместе с нарастающей вычислительной мощностью технических устройств увеличивается и объём циркулирующей в информационных системах графической информации, а также количество требований, предъявляемых к системам и приложениям касательно содержательности и презентабельности данных. Ввиду таких факторов, как шумы и избыточность графической информации, её представление зачастую оказывается перегруженным и избыточным.

С помощью сжатия изображения можно уменьшить статистическую (основанную на наличии закономерностей в изображении) и психовизуальную (основанную на ограничениях зрительной системы человека) избыточности, при этом смысловая нагрузка (содержательность) изображения остаётся неизменной [1]. Однако изображения могут быть подвержены особому виду избыточности -психосемантической избыточности, под которой можно понимать долю ненужных, не несущих смысл областей изображения, либо долю областей изображения, вклад которых в общую содержательность изображения невелик.

Для ликвидации психосемантической избыточности в изображениях возможно применить ограничение видимой

области, то есть кадрирование. Условно методы кадрирования можно разделить на две группы: методы шаблонного кадрирования и методы кадрирования, основанные на анализе содержимого изображения.

Шаблонное кадрирование подразумевает наличие некоторого заранее созданного множества шаблонов, Каждый шаблон содержит некоторую универсальную последовательность действий над изображением, в результате которой получается усечённая видимая область. Универсальность последовательности действия

заключается в том, что форм-фактор и содержимое изображения ни на что не влияют.

Примеры шаблонных действий:

а) кадрировать изображение по центру - кадрирующая рамка представляет собой квадрат, центр которого совпадает с центром изображения. Данный шаблон преимущественно используется для перехода от прямоугольного форм-фактора изображения к квадратному. Главная идея такого перехода заключается в предположении, что изображение включает единственный важный объект, расположенный по центру изображения;

б) кадрировать изображение, используя принципы правильной композиции фотографии - размеры кадрирующей рамки определяются принципами фотографирования. Например, принцип «золотого сечения» подразумевает деление отрезков на части в таком соотношении, при котором большая часть относится к меньшей, как сумма к большей части. Угловые точки кадрирующей рамки делят стороны изображения в соответствии с указанным принципом: часто используются четыре точки, расположенные на расстоянии 3/8 и 5/8 от краёв изображения.

Все виды шаблонного кадрирования просты в реализации, но ввиду отсутствия связи процесса кадрирования и содержимого изображения результат может исказить содержание оригинального изображения и

психосемантическая избыточность не будет устранена.

Кроме того, для получения приемлемого результата с помощью шаблонного кадрирования необходимо осуществлять фотосъёмку с заранее заданными условиями: компоновка и центрирование объектов, соблюдение пропорций и т. д. Данные условия отсекают возможность успешного кадрирования случайных изображений с отсутствием какой-либо компоновки объектов и изображений со сложно выделяющимися объектами.

Так как изображения предназначены в первую очередь для человека, то процесс кадрирования должен учитывать особенности восприятия человека: взаимосвязь внимания и сознания, избирательность внимания [2]. Результатом такого кадрирования является видимая область изображения, включающая «привлекательные» для человека элементы, совокупность которых в большей степени определяет содержательность изображения.

Условно методы, основанные на анализе содержимого изображения, можно разделить на три группы:

а) основанные на детектировании особенностей изображения;

б) основанные на детектировании объектов;

в) основанные на получении карты салиентности.

Методы, основанные на детектировании особенностей

изображения, являются основанием для более высокоуровневых методов других групп. Детектирование особенностей изображения предполагает определение степени отличия стимула от своего окружения в конкретной субмодальности. Именно учёт только одной субмодальности и является главным ограничением методов, основанных на детектировании особенностей изображения. Однако такие методы возможно использовать в качестве части других методов: в детекторах объектов особенности зачастую принадлежат объектам, что позволяет отделить объекты от фона изображения; в получении карты салиентности элемент является салиентным (заметным), если он является особенностью в нескольких субмодальностях (например, яркость и цвет).

Существует большое количество детекторов особенностей изображений: детекторы граней, рёбер, блобов, углов. Последние детекторы, которые ещё называют детекторами ключевых точек, имеют наибольшую популярность по причине лучшей формализации и более простой реализации. Детектор ключевых точек должен обеспечивать инвариантность извлечения одной и той же группы ключевых точек относительно преобразований изображения.

Полученные ключевые точки образуют облако точек, размеры и позиция которого определяют параметры кадрирующей рамки. Однако из-за того, что поиск ключевых точек проводится только в одной субмодальности, облако точек не может в полной мере отражать психологические особенности человеческого внимания и сознания. Кроме того детекторы могут выдать огромное количество точек, распределённых по всей площади изображения, вследствие чего результирующая кадрирующая рамка будет включать много областей, не влияющих на содержание. Этот эффект можно сгладить путём фильтрации облака точек и переходом к детекторам блобов, работающим не с точками, а областями изображения. Однако это полностью не устранит эффект (ввиду того, что детектирование изначально не подразумевало никакой группировки точек) и добавит дополнительные вычислительные расходы (в случае использования детектора блобов).

Стоит также отметить, что облако точек, полученное в результате работы детекторов ключевых точек, не является обязательно каким-то объектом. Вообще ключевые точки являются лишь координатами на плоскости, а для более высокоуровневых систем требуется некоторое математическое описание ключевых точек. Данное описание, позволяющее выделить и идентифицировать ключевые точки из множества других ключевых точек, называется дескриптором. Множество дескрипторов формирует пространство признаков, по которому всё ещё нельзя точно сказать, что является объектом, и где он находится. Однако на основании дескрипторов формируется первая гипотеза

(предположение) о наличии и возможном месторасположении объектов.

Если увеличить количество изображений, на которых присутствует одна и та же группа объектов, то можно использовать накопленные ранее сведения об объекте (пространство признаков) в качестве гипотезы, а новые сведения осуществляют проверку этой гипотезы. Другими словами, при наличии последовательности кадров (видеозаписи) возможно получение описания объекта более высокой точности и отделение объекта от фона (изображение разделяется на два плана: передний и задний). Данная работа выполняется детекторами объектов, работа которых в свою очередь сильно завязана на детекторах особенностей. Кадрирующая рамка в данном случае включает выделенный объект.

Надо учитывать, что выделенный объект не всегда соответствует интересующим человека на уровне внимания областям изображения. Это связано с тем, что, как указано выше, детекторы особенностей работают только с одной субмодальностью. Кроме того контекст объекта также может быть значимым. Кадрирование на основе детектирования объектов может устранить проблему слишком распределённого облака точек, от которой страдают детекторы ключевых точек, но также имеет свои недостатки в виде необходимости последовательности кадров и высоких вычислительных затрат (не все детекторы объектов подразумевают временную реализацию, но без последовательности кадров работа таких детекторов либо имеет крайне высокие вычислительные затраты, либо низкую точность детектирования).

Указанные выше недостатки возможно устранить, используя методы кадрирования, основанные на картах салиентности, содержащих визуальные элементы, способствующие выбору стимула в процессе избирательного внимания [3]. По отношению к пространству признаков (множеству дескрипторов особенностей) и дескрипторам объектов карты салиентности занимают промежуточное

положение. Учитывая влияние стимулов в нескольких субмодальностях, карты салиентности представляют собой результат слияния работы нескольких детекторов особенностей. При этом карты салиентности также содержат сведения о возможном наличии и позиции объектов, что делает возможным использование карт салиентностей в детекторах объектов.

Методы построения карт салиентности можно разделить на следующие группы:

а) временные методы;

б) локальные методы;

в) глобальные

г) методы, основанные на правилах визуальной организации (локально-глобальные).

Временные методы получения карты салиентности подразумевают наличие последовательности кадров и расчёт остаточного движения.

Локальные методы получения карт салиентности основываются на расчёте дескрипторов пикселей с окрестностями в разных субмодальностях. Дескрипторы комбинируются для каждого пикселя, а значение результирующего дескриптора нормализуется. В итоге этих действий получается пространственная карта салиентности. Основной проблемой пространственной карты салиентности является сильная чувствительность к изменениям стимулов. Для устранения ложных салиентных областей пространственная карта салиентности объединяется с временной картой салиентности. В результате ложные салиентные области устраняются, но реализация становится пространственно-временной, то есть требуется последовательность кадров.

Глобальные методы получения карт салиентности основываются на идеи подавления часто появляющихся особенностей изображения, сохраняя при этом особенности, которые отклоняются от нормы. Наиболее распространёны глобальные методы получения карт салиентности на основе

остаточного спектра, используя для расчёта частотно-фазовые характеристики изображения.

Глобальные методы получения карт салиентности просты в реализации, эффективны и имеют большое количество модификаций (в том числе и временных). Однако глобальные методы, как и локальные, достаточно чувствительны к изменению стимулов, поэтому требуются дополнительные действия над картой салиентности для дальнейшего кадрирования.

Методы, основанные на правилах визуальной организации, подразумевают наличие форм, которые могут содержать или несколько центров организации форм. Исходя из этого, следует, что салиентные пиксели должны быть сгруппированы. Пиксель является салиентным, если его окрестность фиксированного размера непохожа на другие окрестности пикселей изображения. При этом вся окрестность является салиентной, если похожие окрестности располагаются близко, и менее салиентной, если похожие окрестности располагаются далеко [4]. Методы, основанные на правилах визуальной организации, вычислительно сложнее глобальных методов, но группирование салиентных областей существенно упростит поиск областей, которые необходимо включить в видимую область, то есть кадрировать.

На основании проведённого анализа методов снижения психосемантической избыточности изображений можно прийти к выводу об оптимальности использования методов, основанных на получении карт салиентности. При этом использование методов получения карты салиентности, основанных на организации визуальной среды, может значительно облегчить процесс кадрирования за счёт группирования салиентных областей и снижения чувствительности к изменению стимула.

Список литературы

1. Черногорова Ю.В. Методы сжатия изображений // Молодой ученый. [Электронный ресурс], 2016. № 11. С. 239-241. Режим доступа: https://moluch.ru/archive/115/30856/ (дата обращения: 17.06.2019).

2. Tsuchiya N., Koch C. Attention and consciousness // Scholarpedia. [Электронный ресурс], 2008. № 5 (3). Режим доступа:

http://www.scholarpedia.org/article/Attention_and_consciousn ess/ (дата обращения: 17.06.2019).

3. Niebur E. Saliency map // Scholarpedia [Электронный ресурс], 2007. № 8 (2). Режим доступа: http://www.scholarpedia.org/article/Saliency_map/ (дата обращения: 17.06.2019).

4. Goferman S., Zelnik-Manor L. Context-aware saliency detection // IEEE Trans. Pattern Analysis and Machine Intelligence, 2012. P. 1915-1926.

i Надоели баннеры? Вы всегда можете отключить рекламу.