CC BY
17
УДК 535.6; УДК 004.421 DOI: 10.17586/0021-3454-2018-61-6-513-520
МЕТОДЫ ОЦЕНКИ ВИЗУАЛЬНОЙ СЛОЖНОСТИ ЛАЗЕРНЫХ РАСТРОВЫХ ИЗОБРАЖЕНИЙ
В. Т. Прокопенко, Н. В. Матвеев, Н. П. Сапунова, Е. К. Егорова, Л. С. Елкина
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: prokopenko@mail.ifmo.ru
Методы воздействия на человека, позволяющие ему в краткие сроки восполнить психоэмоциональные потери для восстановления психофизиологического состояния, сегодня обретают все большую актуальность. Одним из таких методов стало создание визуальных стимулов и обеспечение должного их восприятия. Психофизиологическое состояние человека при наблюдении зрительных сцен зависит, в частности, от визуальной сложности изображения, ключевым фактором восприятия является его структура. Использованы изображения, полученные с применением оптической лазерной системы, с целью создания визуального контента для комнат психологической разгрузки. Для повышения эффективности воздействия таких комнат необходимо корректно оценивать визуальную сложность изображений, а также ее диапазон, в котором изображения будут оказывать расслабляющее воздействие с максимальной эффективностью. Предложен метод определения степени самоподобия изображений на основе корреляции двух методов: фрактального и пирамиды гистограмм ориентированных градиентов.
Ключевые слова: самоподобие, гистограмма ориентированных градиентов, фрактальная размерность, выделение контура изображения, психоэмоциональное восприятие, абстрактные лазерные растровые изображения, психофизиологическое воздействие
Современный уровень развития психофизиологии позволяет разрабатывать способы воздействия на функциональное состояние человека, не требующие специфического вмешательства специалиста и исключающие использование инвазивных методов. Особый интерес представляют методы воздействия на психофизиологический статус человека через зрительный анализатор [1].
Альтернативой общепринятым способам профилактики стресса и борьбы с ним [2, 3] при современном ритме и условиях жизни является визуальная стимуляция (ВС). Мы не имеем возможности исключить факторы стресса из нашей жизни, но можем пытаться снизить силу последствий воздействия стрессоров [4]. Чувствительность зрительного анализатора изменяется под влиянием внешнего раздражения [5], это объясняет взаимосвязь внешних раздражителей и эмоций человека [6]. Внешние факторы изменяют психоэмоциональное состояние, вызывая физиологические изменения организма. Реагируя на световые раздражители, человек реагирует на изменения внешней среды [7, 8]. Следовательно, возможно активизировать как физиологическую (системную), так и эмоциональную активность, непосредственно связанную с зоной воздействия. Зная закономерности изменения восприимчивости органов чувств, можно подбором побочных раздражителей повышать или понижать ее [9].
Важно отметить, что естественная среда способна оказывать более сильное влияние, чем виртуальные аналоги [10, 11]. Неоспорима важность такого влияния на показатели здоровья и уровень жизни человека, что открывает путь к улучшению этих показателей и на рабочем месте [12]. Возникает интерес к результатам воздействия в комплексном использовании. Для изучения и использования комбинированного влияния аудиальной и визуальной составляющих на человека (стресс-менеджмент) в рабочей обстановке (в том числе в учебном
процессе) на базе Университета ИТМО проводятся исследования, основанные на анализе абстрактных лазерных растровых изображений (АЛРИ). Результаты исследования влияния контента на работоспособность человека показали возможность синтезированного светового и звукового воздействия на скорость, точность обработки информации и на работоспособность человека в целом [9].
К наиболее значимым характеристикам визуальных объектов, способных оказывать психофизиологическое воздействие на человека, можно отнести их цвет и структуру. Исследований, посвященных влиянию цвета на человека, достаточно много, анализу влияния структуры изображений — значительно меньше.
Поскольку эмоциональная оценка изображения зависит от сложности его структуры [13], для увеличения эффективности воздействия АЛРИ необходимо создавать структуры с нужными параметрами.
Для оценки и сравнения изображений сложных структур используются: метод фрактальной размерности (ФР) и метод пирамиды гистограмм ориентированных градиентов (1 Н ОГ). Необходимость использования для АЛРИ обоих методов продиктована рядом особенностей каждого из них.
Степень схожести целого изображения с отдельной частью (степенью самоподобия, или фрактальностью) играет большую роль в воздействии на психофизиологическое состояние человека [15]. К преимуществам фрактального метода можно отнести высокую эффективность при оценке визуальной сложности структуры изображений. Благоприятный для воздействия на человека диапазон значений ФР [16] экспериментально определен. Исследования показали, что устойчивость внимания человека к изображениям невелика как при низкой, так и при высокой степени их визуальной сложности (изображение является для человеческого сознания либо слишком простым, либо слишком сложным). Иными словами, изображения должны быть достаточно интересными, но не слишком сложными для восприятия [17]. Численные значения сложности наблюдаемых структур выражены через ФР — показатель фрактальных структур — или на основе количественной оценки их сложности, который характеризует изменения в деталях с изменением масштаба. Исследования показали диапазон оптимальных значений ФР для плоских изображений: от 1,3 до 1,5 [13, 16, 18].
Основой фрактального метода является работа с контурами изображений, поэтому при его использовании для оценки АЛРИ необходимо провести ряд операций с изображением, начиная с бинаризации. Однако при выполнении этой операции теряется большой объем информации вследствие потери целого ряда структур контуров изображения (поскольку АЛРИ свойствен сложный характер распределения интенсивности), что подтверждает визуальный контроль.
Это определяет необходимость разработки алгоритма выделения контуров сложных структур АЛРИ для более достоверной оценки его структуры.
Метод ПГОГ (pyramid histogram of oriented gradients, метод машинного зрения), основанный на подсчете числа направлений градиента целого изображения и его областей, где градиент изображения — направление максимального изменения его яркости изображения, позволяет определить степень самоподобия изображения.
Для оценки АЛРИ с помощью метода ПГОГ нет необходимости выделять контуры изображения. Это значит, что можно оценить всю сложную структуру АЛРИ, рассматриваются градиенты изображения, а не его контуры. Однако этот метод менее изучен, не применялся ранее для анализа сложности структур АЛРИ и не имеет экспериментально определенного диапазона значений, в котором оказывается необходимое влияние изображения на человека.
С помощью метода ПГОГ в результате расчетов выводится значение самоподобия изображения.
Наиболее часто для расчета ФР используется метод Минковского, или box-counting dimension. Согласно этому методу, некоторая D-мерная геометрическая структура при делении
ее на п равных частей в нескольких итерациях дает пБ = N новых элементов. Поскольку для более точного определения Б необходимо как можно больше итераций масштабирования сетки, можно получить следующую математическую зависимость:
D = - lim
8^0'
log N (б) log(8)
(1)
где N(s) — минимальное число элементов, необходимых для покрытия объекта, 8 — размер такого элемента.
При исследовании стандартного метода вычисления ФР для АЛРИ было установлено, что невозможно корректно обрабатывать изображения с нечеткими контурами из-за недостаточной чувствительность способа идентификации границ, использующегося для создания бинарных масок изображений [19]. Была произведена адаптация стандартного метода путем включения в него разработанного авторами настоящей статьи алгоритма выделения контуров АЛРИ. Расчеты производились в математической среде MatLab и была использована функция boxcount [20].
Предлагаемый алгоритм выделения контуров состоит из нескольких этапов.
1. Предварительная обработка: перевод цветных изображений (RGB) в градации серого; увеличение контрастности.
2. Сегментация изображения с использованием дополнительных граничных пикселов.
3. Обработка каждого сегмента в отдельности: выделение границ оператором Канни (Canny) с использованием индивидуального порога для каждого сегмента; очистка полученных бинарных изображений от шума.
4. Объединение сегментов в единое изображение с заменой частей исходного изображения, обработанных с удалением окантовочных пикселов.
5. Шумоподавление на целом изображении.
На рис. 2 представлен алгоритм выделения контуров АИЛГ: а — исходное изображение; б — его бинаризация; в — обработка изображения (увеличение контрастности).
а) б) в)
- -___ ш ~ 1, ____ f /
Рис. 1
Исходное изображение подвергается обязательной предварительной обработке для возможности работы с любыми цветными изображениями и улучшения контрастности границ объекта (на рис. 2 приведены АИЛГ в градациях серого, его сегментация (а) и поэтапная обработка одного из сегментов).
При подборе оптимального порогового значения по методу Канни для всего изображения необходимо использовать оператор выделения контуров. При слишком маленьком значении видны все слабые перепады интенсивности, но изображение сильно зашумлено; при большом шум исчезнет, но вместе с ним могут быть потеряны и важные контуры. Этим продиктована необходимость сегментации изображений и автоматизации использования индивидуального порога для каждого из сегментов.
В силу особенностей оператора Канни граничные пикселы сегмента не могут быть обработаны, и в месте „склейки" образуется белая решетка (рис. 2, а), повторяющая сетку разбиения. Для ее устранения необходимо обрабатывать сегмент с дополнительно присоединенными
к нему граничными пикселами окружающих фрагментов, так как простое наращивание идентифицируется как ложный контур. Операция удаления шумов реализована как очистка изображения от слишком коротких и не связанных с исходным изображением контуров.
а) б) в) г)
Рис. 2
Работа алгоритма оценивалась путем визуального сравнения полученного результата (рис. 3, а), исходного изображения в градациях серого и используемой бинарной маски в стандартном варианте расчета ФР (рис. 3, б). Так же можно сравнить работу предлагаемого алгоритма использованием одного оператора Канни (рис. 3, в).
Рис. 3
В качестве автоматизированного метода обработки АИЛГ для оценки самоподобия (self-similarity) изображений выбран метод пирамид гистограмм ориентированных градиентов.
Алгоритм ПГОГ построен на неоднократном использовании гистограмм ориентированных градиентов для исходного изображения и его частей. Эти гистограммы служат дескрипторами определенных точек, использующимися в компьютерном зрении и для распознавания объектов при обработке изображений. Градиент изображения определяется по формуле:
V/ =
/. /
dx' dy
(2)
Изображение условно делится на блоки, состоящие из клеток. По всему изображению рассчитываются значения градиента и записываются в соответствующие пикселы. Далее градиенты в каждой клетке усредняются. Направление и длина градиента рассчитываются по формулам
( а, ^
9 = аг^
4
G -aЮГ + G2y.
\ Gx J
d/ „ где dr = Gx
dx
f - G
dy
у
(3)
(4)
Рассчитать производные функции яркости Gy и Gx позволяют маски Собеля (Sobel), Ро-бертса (Roberts), Канни (Canny) и др.
На рис. 4 приведен пример поблочного распределения усредненных векторов градиента в зависимости от размера клетки порядка п=2х (а — исходное изображение, б — n=128, в — 64, г — 32). При уменьшении размера клетки увеличивается количество усредненных векторов.
Рис. 4
Принцип работы масок основан на свертке матриц, учитывающей вес пикселов. При расчете производной функции яркости использован оператор Канни, который, прежде чем рассчитывать производные, производит предварительную обработку изображений. Происходит фильтрация изображения от шумов: пикселы с близкими значениями приравниваются друг к другу, и границы находятся там, где градиент изображения максимален.
По найденным значениям градиента в каждом блоке строится гистограмма его направлений. Дальнейшая задача — нормализация гистограммы, необходимая для анализа изображения и корректного сравнения гистограмм других блоков при дальнейших расчетах. Нормализация гистограмм выполняется по общему весу всех признаков изображения [21]. Нормализованные гистограммы блоков объединяют.
С помощью метода ПГОГ рассчитывается значение самоподобия изображения: исходное изображение делится на сегменты, и для каждого сегмента процесс расчетов повторяется как для отдельного самостоятельного объекта. Полученные нормализованные гистограммы для каждого сегмента изображения сравниваются с нормализованной гистограммой исходного изображения. При сравнении гистограмм число бинов в изображениях должно быть одинаковым.
Существует ряд способов сравнения гистограмм — метод пересечения гистограмм (intersection), метод „хи-квадрат", метод расстояния „Бхаттачарья" (Bhattachar). На основе экспериментальных исследований был выбран метод пересечения гистограмм, полученный с его помощью результат сравнения d(H1, H2)
d H H 2 ) = £min(H1 ), H2(i)) (5)
i
принадлежит интервалу [0;1]; d=1 — максимальное соответствие гистограмм, d=0 — их полное несоответствие.
Значение самоподобия изображения рассчитывается по формуле:
1 m
= , (6)
m
i=1
где m — число гистограмм или частей изображения, di — показатель сравнения гистограмм дочерних изображений с гистограммой исходного.
Для оценки воздействия АЛРИ на эмоциональное состояние человека этот метод применяется впервые. Были сделаны серии фотоснимков динамических АЛРИ и собраны изображения, различающиеся цветом и структурой контуров.
На основе работы [22] в среде PyChamp написан фрагмент программы (листинг) на языке программирования Python, позволяющий рассчитать самоподобие изображений (на основе сравнения гистограмм методом пересечения и расчета ядра пересечения гистограмм). В результате реализации разработанного метода получен диапазон значений se[0;1] (чем ближе значение к единице, тем более самоподобны изображения), т.е. весь диапазон возможных значений покрыт. Это позволяет исследовать самоподобие структур АЛРИ, применяемых для воздействия на эмоциональное состояние человека.
Поскольку неизвестны оптимальные значения самоподобия (как показателя ФР), возникает вопрос о корреляции этих величин. На основе бинарных изображений, ФР которых рассчитать несложно, была построена зависимость значения D от степени самоподобия (рис. 5). Можно увидеть, что полученная зависимость имеет вид степенной функции, по ней определен интервал значений степени самоподобия, соответствующий интервалу фрактальной размерности De[1,3—1,5]. Экспериментально выведенный диапазон оптимальных значений степени самоподобия изображений — 0,04—0,16.
2 °
1,5 1,3
,16
Рис. 5
Получив значения показателя ФР и степени самоподобия методом ПГОГ, возможно корректно подобрать необходимые для регулирования уровня стрессовых состояний человека параметры ВС. Знание подобных количественных показателей необходимо для расчета и контроля оптической системы формирования АЛРИ.
СПИСОК ЛИТЕРАТУРЫ
1. Ткачева Л. О. Воздействие фрактальных динамических изображений на функциональное состояние человека // Вестн. СПбГУ. Сер. 12. 2010. Вып. 2. С. 378—387.
2. Van den Berg A. E., Hartig T., and Staats H. Preference for Nature in Urbanized Societies: Stress, Restoration, and the Pursuit of Sustainability // J. of Social Issues in Mental Health Nursing. 2007. Vol. 63, N 1. Р. 79—96.
3. Van den Berg A. E., Maas J., Verheij R. A., and Groenewegen P. P. Green Space as a Buffer between Stressful Life Events and Health // Social Science and Medicine. 2010. Vol. 70, N 8. Р. 1203—1210.
4. Луизов А. В. Глаз и свет. Л.: Энергоатомиздат, 1983. 144 c.
5. Кравков С. В. Взаимодействие органов чувств. М.—Л., 1948.
6. Кравков С. В. Цветовое зрение. М.: АН СССР, 1951. 175 с.
7. Сперанский А. Д. Элементы построения теории медицины. М.— Л.: Изд-во ВИЭМ, 1935.
8. Прокопенко В. Т., Трофимов В. А., Шарок Л. П. Психология зрительного восприятия. СПб: СПбГУ ИТМО, 2006.
9. Матвеев Н. В., Прокопенко В. Т., Сапунова Н. П., Фридман Д. А. Исследование влияния светомузыкальных спектаклей на психофизиологическое состояние человека // Светотехника. 2016. № 1. С. 5—7.
10. Kahn P. H., Friedman B., Gil, B., Hagman J., Severson R. L., Freier N. G., Feldman N., Carrere S. and Stolyar A. A Plasma Display Window?—The Shifting Baseline Problem in a Technologically Mediated Natural World // J. of Environmental Psychology. 2008. Vol. 28, N 2. Р. 192—199.
11. McMahan E. A. and Estes D. The Effect of Contact with Natural Environments on Positive and Negative Affect: A Meta-Analysis // The Journal of Positive Psychology. 2015. Vol. 6, N 10. DOI: 10.1080/17439760.2014.994224.
12. Richardson M., Maspero M., Golightly D., Sheffield D., Staples V., and Lumber R. Nature: a new paradigm for well-being and ergonomics // Ergonomics. 2017. Vol. 60, N 2. Р. 292—305.
s
0
1
13. Forsythe A., Cela-Conde C. Predicting beauty: Fractal dimension and visual complexity in art // British J. of Psychology. 2011. N 102. Р. 49—70.
14. Mandelbrot B. B. The fractal geometry of nature. NY: Freeman, 1982. 468 р.
15. Taylor R. P. Reduction of physiological stress using fractal art and architecture // Leonardo. 2006. N 39. Р. 245—251.
16. Berlyne D. E. Aesthetics and psychobiology. NY: Appleton-Century-Crofts, 1971. 336 р.
17. Taylor R. P., Spehar B., Van Donkelaar P., Hagerhall C. M. Perceptual and physiological responses to Jackson Pollock's fractals // Frontiers in Human Neuroscience. 2011. Vol. 5. Art. no. 60. doi:10.3389/fnhum.2011.00060.
18. Spehar B. et al. Universal aesthetic of fractals // Computers & Graphics. 2003. Vol. 27, N 5. Р. 813—820.
19. Moisy F. Computing a fractal dimension with Matlab: 1D, 2D and 3D Box-counting [Электронный ресурс]: <https ://www. mathworks.com/matlabcentral/fileexchange/13063-boxcount>.
20. Fairbanks M. S., and Taylor R. P. Scaling Analysis of Spatial and Temporal Patterns: From the Human Eye to the Foraging Albatross. Non-linear Dynamical Analysis for the Behavioral Sciences Using Real Data. Boca Raton: Taylor and Francis Group. 2011.
21. Lazebnik S., Schmid C., and Ponce J. Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories // IEEE Conference on Computer Vision and Pattern Recognition. 2006. P. 2169—2178.
22. DalalN., TriggsB. Histograms of oriented gradients for human detection // Proc. CVPR. 2005. Vol. 2. Р. 886—893.
Сведения об авторах
Виктор Трофимович Прокопенко — д-р техн. наук, профессор; Университет ИТМО; кафедра свето-
техники и оптоэлектроники; E-mail: prokopenko@mail.ifmo.ru Николай Вадимович Матвеев — канд. техн. наук, доцент; Университет ИТМО; кафедра высшей
школы светового дизайна; E-mail: matveev_nv@mail.ru Наталия Петровна Сапунова — аспирант; Университет ИТМО; кафедра высшей школы светово-
го дизайна; E-mail: modernns@yandex.ru Елизавета Константиновна Егорова — студентка; Университет ИТМО; кафедра светотехники и оптоэлектроники; E-mail: lizavetka.2014@mail.ru Лилия Сергеевна Елкина — студентка; Университет ИТМО; кафедра светотехники и опто-
электроники; E-mail: lili395@mai.ru
Поступила в редакцию 05.02.18 г.
Ссылка для цитирования: Прокопенко В. Т., Матвеев Н. В., Сапунова Н. П., Егорова Е. К., Елкина Л. С. Методы оценки визуальной сложности лазерных растровых изображений // Изв. вузов. Приборостроение. 2018. Т. 61, № 6. С. 513—520.
METHODS OF ESTIMATION OF VISUAL COMPLEXITY OF LASER RASTER IMAGES
V. T. Prokopenko, N. V. Matveev, N. P. Sapunova, E. K. Egorova, L. S. Elkina
ITMO University, 197101, St. Petersburg, Russia E-mail: prokopenko@mail.ifmo.ru
The psychophysiological state of a person when observing visual scenes depends, among other things, on the visual complexity of the images. Images of laser graphics are used to create visual content for the rooms of psychological relief. To increase the effectiveness of such rooms, it is necessary to be able to assess the visual complexity of the images of the laser graphics, as well as its range, in which the images will have a relaxing effect. For these purposes, a method for determining the degree of self-similarity of images based on a pyramid of oriented gradients is proposed.
Keywords: self-similarity, histogram of oriented gradients, fractal dimension, image outline, psy-choemotional perception, abstract lase raster image, psychophysiological impact
Data on authors
Viktor T. Prokopenko — Dr. Sci., Professor; ITMO University, Department of Light Technologies
and Optoelectronics; E-mail: prokopenko@mail.ifmo.ru
Nikolay V. Matveev — PhD, Associate Professor; ITMO University, Department of Creative
Lighting Design; E-mail: matveev_nv@mail.ru Natalya P. Sapunova — Post-Graduate Student; ITMO University, Department of Department of
Creative Lighting Design; E-mail: modernns@yandex.ru Elizaveta K. Egorova — Student; ITMO University, Department of Light Technologies and Optoelectronics; E-mail: lizavetka.2014@mail.ru Liliya S. Elkina — Student; ITMO University, Department of Light Technologies and Op-
toelectronics; E-mail: lili395@mai.ru
For citation: Prokopenko V. T., Matveev N. V., Sapunova N. P., Egorova E. K., Elkina L. S. Methods of estimation of visual complexity of laser raster images. Journal of Instrument Engineering. 2018. Vol. 61, N 6. P. 513—520 (in Russian).
DOI: 10.17586/0021-3454-2018-61-6-513-520
