CC BY
62
На основе данного свойства необходимо оценить возможность получения эффективных по производительности алгоритмов сжатия, совмещающих в себе также способность защиты информации и проверки ее подлинности. Кроме этого, представляется целесообразным максимально использовать возможность заказа необходимой размерности маскирующего инструмента, которую предоставляют М-матрицы.
Литература
1. Беззатеев С.В., Литвинов М.Ю., Трояновский Б.К., Филатов Г.П. Выбор алгоритма преобразования, обеспечивающего изменение структуры изображений // Информационно-управляющие системы. -2006. - № 6. - С. 2-6.
2. Балонин Н.А., Сергеев М.Б. М-матрицы // Информационно-управляющие системы. - 2011. - № 1. -С. 14-21.
3. Балонин Ю.Н., Востриков А.А., Сергеев М.Б. О прикладных аспектах применения М-матриц // Информационно-управляющие системы. - 2012. - № 1. - С. 92-93.
4. Мироновский Л.А. Слаев В.А. Стрип-метод преобразования изображений и сигналов - СПб: Политехника, 2006. - 163 с.
5. Балонин Ю.Н., Сергеев М.Б. Алгоритм и программа поиска и исследования М-матриц // Научно-технический вестник информационных технологий, механики и оптики. - 2013. - № 3 (85). -С. 82-86.
6. Сергеев М.Б., Балонин Н.А., Балонин Ю.Н. Программа поиска М-матриц. Свидетельство о государственной регистрации программы для ЭВМ № 2012614356 от 16 мая 2012 г.
7. Балонин Ю.Н., Сергеев М.Б. М-матрица 22-го порядка // Информационно-управляющие системы. -2011. - № 5. - С. 87-90.
8. Thyagarajan K.S. Still Image and Video Compression with MATLAB. - Wiley, 2011. - 428 p.
9. Сэломон Д. Сжатие данных, изображений и звука. - М.: Техносфера, 2006. - 368 с.
10. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. ВУС: Учебное пособие. -1999. - 203 с.
Востриков Антон Александрович - Санкт-Петербургский государственный университет аэрокосмического приборостроения, кандидат технических наук, доцент, vostricov@mail.ru Чернышев Станислав Андреевич - Санкт-Петербургский государственный университет аэрокосмического приборостроения, аспирант, madmasm@gmail.com
УДК 004.932.2
РАЗРАБОТКА АДАПТИВНОГО ДЕТЕКТОРА ТОНА КОЖИ
Р.Р. Ахунзянов, А.Ю. Тропченко
Представлен новый метод обнаружения участков изображения, имеющих цвет, близкий к цвету кожи человека. В основе метода лежит применение непараметрического детектора и детектора движения. Для классификации цвета используется наивный байесовский классификатор, непрерывно обучающийся в процессе работы. Приведена качественная оценка работы детектора. Проведенные эксперименты показывают эффективность метода. Ключевые слова: обнаружение кожи, цветовая сегментация, наивный байесовский классификатор.
Введение
Обнаружение кожи играет важную роль во многих задачах обработки изображений и видео. Среди них обнаружение и слежение за лицами, определение формы и черт лиц, анализ жестов рук, поиск изображений по содержимому и связанные с человеко-машинным взаимодействием задачи.
Подавляющее большинство работ по данной тематике связано с обработкой изображений, полученных с обычных фото- и видеокамер [1]. Наиболее распространены методы обнаружения кожи, основанные на поиске по цвету, так как информация о цвете устойчива относительно операций вращения, масштабирования и частичного перекрытия какими-либо объектами. Благодаря этим свойствам цвет кожи может считаться эффективным средством для идентификации/определения области, в которой находится лицо, рука или открытая часть тела при условии, что пиксели цвета кожи точно представлены, смоделированы и определены.
Обнаружение цвета кожи в видимом диапазоне спектра может быть достаточно сложной задачей, поскольку цвет кожи на изображении чувствителен к следующим факторам:
- изменение уровня освещенности, что является наиболее важной проблемой современных систем обнаружении кожи, так как приводит к изменению тона кожи на изображении и существенно ухудшает качество работы детекторов;
- характеристики камеры - цвет, полученный камерой, зависит от отражательных характеристик поверхности, условий освещения и чувствительности сенсора камеры, поэтому даже при одинаковом
освещении цвет кожи одного и того же человека различен на изображениях, полученных с разных камер;
- расовая принадлежность - цвет кожи человека зависит от расовой принадлежности и климатических условий его места жительства;
- индивидуальные характеристики - возраст, пол, рассматриваемая часть тела;
- другие факторы - внешний вид (макияж, прическа, очки), цвет фона, наличие теней.
Многие из проблем, возникающих при работе с видимым спектром, могут быть преодолены при переходе в невидимый спектр, например, инфракрасной или спектрозональной съемки. Цвет кожи, полученный таким способом, остается постоянным при разном уровне освещенности, расовой принадлежности и использовании макияжа. Но необходимость в дорогом оборудовании и трудоемкий процесс его настройки ограничивают использование данных методов узкоспециализированными областями, например, биометрией.
Обнаружение кожи может быть рассмотрено как задача бинарной классификации, в которой рассматриваются два класса: пиксели, принадлежащие коже, и пиксели, принадлежащие фону. Основными шагами в операции обнаружении кожи, использующей информацию о цвете, являются:
1. представление пикселей изображения в соответствующем цветовом пространстве;
2. построение модели цвета кожи и фона, используя соответствующие распределения;
3. классификация пикселей изображения с использованием построенной модели.
Цель настоящей работы - создать детектор кожи, способный адаптироваться к изменениям условий освещения в процессе работы и предотвращающий возникновение дефектов ложного обнаружения неподвижных объектов, имеющих близкий к коже цвет.
Байесовский адаптивный детектор цвета кожи
Если цветовое пространство дискретно, то для каждого значения цвета с необходимо знать вероятности Р($кт | с) и Р(-$кт | с). Р($кт | с) - это вероятность того, что пиксель принадлежит участку кожи, если он имеет цвет с. Р(-зк1п | с) - это вероятность того, что пиксель не принадлежит участку кожи, если он имеет цвет с. Тогда решающее правило для детектора кожи можно записать следующим образом:
I (х, У) =
Pjskin | с(х,y))
P(-skin | c(x, y)) -skin, иначе.
Если вероятность того, что цвет принадлежит участку кожи, в © раз выше, чем обратная, то пиксель маркируется как принадлежащий участку кожи. Значение отсечки © должно быть выбрано на этапе обучения для обеспечения удовлетворяющих характеристик качества классификации. Проблема заключается в том, что для оценки функций P(skin | c(x, y)) и P(-skin | c(x, y)) необходимо большое количество тренировочных данных. К тому же, как было сказано во введении, характер распределения цвета кожи в цветовом пространстве зависит от большого количество внешних факторов, которые могут изменяться в процессе работы детектора. Это означает, что цвет кожи может изменяться со временем.
Вместо оценки функций P(skin | c(х, y)) и P(-skin | c(х, у)) воспользуемся правилом Байеса:
P(c | skin)P(skin)
P(skin | c) = -
P(-skin | c) =
P(c)
P(c | -skin)P(-skin)
P(c)
Тогда решающее правило может быть переписано в следующей форме: ©< P(c | skin)P(skin) P(c | -skin)P(-skin)'
Наконец, сделаем допущение, что вероятность встретить пиксель цвета кожи постоянна и не изменяется со временем. Тогда, учитывая, что P(-skin) = 1 - P(skin), перенесем постоянные множители в левую часть неравенства:
©^1-P(skin) < P(c | skin)
P(skin) P(c | -skin) '
Левая часть этого неравенства - константа, которая может быть выбрана во время обучения детектора кожи. В правой части неравенства - отношение правдоподобия. Полученная модель называется наивным байесовским классификатором. Таким образом, задача классификации пикселей сводится к оценке функций правдоподобия и выбору значения отсечки.
Для оценки функций правдоподобия предлагается использовать следующую схему. Кадры входящей последовательности обрабатываются детектором движения [2] и непараметрическим детектором кожи [3]. Детектор движения предназначен для предотвращения попадания статичных объектов, имеющих цвет, близкий к цвету кожи, в модель кожи. Непараметрический детектор кожи дает грубую оценку, которая затем уточняется. Участки изображения, помеченные как движущиеся и имеющие цвет кожи, используются для обновления модели кожи PSt текущего кадра. Все, что помечено как недвижущийся
фон, используется для обновления модели фона PBGt текущего кадра. Теоретически цветовые модели кожи и фона могут быть построены в любом цветовом пространстве. В настоящей работе были использованы цветовые пространства HSV и YCrCb, яркостная компонента игнорировалась. Фактически цветовые модели кожи и фона являются нормированными гистограммами.
Обновления моделей кожи и фона выполняются по следующему правилу: P(c | skin)t = (1 - а)P(c | skin)t- + aPSt, P(c | -skin)t = (1 - а)P(c | -skin)t_i + aPBGt, где а - скаляр, значение которого должно находиться в диапазоне [0; 1] и предназначено для управления скоростью обучения модели.
Поскольку цветовые модели кожи и фона получены из одного кадра, то количество наблюдений может быть недостаточно для получения достоверной статистической модели (проблема недостаточного семплирования). Особенно эта проблема касается модели кожи, так как участки движущейся кожи малы относительно размера фона. Обработка цветовых моделей линейным фильтром Гаусса со значением а, равным (0,1 - 0,6), помогает решить эту проблему.
Последний этап процесса обнаружения кожи заключается в применении решающего правила к каждому пикселю изображения. Он достаточно прост и нетребователен к вычислительным ресурсам. Оценка модели кожи и фона может быть эффективно реализована в параллельном потоке программы. Схема работы детектора кожи показана графически (рис. 1). Преобразование изображения между цветовыми пространствами на схеме не показано.
Рис. 1. Структурная схема детектора кожи
Оценка качества работы детектора кожи
Для оценки качества классификации детектора кожи необходимо подготовить или подобрать выборку из заранее размеченных данных (называемые также «groundtruthdata»). В данном исследовании была использована выборка, подготовленная авторами работ [4, 5]. Она состоит из 21 отрывка различных художественных фильмов. Для оценки детектора было использовано только десять видеофрагментов, в которых камера неподвижна. Ограничение на фиксированное положение камеры возникает из-за использования детектора движения. На видеопоследовательностях выборки присутствуют люди разных национальностей с разными оттенками кожи. В основном, сцены содержат лица и руки, либо верхнюю часть тела. Для каждого кадра последовательности было подготовлено две маски: маска кожи и маска фона.
Поскольку построенный детектор является бинарным параметрическим (можно регулировать значение отсечки), то для оценки его характеристик можно использовать классификационную матрицу [6]. Каждая из десяти видеопоследовательностей обрабатывается детектором кожи. Далее определяется количество пикселей, попавших в категории верно положительных (TP), ложно положительных (FP), верно негативных (TN) и ложно негативных (FN): TP = Total(And(GTsk]n, Respskln)), FP = Total(And(GT_skln, Respskln)), TN = Total(And(GT-skin, Resp-skln)),
FN = Total(And(GTskin, Resp-skin)), где Total - функция, определяющая сумму всех элементов матрицы; And - функция, выполняющая конъюнкцию между соответствующими элементами двух матриц одинакового размера; GTskln - матрица истинности участков кожи на изображении, где коже соответствуют значения 1, а остальные значения равны нулю; GT-skln - матрица истинности не соответствующих коже участков изображения, где не коже соответствуют значения 1, а остальные значения равны нулю; Respskjn - отклик детектора кожи, где коже соответствуют значения 1, а остальные значения равны нулю; Resp-skin - инвертированный отклик детектора кожи.
Зная значения всех элементов классификационной матрицы, можно вычислить значения True Positives Rate (TPR) и False Positives Rate (FPR) [6]. Варьируя значение отсечки © = ©x (1 -P(skin))/P(skin), можно построить ROC-кривые разработанного детектора кожи. Были построены ROC-кривые (рис. 2) для трех конфигураций детектора кожи:
1. для хранения моделей кожи и фона использовалось цветовое пространство HSV с игнорированием компоненты H;
2. для хранения моделей кожи и фона использовалось цветовое пространство YCrCb с игнорированием яркостной компоненты Y;
3. для хранения моделей кожи и фона использовалось цветовое пространство HSV с игнорированием цветовой компоненты H, но процедура построения модели была модифицирована так, чтобы каждые девять из десяти кадров цветовые модели обновлялись с применением обратной связи (самообучение), а на оставшейся части кадров цветовые модели обновлялись с использованием непараметрического детектора кожи.
Непараметрические детекторы изображены в ROC-пространстве точками (рис. 2). Видно, что самообучающаяся (СО) конфигурация детектора превосходит другие. Следующая по производительности - конфигурация, использующая цветовую модель CrCb. Площадь под ROC-кривой детектора в первой конфигурации составляет 0,913, детектора второй конфигурации - 0,952, детектора в третьей конфигурации - 0,959. Площадь под ROC-кривой для разных конфигураций детектора кожи принимает значения от 0,9 до 0,95, что характеризует качество классификации как отличное. Тем самым разработанный детектор превосходит непараметрические детекторы и предложенный в [4, 5] адаптивный детектор (по крайней мере, на одной точке).
TPR
1,0 0,9 0,8 0,7 0,6
0,5
0,00 0,02 0,04 0,06 0,08
° Адаптивный, HS Адаптивный, HS, CO Адаптивный, CrCb Peer Sigal
Рис. 2. ROC-кривые предложенного детектора кожи в различных конфигурациях: цветовые модели созданы на основе каналов H и S цветового пространства HSV (Адаптивный, HS); цветовые модели
созданы на основе каналов H и S цветового пространства HSV и применяется обратная связь (Адаптивный, HS, СО); цветовые модели созданы на основе каналов Cr и Cb цветового пространства YCrCb (Адаптивный, CrCb); результаты работы непараметрических детекторов, представленных
в работах [3] (Peer) и [4] (Sigal)
На рис. 3 приведены результаты работы предложенного детектора кожи в сравнении с детектором, представленным авторами работы [3]. Видно, что разработанный адаптивный детектор игнорирует неподвижные объекты, имеющие цвет, близкий к цвету кожи человека, и улучшает обнаружение движущихся объектов.
,Л о."
ш -----1,0'
т?т>т?
Заключение
В работе описан новый подход к обнаружению участков цвета кожи. В его основе лежит применение непараметрического детектора кожи и детектора движения для оценки цвета кожи человека, находящегося в кадре. Вовлечение информации о движении в процесс обнаружения кожи способствует улучшению качества обнаружения: снижается количество ложных срабатываний, а грубая модель цвета кожи уточняется при помощи анализа участков кожи, находящихся в кадре. Применение наивной байесовской классификации позволяет непрерывно обновлять модель цвета кожи в процессе эксплуатации, тем самым обеспечивая адаптацию к цвету кожи человека, находящегося в кадре.
Разработанный детектор участков цвета кожи может быть использован не только в рамках рассматриваемой тематики, но и в различных областях человеко-машинного взаимодействия, биометрии, фильтрации медиа контента и других задач, при решении которых требуется обнаруживать цвет человеческой кожи.
а б в
Рис. 3. Сравнение производительности между непараметрическим детектором Peer и предложенным детектором кожи на некоторых видеопоследовательностях, показанных в колонках: исходные изображения (а); результаты обработки непараметрическим детектором кожи (б); результаты работы предложенного детектора кожи (в)
Литература
1. Kakumanu P., Makrogiannis S., Bourbakis N. A survey of skin-color modeling and detection methods // Pattern Recognition. - 2007. - V. 40. - № 3. - P. 1106-1122.
2. Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction // 17th International Conference on Pattern Recognition. - 2004. - V. 2. - P. 28-31.
3. Peer P., Kovac J., Solina F. Human Skin Colour Clustering for Face Detection // International Conference on Computer as a Tool. - 2003. - P. 94-102.
4. Sigal L., Sclaroff S., Athitsos V. Estimation and Prediction of Evolving Color Distributions for Skin Segmentation Under Varying Illumination // IEEE Conference on Computer Vision and Pattern Recognition. - 2000. - V. 2. - P. 152-159.
5. Sigal L., Sclaroff S., Athitsos V. Skin Color-Based Video Segmentation under Time-Varying Illumination // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2004. - V. 26. - № 7. - P. 862-877.
6. Fawcett T. An introduction to ROC analysis // Pattern Recognition Letters 27. - 2006. - P. 861-874.
Ахунзянов Расим Ралифович - Санкт-Петербургский национальный исследовательский университет
информационных технологий, механики и оптики, студент, rasim.akhunzyanov@gmail.com
Тропченко Александр Ювенальевич - Санкт-Петербургский национальный исследовательский университет
информационных технологий, механики и оптики, доктор технических наук, профессор, tau@d1.ifmo.ru
