CC BY
89
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2015 Том 15 № 4 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2015 Vol. 15 No 4 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 621. 391. 037. 372
ПОИСК ЛЮДЕЙ ПО ФОТОРОБОТАМ: МЕТОДЫ, СИСТЕМЫ И ПРАКТИЧЕСКИ!: РЕШЕНИЯ
Г. А. Кухарев", Ю.Н. Матвеев^ с, П. Форчманьски
a Западнопоморский технологический университет в Щецине, Щецин, 70-310, Польша b ООО «ЦРТ-инновации», Санкт-Петербург, 196084, Российская Федерация c Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: [email protected], [email protected] Информация о статье
Поступила в редакцию 05.05.15, принята к печати 13.05.15
doi:10.17586/2226-1494-2015-15-4-640-653
Язык статьи - русский
Ссылка для цитирования: Кухарев Г.А., Матвеев Ю.Н., Форчманьски П. Поиск людей по фотороботам: методы, системы и практические решения // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 4. С. 640-653.
Аннотация
Обсуждается проблема поиска людей по скетчам и способы ее практической реализации. Эта проблема была поставлена в предыдущей статье авторов. В настоящей статье проблема развивается далее. Исходной при этом является предпосылка о том, что для успешного поиска людей по скетчам необходима их трансформация в наборы популяций скетчей, имитирующих показания «группы свидетелей» и показания при неполной информации в словесных портретах. Представлены варианты структур бенчмарковских баз «фото-скетч», предназначенных для моделирования и практического решения задач поиска оригинальных фото по скетчам, новым компонентом которых являются популяции скетчей. Обсуждаются задачи предобработки исходных скетчей и фото-оригиналов, а также влияние этой предобработки на результат их сравнения между собой. Рассмотрены простые системы распознавания скетчей (Simple FaRetSys) и решение задачи поиска по ним оригинальных фото. Показаны недостатки таких систем, представлены новые решения по расширению и развитию (Extended FaRetSys) простых систем. Представлены эксперименты поиска фото-оригиналов по скетчам на базе скетчей CUFS и аналогичные эксперименты на широко известных лицевых базах данных FERET и CUFSF. Для повышения результативности поиска предлагается три варианта решений. В первом оригинальные скетчи преобразуются в популяции, а потом уже в этих популяциях определяется скетч, подобный заданному скетчу (Forensic Sketch). Класс найденного в популяции скетча «по определению» однозначно соответствует классу фото-оригинала. Во втором в популяцию скетчей преобразуется Forensic Sketch, а все оригинальные скетчи исходной оценочной базы сравниваются со скетчами популяций Forensic Sketch. Класс соответствий определяется так же, как в первом варианте. Третий вариант включает генерацию популяции скетчей как из всех оригинальных скетчей, так и из всех Forensic Sketch. Дальнейшее направление исследований очевидно: поиск соответствий реализуется между скетчами этих двух популяций. Ключевые слова
фото-оригинал, фоторобот, скетч, популяции скетчей, системы поиска. Благодарности
Исследование проводится при частичной финансовой поддержке Правительства Российской Федерации (грант № 074-U01).
PEOPLE RETRIEVAL BY MEANS OF COMPOSITE PICTURES: METHODS, SYSTEMS AND PRACTICAL DECISIONS G.A. Kukharev", Yu.N. Matveevb c, P. Forczmanski"
a Szczecin West Pomeranian University of Technology, Szczecin, 70-310, Poland b STC-innovation, Saint Petersburg, 196084, Russian Federation c ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: [email protected], [email protected] Article info
Received 05.05.15, accepted 13.05.15 doi:10.17586/2226-1494-2015-15-4-640-653 Article in Russian
For citation: Kukharev G.A., Matveev Yu.N., Forczmanski P. People retrieval by means of composite pictures - methods, systems and practical decisions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol.15, no. 4, pp. 640-653.
Abstract
We discuss the problem of people retrieval by means of composite pictures and methods of its practical realization. Earlier on, the problem was posed in the previous paper by the authors, and this paper deals with its further development. The
starting premise here is that for the successful search of people by their sketches it is necessary to transform these sketches into sets of populations of sketches imitating evidence of «group of witnesses» and evidence with incomplete information in verbal portraits. Variants of structures for benchmark «photo-sketch» databases are presented, intended for modeling and practical realization of original photos retrieval by sketches, which new component is a population of sketches. Problems of preprocessing for initial sketches and original photos and its influence on the result of their comparison are discussed. Simple sketch recognition systems (Simple FaRetSys) and a problem of original photos retrieval by the sketches are considered. Shortcomings of such systems are shown and new decisions on extending and development of simple systems (Extended FaRetSys) are presented. Experiments on searching of original photos by sketches in the CUFS database of sketches and similar experiments on widely known FERET and CUFSF facial databases are presented. Three frameworks are offered for retrieval performance improvement. In the first one, original sketches are transformed into populations, and then in these populations the sketch similar to the given sketch (Forensic Sketch) is already defined. The class of the sketch found in a population «by definition» unambiguously corresponds to a class of the original photo. In the second framework, the Forensic Sketch is transformed to a population of sketches, and all original sketches in a benchmarking database are compared to sketches from populations of the Forensic Sketch. The class of matches is determined in the same manner as in the first framework. The third framework includes generation of a population of sketches, both from all original sketches, and from all Forensic Sketches. The further line of research is obvious: retrieval by matching between sketches of these two populations. Keywords
original photo, composite picture, sketch, population of sketches, retrieval systems. Acknowledgements
The work is partially financially supported by the Government of the Russian Federation (grant 074-U01).
Введение. Словесный и субъективный портреты, фотороботы и скетчи
История методов формального описания и представления преступников началась в конце 19 века (https://ru.wikipedia.org/wiki/Бертильон) от идей регистрации преступников, названной бертильонажем. Эти идеи включали: антропометрическую идентификацию (регистрацию преступника по 14 физическим признакам - размерам частей его тела), сигналетическую фотосъемку (точное фотографирование с получением трех портретов - фото в профиль и анфас, а также фото во весь рост) и словесный портрет (описание форм внешних органов тела, головы, лица).
Все эти идеи, развиваясь далее, дошли и до наших дней. Однако наибольшее развитие получила идея словесного портрета как инструмента описания форм, черт и особенностей лица и установления личности преступника по ним. В начале 19 века словесный портрет был дополнен рисованным портретом, а в середине 19 века французский криминалист Пьер Шабо предложил метод изготовления композиционных портретов из фрагментов фотографий (представляющих примитивы лица), практически реализовав идею перехода от словесного портрета к фотороботам. Его идеи представлены в работе [1], и фактически с этого момента все субъективные портреты, независимо от техники их создания и формы представления, стали называть фотороботами.
В научно-технической литературе используется также и другая терминология для фотороботов, основу которой составляет слово скетч, что в переводе с английского означает «эскиз или набросок». При этом используются следующие основные формы таких скетчей: рисованный или компьютерный рисунок (Viewed Sketch); компьютерный рисунок, доработанный художником (Artist Sketch); композиционный портрет, выполненный художником по словесному портрету со слов свидетеля с помощью библиотеки примитивов лица (Composite Sketch); композиционный портрет, составленный криминалистом по словесному портрету (Composite Forensic Sketch). Детальное описание скетчей и их примеры приведены в работах [2-6].
Несмотря на впечатляющие результаты использования фотороботов и скетчей в криминалистической практике, выявился их существенный недостаток - низкий уровень их подобия оригинальным фотопортретам, что явилось следствием их композиции (а, по существу, механической сборки) по отдельным примитивам, не связанным по генотипу.
Следующий уровень методов генерации фотороботов возник на идеях эволюционных алгоритмов (ЭА) и интерактивных стратегий (ИС) в создании фотореалистичных композиционных лиц. Примерами систем, реализующих эти идеи, являются E-FITV и EvoFIT [7, 8]. Обе системы используют представление изображений лиц на основе модели формы (Active Shape Model - ASM) и модели внешнего вида (Active Apperance Model - AAM). При этом ASM определяет контур всего лица, а AAM - его текстуру. Параметры этих моделей представлены 50-ю спектральными признаками в собственном подпространстве, основанном на методах анализа главных компонент и преобразовании Карунена-Лоэва. И именно эти параметры моделей изменяются в рамках ЭА на основе процедур клонирования и случайной мутации исходных признаков. Такое представление позволяет существенно снизить объем обрабатываемой информации в ЭА при сохранении высокой точности реконструкции изображений лиц.
Работа систем начинается с составления исходной популяции лиц, отвечающих словесному портрету по показаниям свидетеля и случайно измененным параметрам лиц. Из исходной популяции свидетель выбирает то изображение, которое соответствует его представлению, выполняя тем самым «началь-
ную корректировку». Далее, в рамках ЭА и на основе выбранного свидетелем лица, генерируется новая популяция изображений лиц, которая снова корректируются свидетелем. Подобные генерации и коррекции выполняются несколько раз. Их остановка определяется свидетелем, что приводит к быстрому и более точному получению окончательного фоторобота.
Однако, как бы хорошо ни работали идеи ЭА и ИС, системы, реализующие эти идеи, также не лишены недостатков. Действительно, на выходе этих систем получается единственное изображение лица, в основе которого лежит исходный словесный портрет. А в этом портрете присутствует субъективизм и ошибки непрофессионализма, присущие рядовому свидетелю. Ситуация эта еще более усугубляется, если исходный словесный портрет составляется свидетелем по памяти через несколько дней после контакта с подозреваемым (или преступником), когда в памяти свидетеля сохранился уже не полный состав важных примитивов лица подозреваемого.
Проблемы сравнения фото-оригиналов и скетчей
Если говорить об использовании скетчей в современной криминалистике, то, начиная с работы [2] наблюдается повышенный практический интерес к проблеме автоматического сравнения скетчей с оригинальными фотопортретами подозреваемых и поиску по результатам сравнения этих подозреваемых. Однако анализ публикаций по этой проблеме выявил понимание высокой сложности ее практической реализации для скетчей, выходящих за рамки классов Viewed Sketch и Artist Sketch. На это указывают, например, результаты исследований [4-6], где показано, что стабильное распознавание Composite Sketches и Composite Forensic Sketches и устойчивый поиск соответствующих им фотопортретов в специальных криминалистических базах, является на сегодня практически недостижимым.
Этот факт является следствием четырех основных причин.
Первая причина связана с низким качеством скетчей, отображающих реальный словесный портрет, составленный под влиянием непрофессионализма свидетеля, субъективизма исполнителя этого скетча или ограничений систем, его формирующих. Вторая причина связана с неразвитостью методологии (идей, методов, подходов и практических решений) сравнения изображений «скетч-фотопортрет», а также отсутствием опыта такого сравнения ввиду недоступности информации по объектам сравнения (например, личностей криминального характера). Третья причина является следствием неприспособленности «старых баз» фотопортретов преступников к современным компьютерным технологиям обработки изображений в лицевой биометрии и криминалистике. Четвертая причина - практическое отсутствие доступных бенчмарковских баз для скетчей, выходящих за рамки классов Viewed Sketch и Artist Sketch, и (или) низкая репрезентативность исходных данных в базах, не позволяющих выполнять исследования с прогнозом на генеральную совокупность исходных данных и скетчи классов Composite Sketch и Composite Forensic Sketch. Следует отметить, что последняя причина является основополагающей: именно она не позволяет развивать методологию сравнения изображений скетч-фотопортрет, поскольку отсутствует представительный объект исследований.
Некоторые решения о том, как поступать в данном случае, приведены в работах [6, 9-11]. Исходная предпосылка для этих решений состоит в том, что по определению мы не знаем того фотопортрета, к которому принадлежит заданный нам скетч. Базовая идея этих решений - повышение репрезентативности исходных данных в условиях неполноты информации в словесном портрете и, следовательно, в исходном скетче. Идея реализуется через генерацию двух популяций скетчей, имитирующих получение L новых скетчей от группы из L свидетелей (L>1). В работах [6, 9, 11] представлены два метода генерации популяций скетчей. В первом методе исходный скетч модифицируется L раз и представляется с новыми параметрами по геометрии области лица - высоты и ширины лица, положения линии глаз и линии симметрии лица, сдвигу в области изображения. Полученные при этом скетчи образуют популяцию первого типа (Population 1). Второй метод реализует процедуру кумулятивного усреднения скетчей популяции 1, а полученные при этом скетчи образуют популяцию второго типа (Population 2). Оба этих метода можно применить также к фотопортретам, например, полицейским фотоснимкам (mug-shot) и фотопортретам-оригиналам.
Подводя итог, отметим следующее.
1. Модификация исходных данных (фотороботов/скетчей) и их представление в форме популяции 1 имитирует получение новых данных от группы из L свидетелей. Этот эффект можно воспринимать как создание более объективного представления скетча по имеющимся исходным данным. В таких предпосылках, уже в рамках популяции 1, можно достаточно эффективно решать задачу поиска фото-оригинала.
2. Само сравнение может выполняться со средним (для всей популяции) скетчем или с каждым скетчем из популяции на основе мажоритарных механизмов или, например, на основе смеси экспертов [12].
3. Трансформация скетчей популяции 1 в скетчи популяции 2 улучшает подобие между парами «скетч-оригинальный фотопортрет». С учетом отмеченного эффекта и в совокупности с механизмами, перечисленными в пункте 2, это создает новые условия для еще более эффективного сравнения скетчей с фотопортретами-оригиналами.
Справедливости ради отметим, что подобные же результаты можно было бы получить в генераторах, основанных на идеях ЭА и ИС (изменив в них лишь конечный результат), а также на основе подходов для генерации «популяции карикатур» [13]. Однако изменение результата в рамках систем E-FITV и EvoFIT уже недостижимо, а решения в [13] основаны на точных моделях форм (ASM) и моделях внешнего вида (AAM) изображений лиц и проигрывают решениям, предложенным в [6, 9, 11]. Высокая точность моделей внешнего вида, достигаемая в подходе [13], совершенно не обязательна в задаче генерации популяции скетчей, поскольку, по определению, мы не знаем того фотопортрета, к которому принадлежит заданный скетч.
Напомним, что если скетчи получаются непосредственно из исходных фотопортретов (Viewed Sketch или Artist Sketch), то они распознаются простыми системами почти со 100% результатом. Однако результативность распознавания Composite Forensic Sketch существенно ниже. Подобные ситуации возникают при композиции скетчей по словесному портрету или при автоматическом получении скетчей для неточно заданных (или неполных) параметров исходных данных. Если же рассуждать на уровне «субъективного и формального подобия», в рамках полученных популяций 1 и 2 мы сохраняем субъективное внешнее сходство скетчей с исходным скетчем. При этом существенно уменьшаем значение индекса структурного подобия (Structural SIMilarity Index - SSIM [14, 15]) для скетчей популяции 1 (выполняя условие неточно заданных параметров) и увеличиваем его для скетчей популяции 2. Эти факты проверены на базах CUHK Face Sketch (http://mmlab.ie.cuhk.edu.hk/facesketch.html) и CUHK Face Sketch FERET (http://mmlab.ie.cuhk.edu.hk/cufsf/), а также других открыто доступных скетчей и соответствующих им фотографий. Наконец, отметим, как показано в [16], что эффект повышения результативности распознавания скетчей (или поиска по ним фото-оригинала в больших базах) напрямую связан с числом скетчей, приходящихся на одно исходное фото. И этот факт подтверждает, что использование скетчей популяций 1 и 2 в обсуждаемой проблеме поиска может привести к желаемым результатам.
Примеры сгенерированных скетчей популяций 1 и 2 приведены на рис. 1.
Рис. 1. Модель исходного скетча и примеры скетчей из популяций 1 и 2: модель исходного скетча (а); скетч популяции 1 с видимыми изменениями ширины и высоты области лица (б); скетч популяции 2
с видимыми изменениями всех параметров исходной модели и размытием границ примитивов
и текстуры (в)
Базовые параметры модели: W - ширина лица; H - высота лица; S - расстояние до линии симметрии от границ овала лица; h - расстояние до линии глаз; d - расстояние между центрами глаз. При этом параметры px и p2 связаны с изменением длины и ширины лица на исходном скетче (или изображении), что приводит к изменению положения линии глаз и расстояния между центрами глаз. Параметр p3 связан с изменением положения линии симметрии на области лица.
Варианты структур бенчмарковских баз «фото-скетч»
Будем исходить из того, что создаваемая база должна содержать оригинальные фотоизображения и соответствующие им скетчи, необходимые для моделирования и решения задач поиска фото по заданным скетчам. Некоторые из этих задач могут быть решены с использованием баз CUHK: Face Sketch (CUFS) и Face Sketch FERET (CUFSF) баз данных, где каждый класс исходных данных состоит из оригинального фото и соответствующего ему скетча типа Artist Sketch.
Однако обратим внимание на то, что база CUHK содержит только скетчи, сгенерированные автоматически из исходных фото (Viewed Sketch) и затем дорисованные художниками (Artist Sketch), а набор исходных фото ограничен. Если же исходить из моделирования реальных задач и, например, криминальных событий или сценариев (где актуальной становится задача поиска подозреваемого по заданному скетчу), то такого набора скетчей будет недостаточно по двум причинам. Во-первых, база CUHK по-
строена на основе двух известных баз CUFS и CUFSF, а при моделировании реальных задач нам могут потребоваться сходные данные из некоторой специфической базы (например, собственной локальной или криминальной). Во-вторых, «условие выравнивания лиц по антропометрике», реализованное в рамках баз CUHK, практически не достижимо в реальных сценариях. Это связано с тем, что заранее неизвестно, как выглядит оригинальное фото подозреваемого, а, следовательно, неизвестны и параметры лица на фото, и в какой степени будет оно соответствовать имеющемуся словесному портрету и сгенерированному по нему скетчу. Именно поэтому в настоящей работе обсуждается метод построения популяций скетчей, которые должны быть представлены в исходной базе как ее расширение. С учетом этого, в табл. 1 показана новая структура базы, где VS, AS и FS - обозначения скетчей классов Viewed Sketch, Artist Sketch и Forensic Sketch, а параметр K определяет число классов.
Фото Скетчи Популяции
1 2 3 4 5
Класс 1 VSi ASi FSi (Population 1)
(Population 2)
Класс 2 VS2 AS2 FS2 (Population 1)
(Population 2)
...
Класс K VSk ASk FSk (Population 1)
(Population 2)
Таблица 1. Структура базы, содержащей популяции 1 и 2 скетчей
Заметим, что в условиях отсутствия оригинальных скетчей AS и FS наборы скетчей из популяций 1 и 2, полученные из скетчей VS, можно рассматривать как некоторое приближение к скетчам AS и FS. При этом модификация скетчей VS, создаваемых по методу [6, 9, 11], и их представление в форме популяции 1 имитируют получение новых данных от группы из нескольких свидетелей. Этот эффект можно воспринимать как создание более объективного представления для фоторобота по имеющимся исходным данным. В таких предпосылках, уже в рамках популяции 1, можно достаточно эффективно решать задачу сравнения новых данных с фото-оригиналом. Модификация популяции 1 в популяцию 2 улучшает подобие между парами «скетч-оригинальный фотопортрет». Диапазон изменения геометрических характеристик лиц на скетчах (ширина и длина, симметрия и сдвиг) связан с границами изменения этих параметров, которые определяются их максимальным значением, которое может зависеть, например, от расстояния между центрами глаз на конкретном изображении.
Недостатком базы в рамках рассмотренной структуры (табл. 1) является единственность исходной пары «фото-скетч» в каждом классе. При этом изменение геометрических характеристик лица в VS будет определяться только одним неизменным расстоянием между центрами глаз исходного фото. В ряде случаев использование только одного исходного фотоизображения и соответствующего ему единственного скетча VS может оказаться недостаточным для формирования репрезентативного класса скетчей в популяциях 1 и 2. В случае возникновения подобных проблем база может быть построена по структуре, отдельный класс которой приведен в табл. 2.
Расстояние между центрами глаз (d)
d\ d2 d3 dK
Photo: Photo2 Photo3 Photok
Класс VS1 VS2 VS3 VSk
AS1 AS2 AS3 ... ASk
FS1 FS2 FS3 FSk
Population 1 Population 2 Population 1 Population 2 Population 1 Population 2 Population 1 Population 2
Таблица 2. Структура расширенной базы, содержащей популяции 1 и 2
Рассмотрим рис. 2, где приведены исходное фото (база FERET, класс 91), три скетча из популяции 1 и три скетча из популяции 2, входящие в расширенную базу. Скетчи были получены для различных значений параметра ё = 45, 46, 47 и девяти случайно выбранных значений базовых параметров для каждого значения ё. Далее из скетчей популяции 1 были получены скетчи популяции 2. Из каждого набора скетчей популяций 1 и 2 были выбраны те, которые соответствовали наибольшему значению с ис-
ходным фото. В процессе генерации скетчей обоих популяций не было ничего особенного, однако оригинальность этих скетчей состоит в том, все они имеют одну общую характеристику - одинаковое расстояние (ё = 44) между центрами глаз, но разные значения ]^ГМ с исходным фото.
о 00
о
ISSIM
0,44
0,48
0,48
Рис. 2. Результат согласования фотоизображения лица и соответствующих ему скетчей
Каковы же выводы этого эксперимента? Первый и главный вывод состоит в том, что, независимо от исходных размеров фото-оригинала и сгенерированных скетчей в рамках популяций 1, возможно достижение взаимного их согласования по расстоянию между центрами глаз, если критерием согласования является ISSIM. При этом скетчи из популяций 2 сохраняют это свойство в рамках того же критерия. Второй вывод -значение ISSIM зависит не только от точного согласования скетча и фото по параметру d, но, очевидно, зависит и от текстуры скетча (размера скетча или размеров примитивов на нем). В этом случае расширенная база «фото-скетч» создает дополнительные возможности информационного характера.
Предобработка скетчей и фото-оригиналов и результат их сравнения
Фенотип. Практика показывает, что как бы точно в рамках антропометрии ни был выполнен скетч, результат его сравнения с исходным изображением не всегда однозначен, поскольку в скетче может быть утеряна очень важная информация о фенотипе лица (например, цвете кожи, форме и цвете волос, цвете глаз). Так, скетч № 95 из базы CUFSF, показанный на рис. 3, может представлять разный фенотип людей (или людей разной расы), что условно отражено в различной цветовой гамме изображений лиц и отмечено символами Ф1-Ф3. Представленные на рис. 3 лица можно отнести к людям малой расы европеоидной ветви: индо-средиземноморской и балкано-кавказской. Ясно, что ничего подобного нельзя утверждать исходя из представленного скетча. В правой части рисунка показаны те же изображения лиц, но представленные в шкале GRAY (G1-G3). И, как видно, представление о фенотипе этих лиц видно уже не так отчетливо.
Рис. 3. Скетч и фенотипы соответствующих ему людей
Авторы работ [4, 5] обратили на это внимание при решении задач поиска по композиционным скетчам людей с различием по признаку расы и рекомендовали учитывать эти признаки в системах сравнения. Кроме того, они рекомендовали учитывать и тендерную информацию, т.е. пол людей. При этом, выбирая галерею лиц, отвечающую расовым и тендерным признакам, можно не только ускорить сам поиск, но и существенно повысить результативность поиска. Таким образом, одно из решений в этом случае - использование скетчей в цветовой гамме, отвечающей требуемому фенотипу человека. Отметим при этом, что стратегия интерактивной эволюции [7, 8] и методы генерации популяций скетчей, представленные в [6, 9, 11], позволяют генерировать скетчи в исходной или новой цветовой гамме, отвечающей требуемому фенотипу.
Текстура. Второй проблемой является практическое отсутствие на рисованных скетчах текстуры и (или) полное несоответствие ее текстуре изображений лиц. В этом случае скетч представляет только генотип лица - его форму и тип, форму глаз, губ, носа, ушей, скул, лба, подбородка, границ волосы/лоб и даже характерных морщин на области лица, в то время как оригинальное изображение лица представляет
и генотип, и фенотип. Данное несоответствие не позволяет представить полутоновое изображение лица и рисованный скетч одним и тем же составом признаков и, следовательно, непосредственно сравнивать их. Одним из решений является представление скетчей дескрипторами на основе локальных бинарных шаблонов (Local Binary Patterns - LBP), которые сохраняют информацию только о генотипе лица. Это связано с тем, что дескрипторы LBP подчеркивают границы отдельных компонент и общей формы лица. Для фотоизображений представление дескрипторами LBP ограничивает изменения яркости изображения и фактически «исключает из него» информацию о фенотипе. Как показано в [4, 5], наиболее интересный для практики результат дает многомасштабный вариант метода LBP - метод MLBP (Multiscale Local Binary Patterns). В приложении к лицам, MLBP - не что иное, как представление генотипа лица в нескольких модифицированных вариантах, т.е. в некоторой его популяции!
Jife
fw^ V
I • .. i ' a ^
/ rot1 . \ \ /T'i
ISSIM:
0,37 0,32 б
0,47 0,41 в
V ШМ
0,49 0,42 г
Рис. 4. Индекс подобия с оригинальным фото для разных способов генерации скетчей: оригинальные фото (а); Artist Sketch (база CUHK) и Forensic Sketch (http://prikol.i.ua/view/474038) (б); результаты «размытия» скетчей б (в); варианты этих же скетчей из популяции 2 (г). Под скетчами приведены соответствующие значения индексов структурного подобия (ISSIM)
с исходным изображением
Фото
1
2
3
по
ISSIM
0,4
1 2 3 Строки изображений б
Рис.
5. Оценка ISSIM для вариантов «свой» или «чужой» скетч: три разных фотоизображения (база CUHK) и соответствующие им скетчи (колонка 1), результаты «размытия» скетчей (колонка 2) и скетчи, не соответствующие исходному изображению, также полученные в результате их «размытия» (колонка 3) (а); значения ISSIM между исходными фотоизображениями и тремя скетчами в соответствующей строке.
По оси абсцисс отмечены номера строк скетчей, а по оси ординат - значения ISSIM. Цифрами в кружке
отмечены: 1 - кривая значений ISSIM для исходных скетчей; 2 - значения ISSIM для результата «размытия» этих скетчей (по определению выше - «своих скетчей») и 3 - значения ISSIM для результата
«чужого скетча» (б)
Другое решение - «размытие» (blur filtration) исходного рисованного скетча для придания ему «псевдотекстуры» в границах базовых компонент лица. Так, на рис. 4 можно заметить, что в результате
а
а
«размытия» исходного скетча ISSIM возрастает почти на 15-25% (был использован усредняющий фильтр с окном 9^9). Для сравнения в колонке (г) приведены скетчи из популяции 2, сгенерированные по описанному выше алгоритму, и соответствующие им значения ISSIM с фото-оригиналом. При этом видно, что значения ISSIM в двух последних колонках близки друг другу, хотя способ их получения скетчей разный. Но в нашем случае получение скетчей популяции 2 проще реализовать, чем «размытие».
Однако в этом решении надо остерегаться также и роста ISSIM между фотоизображением лица и «чужими скетчами» - скетчами, не соответствующими этому фотоизображению. Так, на рис. 5, а, пары скетчей «свой-чужой» подбирались из базы CUHK таким образом, чтобы они были наиболее подобны друг другу. В этом случае можно было ожидать максимального значения ISSIM между исходным фотоизображением (колонка Photo) и «чужим скетчем». Здесь также был использован усредняющий фильтр с окном 9^9. На рис. 5, б, представлены значения ISSIM между исходными фотоизображениями и тремя скетчами в соответствующей строке. Вычисленные значения ISSIM представлены в табл. 3.
Скетчи
Строка 1 2 3
1 0,44 0,55 0,45
2 0,63 0,71 0,57
3 0,52 0,59 0,42
Таблица 3. Значения ISSIM
Сравнив графики 1-2 и 2-3 на рис. 5, б (или табличные значения в аналогичных колонках табл. 3), можно сделать следующие выводы:
- значение ISSIM между исходными фотоизображениями и «своими» скетчами (исходным и с «размытием») отличаются на 20-30% в пользу последнего;
- несмотря на относительно хорошее визуальное подобие «своего» и «чужого» скетчей, значения их ISSIM с одним и тем же исходным изображением отличаются на 20-30% в пользу «своего» скетча.
Отметим также, что высокое значение ISSIM между исходными изображениями лиц и оригинальными скетчами из колонки 1 на рис. 5, а, определено способом генерации этих скетчей из базы CUHK: сначала компьютерный синтез скетча класса Viewed Sketch непосредственно из исходного изображения, а затем ручная его доработка художником до получения скетча класса Artist Sketch. И, несмотря на это, значение ISSIM между исходными фотоизображениями и сглаженными («размытыми») оригинальными скетчами выросло еще на 20-30%.
Яркость. Выполнив «размытие» исходного изображения и (или) увеличив его яркость (например, выполнив гамма-коррекцию), можно еще выше поднять ISSSM при его сравнении со скетчем, что показано в табл. 4. В первой строке приведены значения ISSIM для оригинального скетча (Ski), результата его размытия (Sk2) и скетча из популяции 2 (Sk3). Дополнительные действия, повышающие значение ISSSM, описаны в строках 2-4. Как видно, значения ISSSM в строке 4 практически на 50% выше, чем результаты в первой строке. Исходное фото и результат его преобразования в выполненном эксперименте представлены на рис. 6.
№ Действия Sk1 Sk2 Sk3
1 Размытие исходного скетча 0,36 0,42 0,40
2 1+размытие исходного изображения 0,43 0,51 0,48
3 1+гамма-коррекция исходного изображения 0,48 0,56 0,52
4 1+размытие+гамма-коррекция исходного изображения 0,53 0,63 0,59
Таблица 4. Значения ISSIM при различной обработке оригинального изображения
12 3 4
Рис. 6. Исходное фото, результат его преобразования в выполненном эксперименте: оригинальное изображение лица (1); результат размытия (2); результат гамма-коррекции (3); результат последовательного применения размытия и гамма-коррекции (4)
А теперь снова обратимся к изображениям в1-в3 на рис. 3. Значения ISSIM этих изображений с исходным скетчем приведены в строке 1 табл. 5 (здесь обозначения в1-в3 соответствуют обозначениям фотографий на рис. 3). Как видно, полученные значения ISSIM различны, поскольку в оценку ISSIM вхо-
дит параметр изменения яркости изображений [14, 15]. И все было бы естественно, если бы мы не вспомнили о фенотипе и генотипе лиц. Ведь полученные значения 1881М связаны, с одной стороны, с одним и тем же скетчем (!), а с другой стороны - с одним и тем же изображением по генотипу, но моделирующим лица людей разного фенотипа.
№ Операции преобразования G1 G2 G3
1 Для оригинальных данных 0,23 0,24 0,29
2 Размытие фото (окно 9*9) 0,27 0,30 0,34
3 Гамма-коррекция фото 0,30 0,28 0,31
4 Размытие скетча (окно 9*9) 0,37 0,40 0,43
5 Операции 2+3+4 0,67 0,65 0,70
Таблица 5. Значения ISSIM для разных операций предобработки
А теперь посмотрим на значения 1881М, которые получаются, если выполнить некоторые типовые преобразования исходных данных, в том числе, их размытие (В1иг-фильтрацию изображений и скетча), а также осветление фотоизображений с использованием гамма-коррекции. Значения полученных при этом 1881М приведены в строках 2-4 табл. 5. Отметим при этом, что гамма-коррекция повлияла только на самое «темное» изображение в1 (в эксперименте использовано значение параметра у = 0,1). В последней строке таблицы приведены значения 1881М для случая совместного применения всех операций преобразования. Полученный при этом эффект - повышение 1881М почти в три раза - поражает! Формально, это создает условия для достижения высокого эффекта сравнения скетча и изображения по генотипу и решения задачи поиска по нему соответствующего фото изображения в большой базе.
Однако тут мы должны сделать главный вывод: неосторожное изменение яркости фото или скетча или их размытие может привести к неоднозначности решения в процессе их сравнения, поскольку любая из рассмотренных процедур обработки приводит к изменению информации о фенотипе лица. А это как раз помешает однозначному решению в процессе поиска по заданному скетчу соответствующего фото в большой базе изображений лиц при априори не известном фенотипе. Именно этот факт и отмечали авторы [4, 5] в рамках своих исследований.
Эксперименты на данных базы СЦГ8
Не будем «доказывать доказанное» о том, что новые (и относительно непростые) методы экстракции признаков из исходных данных [4, 5, 10] позволяют решать задачи поиска оригинальных фото по заданным скетчам. А, наоборот, будем исходить из гипотезы о том, что улучшение 1881М в паре «фотоскетч» в результате их предобработки, создают достаточные условия для решения поставленных задач поиска даже в рамках простых систем.
База Фото\Скетч
k_J Фото
Скетч БОС
БОФ
БЭП — К БЭП
i
Я
J
Результат а
2
ГПС 1
р?
Популяции скетчей
1
Фото
БЭП —► К - БЭП БПО
Результат
б
Рис. 7. Структуры систем поиска лиц для реализации экспериментов: структура простой системы поиска
лиц (Simple FaRetSys), в рамках которой реализуется эксперимент с распознаванием оригинальных скетчей базы CUHK и поиск соответствующих им оригинальных фото. Основные блоки: база CUHK\CUFS, содержащая блок оригинальных фото (БОФ) и блок оригинальных скетчей (БОС); блок экстракции признаков (БЭП); компаратор (К) (а); структура расширенной FaRetSys, в рамках которой реализуются второй и третий эксперименты. Дополнительные блоки - блок предварительной обработки изображений (БПО), в котором реализуется выбор области лица (ROI) и выполняется размытие этой области; генератор популяций скетчей (ГПС); база, содержащая популяции 1 и 2 скетчей. Цифрами 1 и 2 обозначены входы в блок ГПС, вход 2 предназначен для генерации новых популяций скетчей из внешних источников (б)
Покажем это на примерах скетчей популяций 2, полученных из оригинальных скетчей баз CUFS и CUFSF. Используем 100 оригинальных пар «фото-скетч» из тестового набора базы CUFS и сгенерируем
из оригинальных скетчей новые наборы скетчей популяций 1 и 2 для ст < 3. В рамках оригинальных и сгенерированных данных выполним три эксперимента с одним и тем же набором фото (используемых как эталоны), но с разными наборами скетчей: оригинальных скетчей тестовой группы базы CUFS; скетчей из популяции 1; скетчей из популяции 2.
Структуры систем поиска для этих экспериментов представлены на рис. 7.
Цель каждого эксперимента - поиск оригинального фото P(k) (1 < к < K) в базе CUFS по заданному скетчу (Query Sketch - S(j), где 1 < j < J) и оценка на численном и качественном уровне результативности поиска. При этом результаты экспериментов с оригинальными скетчами выступают в роли «отсчетной базы» и используются в дальнейшем для сравнения результатов, полученных для скетчей популяций 1 и 2.
Параметры и модель системы поиска
Размер исходных данных (фото и скетчей) составляет 250x200 пикселей. Пространство признаков определим спектром двумерного дискретного косинус преобразования (2DDCT). Для представления каждого изображения (фото и скетчей) используются значения из верхнего левого угла спектральной матрицы порядка d, выбираемые по методу «зигзаг» [12]. В этом случае модель области лица описывается d(d+1)/2 спектральными компонентами.
Поиск соответствующего фото по всей базе выполнен в рамках контролируемой классификации (поскольку нам известен класс принадлежности S(j) [12]), что позволяет численно оценить результат поиска (Result Retrieval - RR). При этом RR будем оценивать как отношение числа R правильно найденных фото к общему числу K проб поиска и выражать в процентах: RR = (100R)/K, где максимальное число проб поиска K равно числу пар «фото-скетч» (в наших экспериментах K = 100).
%
100 90
80
70
60
50
40
Результат поиска (RR)
+
* « * * |
V * V—1 * * t |Ц /
/ t
7--------Г------- * « *
1 1
10
20
30
40
50 d
в
а
б
Рис. 8. Динамика результатов RR поиска фото по различным популяциям скетчей: для оригинальных скетчей и фото базы CUFS (а); для скетчей из популяции 1 (б); для скетчей из популяции 2 (в)
Классификатор реализован по критерию минимума расстояний (Criterion of Minimum Distance -CMD) в метрике L1 с рангом 1. Задача классификации скетча S(j) сводится к вычислению всех расстояний dis(k)=distance(P(k), S(j)), У к и Vj < K. Индекс к, соответствующий минимальному значению dis(k), определит максимальную меру близости (или подобия) между S(j) и фото класса к из всех фото в базе. Результат поиска будет считаться правильным, если j=k, что и проверяется в рамках контролируемой классификации.
Модель FaRetSys в этом случае примет следующий вид [12]: CUFS (100//1 Photo//1 Sketch){2DDCT: 250x200^(d(d+1)/2)}[CMD//L1//rank=1]. При априори неизвестных значениях параметра d в каждом эксперименте решалась вариационная задача по выбору «наилучших значений d». Для этого выполнялось 40 проб поиска для 10 < d < 50, что определяло число выбранных спектральных компонент в диапазоне 54-1274.
Из кривой (а) на рис. 8 видно, что результат поиска RR фото по скетчу (или определения класса принадлежности скетча) рос с ростом значений параметра d, но в максимуме достиг только примерно
83%, хотя по определению в исходной базе CUFS в парах «фото-скетч» наблюдаются высокие значения ISSIM. Каждый оригинальный скетч базы CUFS представлен L новыми скетчами в популяциях 1 и 2. В этом случае каждое оригинальное фото базы FERET сравнивается с L скетчами каждого класса, поэтому модель системы FaRetSys примет следующий вид:
CUFS (100//1 Photo//L Sketches){2DDCT: 250x200^(rf(rf+1)/2)}[CMD//L1//rank=1].
Задача классификации скетча S(j,l) сводится к вычислению всех расстояний dis(k,l)=distance(P(k), S(j,l)), Vk, Vl<L и Vj<K. Индекс k, соответствующий минимальному значению dis(k, l), определит максимальную меру близости между S(j, l) и фото класса k из всех фото базы. Как и ранее, результат поиска будет считаться правильным, еслиj=k, что также проверяется в рамках контролируемой классификации.
Как видно из кривой (б) на рис. 8, результат поиска стал ниже, что определено свойствами скетчей популяции 1. В сравнении с кривой (а), кривая (в) на рис. 8 выше в среднем на 30%, а для значений d > 35, значение RR равно 100%. На высокие значения RR повлияли три основных фактора: свойства скетчей популяции 2 [6]; выбор области лица как области интересов на исходных портретах фото и скетчей; использование размытия выбранной области лица в оригинальном фото (усредняющий фильтр с окном 5^5 или 7^7). Первый фактор внес в среднем 20% прироста RR, а второй и третий (предобработка изображений) привнесли в сумме около 10% прироста RR.
Оценивая эти результаты, можно отметить следующее: предобработка исходных изображений в рамках 1-го и 2-го экспериментов подняла значения RR не более чем на 10%, но, в итоге, не дала бы 100%-го результата при решении задачи поиска фото по скетчу. И только в рамках третьего эксперимента (при использовании скетчей популяции 2) был достигнут желаемый результат.
Экспериментально установлено, что при формировании скетчей популяций 1 и 2 для ст = 5, 7, 10 возможно уменьшение RR в среднем на 5-10%, если не выполняется дополнительного выравнивания исходных скетчей по антропометрике оригинального фото. К сожалению, такое выравнивание, как показывает практика, не всегда возможно.
Эксперименты на базах FERET и CUFSF
Для выполнения эксперимента мы построили свою собственную (исходную) базу из 220 пар «фото-скетч», согласованных по параметрам геометрии лица на основе опорных точек, заданных в базе CUFSF. Каждое изображение в паре представляет выделенную область лица в шкале GRAY размером 160x128 пикселей. Согласование осуществлялось в автоматическом режиме в рамках экспресс-метода [12], что не позволило в отдельных случаях достигнуть точного согласования положения, размеров и ориентации выделенных областей лиц фото и скетча между собой. Однако это не противоречит нашим исходным предпосылкам о низком подобии фото и скетчей в реальных ситуациях и сценариях.
Далее, из этой исходной базы были сгенерированы скетчи популяций 1 с параметром ст < 3, а из них - скетчи популяции 2. Поиск фото-оригинала был выполнен по скетчам из популяции 2. Структура FaRetSys для этих экспериментов представлена на рис. 9. В ней реализована идея поиска фотопортрета-оригинала по заданному скетчу из распределенного потока фотопортретов.
В выполненном эксперименте моделировалось 10 потоков исходных фотопортретов, а буферная база составлялась из 10 фотопортретов, «определенных» результатами первого уровня поиска. Для использования всей исходной базы из 220 фотопортретов моделировалось 22 результата первого уровня поиска, поэтому каждый заданный скетч на втором уровне поиска сравнивался со всеми исходными фотопортретами. На втором уровне поиска использовалась следующая модель расширенной FaRetSys:
{FEREF+CUFS} (220//1 Photo//L Sketches){2DDCT: 160x128^(¿(¿+1)/2)}[CMD//L1//rank=1:10], где L - число скетчей популяций 1 и 2 в каждом классе, L = 9, d = 21.
Процесс поиска фотооригинала по скетчу представлен на рис. 10. Поиск соответствия «скетч-фото» выполнен в рамках контролируемой классификации с оценкой ранга результата правильной классификации.
Полученные результаты сведены в табл. 6. Здесь верхняя и нижняя строка в каждой популяции представляет количество и процентное соотношение правильно классифицированных скетчей в каждом ранге соответственно. Последняя строка представляет кумулятивный результат поиска фото-оригинала по скетчам.
Оценивая эти результаты, можно отметить: результат поиска фотопортретов базы FERET по скетчам базы CUFSF, трансформированных в скетчи популяции 2, составил 86,4% для ранга 1. Для пяти первых рангов кумулятивный результат составляет более 99%. Полученные в ходе экспериментов высокие результаты поиска фото-оригинала по скетчам связаны как с качеством оригинальных скетчей баз CUFS и CUFSF, так и с использованием популяций скетчей. Очевидно, что при поиске фото-оригинала по скетчам класса Forensic Sketch нельзя надеяться на такой же результат, что отмечено в работах [4, 5].
2
Ш- 6
L 1
UUiA
3 3
4 4
Р
4
I
4
16 9
i
5
б
Рис. 9. Структура системы поиска в эксперименте с базами FERET и CUFSF: заданный скетч (1); распределенный поток фотопортретов (2); простая FaRetSys первого уровня поиска (3); буферная база для хранения результатов с первого уровня поиска (4); расширенная система (Extended FaRetSYs) второго
уровня поиск (5); выход системы (6)
Скетч
IP
Сравнение \ —
с каждым фото потока
^Ранг результата поиска
1 2 3 4
1
5
Результат поиска
Рис. 10. Процесс поиска фото-оригинала по скетчу
Популяция скетчей Форма результата Ранг результата классификации для d = 21
1 2 3 4 5 6 7 8 9 10
1 Скетчи 168 20 11 9 6 1 1 1 1 2
% 76,4 9 5 4,1 2,7 0,45 0,45 0,45 0,45 0,9
2 Скетчи 190 13 8 4 3 0 0 0 1 1
% 86,4 5,9 3,6 1,8 1,4 0 0 0 0,45 0,45
Кумулятивная сумма 92,3 95.9 97,7 99,1 99,1 99,1 99,1 99,55 100
Таблица 6. Результаты поиска фото-оригинала по скетчу
Учитывая это и опираясь на опыт выполненных экспериментов, предлагается сравнивать Forensic Sketches не с фотопортретами оригиналами, а с оригинальными скетчами этих баз (Viewed Sketches или Artist Sketches). Причем для повышения результативности поиска предлагается три варианта решений. В первом - оригинальные скетчи преобразуются в популяции, а потом уже в этой популяции определяется скетч, подобный заданному скетчу (Forensic Sketch). Класс найденного в популяции скетча будет «по определению» однозначно соответствовать классу фото-оригинала. Во втором - в популяцию скетчей преобразуется Forensic Sketch, а все оригинальные скетчи исходной базы сравниваются уже со скетчами популяции Forensic Sketch. Класс соответствий определяется так же, как и в первом варианте. Третий вариант включает генерацию популяции скетчей как из всех оригинальных скетчей, так и из Forensic Sketch. Дальнейшее - очевидно: поиск соответствий реализуется между скетчами этих двух популяций. Структуры FaRetSys первых двух вариантов представлены на рис. 11, где 1 и 2 - вход и выход систем, а все остальные блоки соответствуют описанию структур, представленных на рис. 7.
Оригинальный скетч базы
БЭП ] ►[
езультат поиска —2
Скетч БЭП 1
Оригинальный БЭП | скетч базы
езультат поиска 2
ГПС
1
Скетч
Рис. 11. Варианты FaRetSys Заключение
В настоящей работе представлена проблема поиска людей по фотороботам, а также методы и практические решения. Определены вводные понятия, используемая терминология, идеи и современные технологии создания фотороботов, а также показаны трудности и причины неудач, возникающих в реальных сценариях поиска. Выполнен краткий обзор задач автоматического сравнения фотороботов с оригинальными фотографиями, вскрыты причины недостижимости устойчивого поиска фотопортретов-оригиналов по фотороботам (скетчам) в реальных сценариях.
Сформулированы требования к базам скетчей в дополнение к существующим базам изображений лиц, а также способы реализации таких баз. Как один из возможных вариантов обсуждаются методы генерации популяции скетчей для повышения результативности поиска по нему фотопортрета-оригинала. При этом сформированные скетчи отвечают требованиям правдивого сценария, поскольку учитывают возможность неполной информации в словесных портретах. Показаны модели и структура простых систем, предназначенных для моделирования задач поиска фото-оригиналов по скетчам.
Литература
1. Chabot P. The photo robot. Its use, its production, its future // International Criminal Police Review. 1959. N 97.
2. Uhl R.J. Jr., Lobo N.V. A framework for recognizing a facial image from a police sketch // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA, 1996. P. 586593. doi: 10.1109/CVPR.1996.517132
3. Wang X., Tang X. Face photo-sketch synthesis and recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. V. 31. N 11. P. 1955-1967. doi: 10.1109/TPAMI.2008.222
4. Klare B., Li Z., Jain A.K. Matching forensic sketches to mug shot photos // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011. V. 33. N 3. P. 639-646. doi: 10.1109/TPAMI.2010.180
5. Han H., Klare B.F., Bonnen K., Jain A.K. Matching composite sketches to face photos: a component-based approach // IEEE Transactions on Information Forensics and Security. 2013. V. 8. N 3. P. 191-204. doi: 10.1109/TIFS.2012.2228856
6. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Поиск людей по фотороботам: состояние проблемы и технологии // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 6 (94). С. 123-136.
7. Frowd C.B., Hancock P.J.B., Carson D. EvoFIT: a holistic, evolutionary facial imaging technique for creating composites // ACM Transactions on Applied Psychology. 2004. V. 1. P. 1-21.
8. George B., Gibson S.J., Maylin M.I.S., Solomon C.J. EFIT-V - Interactive evolutionary strategy for the construction of photo-realistic facial composites // Proc. 10th Annual Conference on Genetic and Evolutionary Computation. Atlanta, USA, 2008. P. 1485-1490.
9. Kukharev G., Buda K., Shchegoleva N. Sketch generation from photo to create test databases // Przeglad Elektrotechniczny (Electrical Review). 2014. V. 90. N 2. P. 97-100. doi: 10.12915/pe.2014.02.26
10. Kukharev G.A., Buda K., Shchegoleva N.L. Methods of face photo-sketch comparison // Pattern Recognition and Image Analysis. 2014. V. 24. N 1. P. 102-113. doi: 10.1134/S1054661814010076
11. Щеголева Н.Л., Кухарев Г. А. Способ автоматической генерации скетчей и система для его осуществления. Патент РФ № 2541132. Бюл. 2015. №4.
12. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. М.В. Хитрова. СПб.: Политехника, 2013. 388 с.
13. Yu H., Zhang J.J. Mean value coordinates-based caricature and expression synthesis // Signal, Image and Video Processing. 2013. V. 7. N 5. P. 899-910. doi: 10.1007/s11760-011-0279-8
14. Wang Z., Bovik A.C. A universal image quality index // IEEE Signal Processing Letters. 2002. V. 9. N 3. P. 81-84. doi: 10.1109/97.995823
15. Wang Z., Bovik A.C., Sheikh H.R., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. 2004. V. 13. N 4. P. 600-612. doi: 10.1109/TIP.2003.819861
16. Zhang Y., Ellyson S., Zone A., Gangam P., Sullins J., McCullough C., Canavan S., Yin L. Recognizing face sketches by a large number of human subjects: a perception-based study for facial distinctiveness // Proc. IEEE Int. Conf. on Automatic Face and Gesture Recognition and Workshops (FG 2011). Santa Barbara, USA, 2011. P. 707-712. doi: 10.1109/FG.2011.5771335
Кухарев Георгий Александрович - доктор технических наук, профессор, профессор,
Западнопоморский технологический университет в Щецине, Щецин, 70-310, Польша, [email protected]
Матвеев Юрий Николаевич - доктор технических наук, главный научный сотрудник, ООО
«ЦРТ-инновации», Санкт-Петербург, 196084, Российская Федерация; заведующий кафедрой, Университет ИТМО, 197101, Санкт-Петербург, Российская Федерация, [email protected], [email protected]
- PhD, заведующий кафедрой, Западнопоморский технологический университет в Щецине, Щецин, 70-310, Польша, [email protected]
- D.Sc., Professor, Szczecin West Pomeranian University of Technology, Szczecin, 70-310, Poland, [email protected]
- D.Sc., Chief Scientist, STC-innovations, Saint Petersburg, 196084, Russian Federation; Head of Chair, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected], [email protected]
- PhD, Head of Chair, Szczecin West Pomeranian University of Technology, Szczecin, 70-310, Poland, [email protected]
Форчманьски Павел
Georgy A. Kukharev Yuri N. Matveev
Pawel Forczmanski
