CC BY
35
УДК 004:519.21:61 Дата подачи статьи: 08.06.21
Б01: 10.15827/0236-235Х.136.660-666 2021. Т. 34. № 4. С. 660-666
Программный комплекс для разметки и унифицированного описания лица индивида по фотоизображению
В.Н. Звягин 1, д.м.н, профессор, [email protected] Н.В. Нарина 1, старший научный сотрудник, [email protected] Л.Л. Усачева 1, старший научный сотрудник, [email protected] Е.Е. Фомина 1, к.т.н, доцент, [email protected]
1 Российский центр судебно-медицинской экспертизы Минздрава России, г. Москва, 125284, Россия
2 Тверской государственный технический университет, г. Тверь, 170026, Россия
Необходимость идентификации человека по фотоизображению его лица возникает с целью установления личности, розыска преступников, погибших или пропавших без вести. Используемые в судебно-медицинской экспертной практике программные продукты предназначены в основном для краниофациального сравнения, когда сопоставляют одноименные признаки, установленные по фотографиям известного человека и черепу неизвестного. Для сравнения изображений целесообразны разработка унифицированного алгоритма описания лица по фотоизображению и создание компьютерных программ для автоматизации процесса разметки и расчета размерных физиономических параметров.
В данной статье описан программный комплекс Face marking database, предназначенный для реализации этих задач. Комплекс включает в себя три модуля: модуль ввода основных характеристик исследуемого объекта, модуль разметки изображения, предназначенный для фиксации реперных точек и их координат, модуль расчета расстояний и указателей для суждения о размерном своеобразии лица. Разделение расстояний на горизонтальные и вертикальные расширяет возможности работы с фотопортретами, на которых ракурсное положение лица отлично от анфасного.
Face marking database позволяет получать и хранить в БД метрическую информацию о фотоизображениях, которая характеризует индивидуальность каждого объекта и может быть использована для поиска аналогов или близких случаев при портретно-криминалистической и (или) су дебно-медицинской экспертизе в случаях розыска без вести пропавших, скрывающихся, неустановленных лиц и в комплексной судебно-медицинской экспертизе идентификации личности.
Ключевые слова: программное обеспечение, идентификация личности, описание внешности по фотоизображению.
В последние годы биометрические методы идентификации приобрели особую актуальность. Они используются для решения широкого класса задач, охватывающих разработку охранных систем, контроль потока посетителей, защиту конфиденциальности информации, учет рабочего времени [1]. Биометрическая идентификация включает в себя и идентификацию человека по фотоизображению его лица. Портретная экспертиза является эффективным средством установления личности и ее свойств, поскольку миграционный документооборот и системы видеонаблюдения предоставляют широкий спектр объектов исследования - фотографий и видеокадров.
Задача идентификации человека по его фотоизображению особенно актуальна в работе судебно-медицинских экспертов при
проведении криминалистической экспертизы, идентификации преступников, погибших или пропавших без вести. В криминалистической портретной экспертизе вполне успешно используется метод визуального сопоставления с помощью разметки, а для проведения сравнительного исследования эксперты применяют такие пакеты компьютерных программ, как Corel Draw или Adobe Photoshop, наиболее популярные для работы с двухмерной графикой [2]. Однако данные графические редакторы не позволяют автоматизировать этапы, связанные с расчетом значений признаков, характеризующих изображение и определяющих его особенности, а также с ведением БД и автоматическим сопоставлением большого набора фотоизображений индивидов.
При выполнении медико-криминалистических судебных экспертиз активно используются программные продукты специального назначения, такие как VERBAL [3-5], POSKID [6], ДИНА-2 [7], CONTOUR и др., обеспечивающие решение конкретных задач [3, 5, 8]. Большинство из них направлены на установление личности в случае краниофа-циального сравнения. В основе сравнения двух экспертных объектов лежат такие базовые понятия, как положение антропометрических краниометрических и физиономических точек, размеры между определенными точками, толщины мягких тканей лица [9]. Набор точек зависит от авторской методики и решаемой задачи. Большинство точек имеют конкретные анатомические ориентиры, фиксируются на голове человека и черепе, но не всегда хорошо определяются на плоскостных изображениях. При сопоставлении фотопортретов целесообразно пересмотреть набор точек, дополнив его реперами, которые однозначно проставляются на изображениях, даже если на реальных объектах они не имеют морфологической основы.
Кроме непосредственного сравнения двух изображений, нередки ситуации сравнения фотопортрета идентифицируемого человека с большим количеством изображений людей, соответствующих по основным групповым признакам (пол, возраст, расовая принадлежность). Такое исследование, безусловно, должно быть автоматизировано. Также необходимы критерии размерных характеристик лица по фото, когда истинные (реальные) размеры установить невозможно. Даже сравнение изображений одного человека, выполненных в разных условиях и разное время, может вызвать большие трудности, если нет четких критериев фиксации сходства и различий.
Таким образом, актуальной является разработка унифицированного алгоритма описания индивида по фотоизображению его лица и ПО, позволяющего осуществить следующее:
- ввод и хранение информации об индивиде, изображенном на фото;
- приведение изображений к сопоставимому виду (масштабирование, определение ракурсного положения);
- возможность расстановки на фотоизображении выбранных реперных точек, фиксация координат которых позволит получать численные значения диагностически значимых размеров лица;
- выбор из общего перечня набора признаков, обеспечивающих проведение сравнительного исследования в различных экспертных ситуациях, когда фиксация всех точек невозможна;
- расширение возможностей работы с фотопортретами, на которых ракурсное положение лица отлично от анфасного за счет разделения расстояний на горизонтальные и вертикальные (горизонтальные расстояния остаются неизменными при наклонах-запро-кидывании головы, вертикальные - при незначительных поворотах);
- вычисление физиономических размеров и составление БД с последующим получением категорий величин, которые позволят численно характеризовать изображение (определить индивидуальность) и проводить сравнительное исследование;
- реализацию поиска аналогов в БД с последующей экспертной оценкой результата.
Для решения обозначенных задач был разработан программный комплекс Face marking database [10].
Этот программный комплекс позволяет реализовать следующие функции:
- формирование БД, содержащей информацию об операторе, индивиде, цифровое фотоизображение лица индивида в положении анфас, значения набора признаков, рассчитанных по фотоизображению;
- автоматическое определение ракурсного изображения;
- разметка фотоизображения индивида и расчет двух систем признаков и набора указателей;
- экспорт информации в другие приложения (в частности, в MS Excel и MS Word).
Опишем модули, входящие в программный комплекс (рис. 1).
Модуль ввода исходных данных. Каждому экспертному случаю ставится в соответствие следующая сопутствующая информация:
- данные оператора, обрабатывающего изображение (фамилия, имя, отчество);
- дата исследования;
- информация об исследуемом индивиде: фамилия, имя, отчество (если известны); раса (варианты значений: европеоидная, монголоидная, раса не определена); пол (варианты значений: мужской, женский, пол не определен); возрастная группа (варианты значений: юношеский, первый зрелый,
Программный комплекс Face marking database
Рис. 1. Модули ПО Fig. 1. Software modules
второй зрелый, пожилой, старческий); горизонтальная профилировка лица; опция, фиксирующая возможность качественной простановки всех точек (варианты значений: все точки проставлены, мешают волосы, мешает борода, мешают волосы и борода);
- фотоизображение лица индивида в положении анфас.
Информация сохраняется в БД. В качестве системы управления БД использовалась СУБД MS Access. Для связи Embarcadero Delphi с MS Access применялся механизм Microsoft Jet 4.0 OLE DB Provider, который поддерживает как собственные БД MS Access с расширением *.mdb, так и ODBC.
Модуль разметки изображения. На этапе работы с модулем эксперт производит разметку фотоизображения лица исследуемого индивида (в положении анфас), которая включает фиксацию набора реперных точек, приведенного в таблице и на рисунке (см. http://www.swsys.ru/uploaded/image/2021 -4/ 2021-4-dop/5.jpg).
Все точки 70-762 из представленного набора имеют возможность однозначной расстановки на изображении.
Расстановка точек осуществляется по следующему алгоритму, который должен быть одинаковым при разметке всех фотоизображений.
1. В списке признаков окна Разметка (рис. 2) последовательно активизируются точки 71 (зрачковая левая) и 72 (зрачковая правая) и устанавливаются на фотоизображении. Автоматически рассчитывается расстояние 71-72 между зрачками, которое будет являться масштабной единицей изображения. Так как судить о реальных размерах лиц, запечатленных на фотоизображениях, не представляется возможным, все изображения масштабированы по межзрачковой ширине, которая считается равной 66 мм (расстояние между точками 71 и 72). Данное масштабирование позволит привести все изображения к сопоставимому виду.
Используемые принципы масштабирования графических объектов подробно описаны в более ранних работах, масштабирование по межзрачковой ширине традиционно применяется во всех упомянутых методиках и хорошо себя зарекомендовало [11].
2. На изображении автоматически строятся линии сетки. Для этого проводится отрезок, соединяющий зрачковые точки (71-72), и строится серединный перпендикуляр. Точка пересечения серединного перпендикуляра и отрезка 71-72 обозначается 70 и считается нулевой точкой изображения. Далее параллельно серединному перпендикуляру прово-
Рис. 2. Модуль разметки изображения Fig. 2. An image markup module
Реперные точки, фиксируемые на фотоизображении Reference points fixed in a photo
№ п/п Точка № п/п Точка
Y1 Зрачковая левая Y25, Y26 Ротощечная вспомогательная л/п
Y2 Зрачковая правая Y27, Y28 Нижнелицевая боковая вспомогательная л/п
Y0 Зрачковая срединная Y29, Y30 Теменная л/п
Y3 Верхушечная Y31, Y32 Лобная боковая л/п
Y4 Верхнелобная Y33, Y34 Верхнебровная л/п
Y5 Надглабеллярная Y35, Y36 Верхнебровная боковая л/п
Y6 Верхненосовая Y37, Y38 Верхнеушная л/п
Y7 Подносовая срединная Y39, Y40 Зрачковая боковая л/п
Y8 Верхнегубная Y41, Y42 Внутренняя глазная л/п
Y9 Ротовая Y43, Y44 Наружная глазная л/п
Y10 Нижнегубная Y45, Y46 Боковая ушная л/п
Y11 Надподбородочная Y47, Y48 Скуловая л/п
Y12 Подбородочная Y49, Y50 Носокрыльевая л/п
Y13, Y14 Верхнетеменная вспомогательная л/п* Y51, Y52 Верхненоздревая л/п
Y15, Y16 Верхнебровная вспомогательная л/п Y53, Y54 Нижнекрыльевая л/п
Y17, Y18 Нижнебровная вспомогательная л/п Y55, Y56 Нижнеушная л/п
Y19, Y20 Вспомогательная верхнесрединная точка верхнего века л/п Y57, Y58 Верхняя точка красной каймы верхней губы л/п
Y21, Y22 Верхняя вспомогательная точка контура глазной щели л/п Y59, Y60 Губно-угловая л/п
Y23, Y24 Нижняя вспомогательная точка контура глазной щели л/п Y61, Y62 Ротощечная боковая л/п
*л/п - левая/правая
дятся две параллельные прямые, проходящие через точки У1 и У2.
3. Устанавливается точка У9, которая располагается на серединном перпендикуляре и соответствует линии смыкания губ. Через поставленную точку автоматически проводится прямая, параллельная отрезку У1-У2.
4. Используя построенный базис, размечаются остальные реперные точки согласно схеме (см. http://www.swsys.ru/uploaded/ 1ша§е/2021-4/2021-4^ор^р§). Для поиска точек, расположенных на границах, используются вспомогательные построения - вертикальные и горизонтальные касательные и линии (рис. 2). Точка, установка которой невозможна (скрыта за волосами или бородой), пропускается.
Модуль расчета расстояний и указателей. После оцифровки изображения производится расчет двух наборов расстояний и набора указателей, позволяющих произвести оценку размерных характеристик лица человека на фотопортрете.
Использованы две системы признаков: непосредственные расстояния между точками и расстояния от центральной (нулевой) до каждой реперной точки.
Первая система включает набор расстояний и указателей, позволяющих охарактери-
зовать размеры и пропорции элементов лица исследуемого индивида (см. http://www. swsys.ru/uploaded/image/2021 -4/2021 -4-dop/6. jpg). Указатели для анализа соотношений размеров, связанных слабой функциональной корреляцией, традиционно используются в краниометрии [9] (см. http://www.swsys.ru/ uploaded/image/2021 -4/2021 -4-dop/7.jpg).
Вторая система признаков включает расчет расстояний от так называемой нулевой точки (Y0) до всех остальных точек изображения. Эта система признаков характеризует контуры объектов, распределение точек и в большей степени работает на сравнительное исследование. Именно эти расстояния, по мнению авторов, более перспективны для реализации задачи поиска аналогов в БД (см. http://www.swsys.ru/uploaded/image/2021 -4/ 2021-4-dop/7.jpg).
Данное предположение обусловлено тем, что вторая система фиксации признаков связана с привязкой к точке Y0, которая будет присутствовать на каждом изображении, а следовательно, опишет контуры изображения лица, рассчитав расстояния до всех присутствующих точек.
В свою очередь, в первой системе признаков, характеризующей размеры лица, невозможность простановки одной точки, напри-
мер Y3 (которая в большинстве случаев будет скрыта за волосами), приведет к тому, что из исследования будет исключена группа признаков, характеризующих высотные размеры головы в целом, что может привести к трудностям идентификации и неоднозначному поиску аналогов.
Рассчитанные размеры и указатели позволят численно характеризовать каждое фотоизображение, таким образом определив индивидуальность исследуемого объекта, что в дальнейшем позволит проводить сравнительное исследование.
Все полученные размеры уже приведены к сопоставимому виду, поскольку изображения масштабированы по межзрачковой ширине, равной 66 мм.
После разметки в БД аккумулируется информация, позволяющая осуществить цифровое описание исследуемого фотоизображения и включающая два набора признаков и указатели (рис. 3).
Программный комплекс позволил сформировать четыре БД (в Роспатенте получены свидетельства о регистрации № 2020622399, № 2020622400,№ 2020622414,№ 2020622415).
Материал, собранный в БД, может служить основой для разработки эффективного алгоритма идентификации личности по фотоизображениям лица человека в положении анфас, а также для проведения исследований, связанных с изучением особенностей размерных характеристик головы в зависимости от расовой или половой принадлежности.
Выводы
Разработанный программный комплекс Face marking database зарегистрирован в Реестре программ для ЭВМ. Комплекс позволяет получать и хранить метрическую информацию о фотоизображениях лица в положении анфас, которая может быть использована для объективного унифицированного описа-
ния фотопортрета и создания программы поиска аналогов или близких случаев при порт-ретно-криминалистической и (или) судебно-медицинской экспертизе в случаях розыска без вести пропавших, скрывающихся, неустановленных лиц и в комплексной судебно-медицинской экспертизе идентификации личности.
Предложены система реперных точек, хорошо определяемых на двумерном изображении, а также перечень признаков и указателей, характеризующих как размеры лица, так и контур объекта.
Программный комплекс Face marking database апробирован экспертами Российского центра судебно-медицинской экспертизы Минздрава России и показал высокую эффективность и удобство работы.
На сегодняшний день с помощью программы созданы четыре БД, которые могут использоваться для дальнейшего совершенствования методики идентификации личности по фотоизображению лица в положении анфас и разработки алгоритма поиска аналогов в БД.
Литература
1. Ворона В.А., Костенко В.О. Биометрические технологии идентификации в системах контроля и управления доступом // Computational nanotechnology. 2016. № 3. С. 224-241.
2. Фойгель Е.И. Некоторые проблемы назначения и производства судебно-портретной экспертизы при расследовании преступлений, совершаемых адвенальными лицами // Эксперт-криминалист. 2021. № 1. С. 33-35.
3. FORENSIC MALL. Программное обеспечение для криминалистов. URL: http://www. forensicmall.ru/cat/category/programmnoe-obespechenie-dlya-kriminalistov/ (дата обращения: 04.05.2021).
4. Опыт кранио-фациального сопоставления при судебно-медицинской идентификации личности. URL: https://present5.com/opyt-kranio-facialnogo-sopostavlemya-pri-sudebnomedicinskoj-identifikacii-lichnosti-n/ (дата обращения: 04.05.2021).
5. Маркелов К.С., Нечаев. В.В. Биометрические информационные технологии: актуальные и перспективные методы // Информационные и телекоммуникационные технологии. 2013. № 18. С. 24-41.
6. Звягин В.Н., Иванов Н.В., Нарина Н.В. Компьютерная идентификация личности по черепу и прижизненной фотографии методом POSKID 1.1 // Судебно-медицинская экспертиза. 2000. № 5. С. 22. URL: https://www.forens-med.ru/book.php?id=788 (дата обращения: 04.05.2021).
7. Автоматизированное рабочее место эксперта для проведения криминалистических фотопортретных исследований «ДИНА-2». URL: http://www.myshared.ru/slide/119869/ (дата обращения: 04.05.2021).
8. Шакирьянова Ю.П. Цифровые методы идентификации личности. М.: Мозартика, 2019. 225 с.
9. Негашева М.А. Основы антропометрии. М.: Экон-Информ, 2017. 2016 с.
10. Звягин В.Н., Фомина Е.Е., Нарина Н.В., Усачева Л.Л. Face marking database. Свид. о регистр. ПрЭВМ № 2021612840. Рос. Федерация, 2021.
11. Звягин В.Н., Аль-Мамани Р.Д. Компьютерный метод портретной идентификации личности по трупу и прижизненной фотографии // Матер. IV Всерос. съезда судебных медиков. 1996. № 1. С. 43. URL: https://www.forens-med.ru/book.php?id=5760 (дата обращения: 04.05.2021).
Software & Systems Received 29.06.21
DOI: 10.15827/0236-235X.136.660-666 2021, vol. 34, no. 4, pp. 660-666
A software package for marking and unified description of an individual's face
from a photo image
V.N. Zvyagin 1, Dr.Sc. (Medicine), Professor, [email protected] N.V. Narina 1, Senior Researcher, [email protected] L.L. Usacheva 1, Senior Researcher, [email protected]
E.E. Fomina 2, Ph.D. (Engineering), Associate Professor, [email protected]
1 Russian Center for Forensic Medicine Ministry of Health ofRussia, Moscow, 125284, Russian Federation
2 Tver State Technical University, Tver, 170026, Russian Federation
Abstract. The need to identify a person by a photo of his face arises for identity check, searching for criminals, dead or missing people. The software products used in forensic practice are mainly intended for cranio-facial comparison when comparing the similar signs established from photos of a known person and the skull of an unknown person. For this purpose, forensic experts use a set of fixed points on the head and skull, but not always unambiguously identified on a plane image. To compare images, it would be rational to develop a unified algorithm for describing a face from a photo image and to create computer programs for automating the marking process and calculating dimensional physiognomic parameters.
The paper describes the software package called Face Marking Database designed to implement these tasks. The package includes three modules: a module for entering the main characteristics of the studied object; a module for image marking intended for fixing reference points and their coordinates; a module for calculating distances and pointers to assess the face dimensional originality. The separation of distances into horizontal and vertical ones extends the possibilities of working with portrait photographs that have the face position not en face.
The Face Marking Database allows receiving and storing in databases metric information about photographic images, which characterizes the individuality of each object and may be used to search for analogs or similar cases in forensic portrait and (or) forensic medical examination in cases of missing, hiding, unidentified people and in a comprehensive forensic medical examination of personal identification. Keywords: software, personal identification, appearance description by photo.
References
1. Vorona V.A., Kostenko V.O. Biometric identification technology in monitoring systems and access control. Computational Nanotechnology, 2016, no. 3, pp. 224-241.
2. Foygel E.I. Some problems of commissioning and carrying out of a forensic portrait examination in the investigation of crimes committed by advenal persons. Ekspert-kriminalist, 2021, no. 1, pp. 33-35 (in Russ.).
3. FORENSIC MALL. Forensic Software. Available at: http://www.forensicmall.ru/cat/category/ programmnoe-obespechenie-dlya-kriminalistov/ (accessed May 4, 2021) (in Russ.).
4. Experience of Cranio-Facial Comparison in Forensic Personal Identification. Available at: https:// present5.com/opyt-kranio-facialnogo-sopostavleniya-pri-sudebnomedicinskoj-identifikacii-lichnosti-n/ (accessed May 4, 2021) (in Russ.).
5. Markelov K.S., Nechaev V.V. Biometric information technology: actual and perspective methods. Information and Telecommunication Technologies, 2013, no. 18, pp. 24-42.
6. Zvyagin V.N., Ivanov N.V., Narina N.V. Computerized skull and lifetime photo personal identification using the POSKID 1.1 method. Sudebno-medicinskaja Ekspertiza, 2000, no. 5, p. 22. Available at: https://www.forens-med.ru/book.php?id=788 (accessed May 4, 2021) (in Russ.).
7. Expert's Automated Workstation for Carrying Out Forensic Photo-Portrait Research "DINA-2". Available at: http://www.myshared.ru/slide/119869/ (accessed May 4, 2021) (in Russ.).
8. Shakiryanova Yu.P. Digital Methods of Personal Identification. Moscow, 2019, 225 p. (in Russ.).
9. Negasheva M.A. Anthropometry Basics. Moscow, 2017, 2016 p. (in Russ.).
10. Zvyagin V.N., Fomina E.E., Narina N.V., Usacheva L.L. Face Marking Database. Patent RF, no. 2021612840, 2021.
11. Zvyagin V.N., Al-Mamani R.D. Computerized method of corpse and lifetime photo portrait personal identification. Proc. IV All-Russ. Congress of Forensic Physicians, 1996, no. 1, p. 34. Available at: https:// www.forens-med.ru/book.php?id=5760 (accessed May 4, 2021) (in Russ.).
Для цитирования
Звягин В.Н., Нарина Н.В., Усачева Л.Л., Фомина Е.Е. Программный комплекс для разметки и унифицированного описания лица индивида по фотоизображению // Программные продукты и системы. 2021. Т. 34. № 4. С. 660-666. DOI: 10.15827/0236-235X.136.660-666.
For citation
Zvyagin V.N., Narina N.V., Usacheva L.L., Fomina E.E. A software package for marking and unified description of an individual's face from a photo image. Software & Systems, 2021, vol. 34, no. 4, pp. 660-666 (in Russ.). DOI: 10.15827/0236-235X.136.660-666.
