CC BY
0
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2024 Том 24 № 4 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
l/ITMO
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
July-Augus,2024 v„,,4N„4 h„P://n.,,m„,u/en/ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ
КОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
COMPUTER SCIENCE
doi: 10.17586/2226-1494-2024-24-4-578-587 УДК 004.932
Метод формирования мультимедийных файлов для задач лицевой биометрии
и ее приложений
Назым Магидулловна Казиева1®, Георгий Александрович Кухарев2, Калыбек Сапарулы Мауленов3
1 Евразийский национальный университет имени Л.Н. Гумилева, Астана, 10000, Республика Казахстан
2 Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), Санкт-Петербург, 197376, Российская Федерация
3 Костанайский региональный университет имени А. Байтурсынова, Костанай, 110000, Республика Казахстан
1 kaznaz@Hst.rus, https://orcid.org/0000-0002-7559-1795
2 gakukharev@etu.ru, https://orcid.org/0000-0003-2188-2172
3 k_maulenov@inbox.ru, https://orcid.org/0000-0003-4147-3843
Аннотация
Введение. Рассмотрены способы построения компактных мультимедийных файлов на основе цветного изображения лица, биометрических данных и документальной информации о человеке, которому принадлежит это лицо. Метод. Сущность предлагаемого метода состоит в генерации цветного QR-кода на основе лицевых характеристик и встраивании цветного QR-кода в изображение лица. Формирование цветного QR-кода выполнено путем замены трех слоев Least Significant Bit исходного изображения. Основные результаты. Представлены математические описания, псевдокоды и графические иллюстрации для понимания идеи метода, предлагаемых решений и алгоритма, реализующего метод встраивания цветного QR-кода в изображение лица. Обсуждение. Разработанный новый метод встраивания цветных QR-кодов в изображения лиц реализован программно и положен в основу формирования мультимедийных файлов. Метод может быть рекомендован для задач лицевой биометрии и ее приложений. Ключевые слова
цветные изображения лиц, цветной QR-код, встраивание цветных QR-кодов, биометрический мультимедийный
файл, цветные Least Significant Bit (LSB) слои, контейнер
Благодарности
Исследование финансируется Комитетом по науке Министерства науки и высшего образования Республики Казахстан (грант № 19678000 «Разработка методов и алгоритмов безопасного использование QR-кодов для задач биометрии и ее приложений в том числе технологии блокчейн»).
Ссылка для цитирования: Казиева Н.М., Кухарев Г.А., Мауленов К.С. Метод формирования мультимедийных файлов для задач лицевой биометрии и ее приложений // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 4. С. 578-587. doi: 10.17586/2226-1494-2024-24-4-578-587
Method for generating multimedia files for the tasks of facial biometrics
and its applications
Nazym M. Kaziyeva1®, Georgy A. Kukharev2, Kalybek S. Maulenov3
1 L.N. Gumilyov Eurasian National University, Astana, 10000, Republic of Kazakhstan
2 St. Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation
3 A. Baitursynov Kostanay State University, Kostanay, 110000, Republic of Kazakhstan
1 kaznaz@list.ru®, https://orcid.org/0000-0002-7559-1795
2 gakukharev@etu.ru, https://orcid.org/0000-0003-2188-2172
3 k_maulenov@inbox.ru, https://orcid.org/0000-0003-4147-3843
© Казиева Н.М., Кухарев Г.А., Мауленов К.С., 2024
Abstract
The methods of constructing compact multimedia files based on a color image of a face, biometric data and documentary information about the person to whom this face belongs are considered. The essence of the proposed method consists in generating a color QR code based on facial characteristics and embedding the code into the face image. The formation of a color QR code is performed by replacing three slices of the Least Significant Bit of the original image. Mathematical descriptions, pseudocodes and graphic illustrations are presented to understand the idea of the method, the proposed solutions, and the algorithm implementing the method of embedding a color QR code in a face image. The developed new method of embedding color QR codes in face images is implemented programmatically and is the basis for the formation of multimedia files. The method can be recommended for the tasks of facial biometrics and its applications. Keywords
color images of faces, color QR code, embedding of color QR codes, biometric multimedia file, color Least Significant
Bit (LSB)-layers, container
Acknowledgements
This research has been/was/is funded by the Science Committee of the Ministry of Science and Higher Education of the Republic of Kazakhstan (Grant No. AP19678000 Development of methods and algorithms for the safe use of QR codes for biometrics tasks and their applications, including blockchain technology).
For citation: Kaziyeva N.M., Kukharev G.A., Maulenov K.S. Method for generating multimedia files for the tasks of facial biometrics and its applications. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, vol. 24, no. 4, pp. 578-587 (in Russian). doi: 10.17586/2226-1494-2024-24-4-578-587
Введение
Как известно, конфиденциальность информации — ключевой элемент в сохранении целостности и защиты от утечки сведений, которые не предназначены для общего использования. В первую очередь это касается личных данных людей, государственных, военных и коммерческих тайн. Один из методов сохранения конфиденциальности информации — цифровая стеганография, предоставляющая возможность скрытого хранения информации. Существует множество методов сокрытия данных в цифровых изображениях, в том числе и метод замены отдельных битов в Least Significant Bit (LSB)-слоях. Эти изменения не заметны для человеческого глаза в текстуре изображений, поскольку яркость пикселов изменяется всего на 1/255 часть. При этом заменяемые биты (0 на 1 или 1 на 0) не сосредоточены вместе, а распределены на всем поле в LSB-слоях, что часто связано с используемым процессом криптографии всей информации. Наконец, практическая цифровая стеганография слишком сложна в реализации ее криптографической части (например, в методах, описанных в работах [1-3]) и, поэтому, не всегда целесообразна для широкого и индивидуального применения. Особенно, если сохранение и передачу конфиденциальной информации необходимо выполнять в рамках требуемых стандартов, а алгоритмы записи и чтения передаваемой информации должны быть как можно более простыми и технически широкодоступными.
В отличие от стеганографии, в настоящей работе представлены способы, основанные на замене содержимого LSB-слоев бинарными QR-кодами, хранящими информацию. Впервые в научно-технических публикациях эти подходы, их реализация и применение в лицевой биометрии были раскрыты в работах [4-6], а исходными мотивами для них послужили работы [7, 8].
Цель настоящей работы состоит в представлении нового (быстрого) алгоритма, реализующего метод встраивания цветного QR-кода в цветное изображение лица (ИЛ).
В качестве примера рассмотрена задача формирования мультимедийного файла1 на основе цветного ИЛ со встроенным в него цветным QR-кодом, содержащим биометрические данные о ИЛ и документальную информацию о человеке, которому принадлежит это лицо. Заметим, что подобный алгоритм встраивания цветных QR-кодов может быть применен для любых других цветных изображений, как и вложенная в QR-коды информация также может быть другой. Отметим, что использование встроенного в ИЛ цветного QR-кода как хранителя лицевой информации обеспечит защиту этой информации через ограничение открытого доступа к ней, сохраняя при этом условия для обмена информацией по стандартам2,3 и каналам связи без потери ее части и/или подмены. Эти достоинства, например, очень важны при создании и использовании биометрических баз, а также при обмене лицевыми биометрическими данными, как конфиденциальной информации. Еще одно достоинство — встроенные в цветное изображение QR-коды не обнаруживают факта своего существования в изображении, а вложенная в QR-коды информация может быть прочитана и расшифрована только в соответствии с правилом подготовки и методом записи исходных сообщений в American Standard Code for Information Interchange (ASCII) при генерации QR-кодов.
В соответствии с технологией стеганографии предполагается использование пустого контейнера для незаметного сокрытия в нем секретной информации. После размещения информации в контейнере он становится заполненным контейнером. В предложенном методе пу-
1 multimedia-qr-code: an easy way to share files [Электронный ресурс]. Режим доступа: https://www.qrcode-tiger.com/ru/multimedia-qr-code (дата обращения: 27.06.2024).
2 ISO/IEC 18004:2015. Information technology — Automatic identification and data capture techniques — QR Code bar code symbology specification (IDT). 2015. Р. 113.
3 ISO/IES 19794-5:2011/ Information technology. Biometrics. Biometric data interchange formats. Part 5. Face image data. (IDT). 2015. Р. 179.
стым контейнером служит исходное (входное) цветное ИЛ. Заполненным контейнер становится со встроенным в ИЛ QR-кодом, в который вложена биометрическая и документальная информации. В файловой форме заполненный контейнер в работах [4-6] назывался цветным BIO QR-код.
Однако, если принять во внимание современные способы применения QR-кодов1, то цветной BIO QR-код попадает в класс мультимедийного файла — биометрический мультимедийный файл.
Общая схема встраивания биометрической информации в цветные изображения лиц
В работе рассмотрен метод, связанный с лицевой биометрией и ее приложениями, в связи с этим использованы ИЛ (портреты), которые соответствуют стандарту ISO2. Такие фотопортреты имеют следующие геометрические характеристики: размер изображения не ниже 320 х 240 пикселов; область лица должна находиться в вертикальной оси изображения и занимать не менее 80 % его площади; расстояние между центрами глаз должно составлять не менее 60 пикселов (это минимально допустимое значение для ширины изображения равной 240 пикселов). В экспериментах
использованы цветные ИЛ из тестовой базы CUHK Face Sketch Database (CUFS)3. Исходный размер изображений в базе CUFS составляет 250 х 200 пикселов.
Общая схема (рис. 1) встраивания биометрической информации включает несколько этапов. На этапе 1 выполняется получение на входе А цветного входного ИЛ и его корректировка по размеру и размещению на поле изображения (определяются антропометрические точки (АПТ)) и происходит вычисление биометрических характеристик антропометрических точек и фенотипа ИЛ (определяется фенотип). На этапе 2 осуществляется получение на входе B документальной информации о человеке, которому принадлежит лицо. На этапе 3 происходит формирование соответствующих буквенно-цифровых сообщений по всем данным и генерация трех QR-кодов (ANTRO, PHENO и INFO), каждый из которых представляет уникальные характеристики конкретного человека. На этапе 4 выполняется формирование цветного QR-кода, на базе пустого трехкомпонентного изображения путем размещения в нем трех QR-кодов (ANTRO, INFO и PHENO), на месте компонент RED, GREEN и BLUE. На этапе 5 цветной QR-код встраивается в цветное ИЛ. И, таким образом, входное цветное ИЛ, которое было пустым контейнером, становится заполненным контейнером со встроен-
Входное изображение
Перемещение
Результат (заполненный контейнер)
Рис. 1. Схема встраивания биометрической информации в цветные изображения лиц Fig. 1. A scheme for embedding biometric information in color images of faces
1 multimedia-qr-code: an easy way to share files [Электронный ресурс]. Режим доступа: https://www.qrcode-tiger.com/ru/ multimedia-qr-code (дата обращения: 27.06.2024).
2 ISO/IES 19794-5:2011/ Information technology. Biometrics.
Р. 70.
3 CUHK Face Sketch Database (CUFS) Available at: http:// mmlab.ie.cuhk. edu.hk/archive/facesketch.html (accessed: 03.02.2024).
Размер по стандарту биометрии
177 X 177
177 X 177
177 X 177
Рис. 2. Результаты, полученные на этапах 1-3 (рис. 1): входное (а) и откорректированное по размеру и положению (b)
изображения лиц и четыре сформированных QR-кода (c-f)
Fig. 2. The results obtained in stages 1-3 (Fig. 1): input (a) and adjusted for size and position (b) images of faces and four generated
QR codes (c-f)
ным в него цветным QR-кодом, содержащим лицевую биометрическую и документальную информации.
Результаты, полученные на этапах 1-3 показаны на рис. 2, где представлены два цветных ИЛ (входное (рис. 2, а) и откорректированное по требованиям стандарта биометрии (рис. 2, b)). Звездочка в центре правого глаза обозначает проверку правильности размещения области лица на поле откорректированного изображения. На рис. 2, с показан цветной QR-код — хранитель всей лицевой (биометрической и документальной) информации. Полученный цветной QR-код соответствует классификации мультимедийного файла и может быть использован самостоятельно с целью хранения и передачи биометрической и документальной информаций. На рис. 2, d—f показаны три бинарных QR-кода (INFO, ANTRO и PHENO), представляющие уникальные характеристики конкретного человека. Размер этих QR-кодов 177 х 177 пикселов (40 версия). Представленный метод реализован программно на языках программирования MATLAB и Python, а также защищен патентом [9].
Описание алгоритма
Рассмотрим работу предложенного алгоритма.
Шаг 1. Система принимает на входе А ИЛ FaceColor, которое может быть получено от камеры стойки регистрации на пункте пропуска или в виде
2D-изображения, поступающего с биометрической базы ИЛ.
Шаг 2. Предназначен для предобработки ИЛ. Здесь, основываясь на требованиях стандартов по биометрии1, выполняются коррекции размера изображения до значений 320 х 240 пикселов и положения области лица на поле стандартного размера. Этот шаг обеспечивает представление ИЛ и его лицевых биометрических характеристик в границах принятого стандарта, что важно для последующего использования в создании биометрических баз данных или при обмене данными по запросу.
Шаг 3. Определяются 68 ключевых точек лица по алгоритму [10], программный код которого находится в открытом доступе библиотеки OPEN CV. Но на сегодняшний день доступны более современные инструменты, например, Mediapipe с моделью BlazeFace [11], позволяющий определить на лицах почти 400 ключевых точек, а также их высоты рельефа лица.
Шаг 4. Формируются два набора лицевых данных — координаты 68 ключевых (антропометрических) точек лица и яркостные признаки лица в этих координатах.
Шаг 5. Выполняется перевод значений биометрических данных в сообщения (строковый тип данных),
1 ISO/IES 19794-5:2011/ Information technology. Biometrics. Biometrie data interchange formats. Part 5. Face image data. (IDT). 2015. P. 179.
которые аранжируются дополнительной информацией и граничными знаками, поддерживающими форму, принятую для сообщений, предназначенных для QR-кодов1.
Шаг 6. Происходит кодирование сформированных на шаге 5 сообщений в символы ASCII. При этом выбор способов кодирования будет определять объем конечных символов, представленных в QR-коде2. Приведем практический пример кодирования цифровых значений координат ключевых точек:
message = [date, '/FAP' char(NAME), char(pts(:)')],
где FAP (Facial Anthropometric Point) — дополнительная информация, определяющая название; pts — матрица (размером 2 х 68 пикселов) координат ключевых точек; char(pts) — процедура кодирования набора цифр в символы ASCII.
Рассмотрим фрагмент кода сообщения, который имеет следующий вид:
— сформированное сообщение для QR-кода ANTRO:
message_IN = [date, '/Facial Anthropometric Point', char (NAME), char(pts_Ph(:)')];
— представление времени и названия данных:
[date, '/Facial Anthropometric Point']--->30-May-2024/ Facial Anthropometric Point;
— текущее имя ИЛ:
char (NAME) -—> /Photo: 001/#.
В результате кодирования найдено 68 координат X и Y антропометрических точек (табл. 1), которые перед записью в QR-код переведены в символы ASCII. Это позволяет сократить объем данных и их смысловое значение.
Приведем примеры перевода значений координат ключевых точек в символы ASCII:
char (pts_Ph (:)') —> 978:>GTdv©'»¿ÁA&mWW§±wwwukqw~NaAe]Tiqx~~ wphdqx—Kq°ÂÔç0cëGgGëCûéÔ°«jÂÔÛ^bÛ- -
""ôîêlêîôyÂÂyûôôôôôô.
При этом процедура кодирования сообщения является стандартной и зависит от используемого языка программирования, что и отличает ее от стеганографии.
Шаг 7. Из полученных данных формируются два QR-кода: ANTRO и PHENO.
Формирование кода INFO с документальной информацией представляет собой более простой алгоритм по сравнению с предыдущим, не требующий этапов 1-5 (рис. 2). Здесь достаточно иметь только документаль-
1 ISO/IEC 18004:2015. Information technology — Automatic identification and data capture techniques — QR Code bar code symbology specification (IDT). 2015. P. 113.
2 ISO/IEC 18004:2015. Information technology — Automatic identification and data capture techniques — QR Code bar code symbology specification (IDT). 2015. P. 80.
Таблица 1. Координаты антропометрических точек Table 1. Coordinates of anthropometric points
Количество точек Координаты, пикселы
X Y
1 57 176
2 55 195
68 120 244
ную информацию о лице. Эта информация может включать в себя ФИО, год рождения, гражданство, номер паспорта, дату и другие сведения. Возможно также включение краткой биографии. Объем документальной информации может содержать до 4296 буквенно-цифровых знаков.
Далее необходимо преобразовать все сгенерированные бинарные QR-коды в байтовый формат, например, путем записи их в память в формате «.png» и чтения из памяти.
После завершения алгоритма сбора и обработки данных и формирования QR-кодов, выполним создание цветного QR-кода на основе сгенерированных бинарных QR-кодов: ANTRO, INFO и PHENO.
Представим данный процесс математически:
— сформируем трехкомпонентную нулевую матрицу
QRcolor по размеру QR-кодов:
QRcolor = zeros (Mqr, Mqr, 3),
где Mqr — число строк и столбцов нулевой матрицы;
— заместим три компонента пустой матрицы QRcolor
тремя QR-кодами QRantrq, QRinfo
и QRpheno так,
что:
QRcolor(:, :, 1) = QRantrq; QRcolor(:, :, 2) = QRinfq; QRcolor(:, :, 3) = QRphenq.
При графическом отображении матрицы QRcolor получим цветное изображение или цветной QR-код, содержащий три QR-кода с вложенной в них биометрической и документальной информациями. Пример цветного QR-кода показан на рис. 2, с.
Встраивание биометрической и документальной информаций в цветные изображения лиц
Встраивание биометрической и документальной информаций в цветное ИЛ (контейнер) выполним на этапе 5 (рис. 1). Здесь соединяются два изображения: откорректированное по размеру цветное ИЛ (FaceColor) и цветной QR-код, предварительно сформированный на этапе 4. В это же время происходит встраивание цветного QR-кода в цветное ИЛ. Операция встраивания реализуется одновременным замещением трех слоев LSB в компонентах RED, GREEN и BLUE ИЛ одноименными компонентами цветного QR-кода.
Пусть матрица FaceColor размером M х N х 3 представляет откорректированное по размеру цветное ИЛ, а
матрица QRcolor размером Mqr х Mqr х 3 представляет цветной QR-код.
Тогда математически способ встраивания можно представить следующим образом.
1. Выполним операцию по модулю 2 для матрицы FaceColor и получим матрицу LSBcolor размером M х N х 3, представляющую три слоя LSB (RED, GREEN и BLUE) цветного ИЛ.
2. Получим на алгоритмическом языке Python вид матрицы:
LSBcolor = (FaceColor) MOD 2.
Сформируем трехкомпонентную нулевую матрицу NewLSBcolor, имитирующую основу нового цветного слоя LSB:
NewLSBcolor = zeros (M, N, 3).
3. Заместим цветным QR-кодом выделенное место в NewLSBcolor:
NewLSBcolor (1: Mqr, 1: Mqr, :) = QRcolor.
4. Вычтем из матрицы FaceColor размером M х N х 3 матрицу LSBcolor и полученный при этом результат
суммируем с матрицей NewLSBcolor, а окончательный результат сохраним в матрице FACEFull, которая представляет заполненное изображение-контейнер, поступающее на выход (рис. 1):
FACEFULL = (FACEcolor - LSBcolor) + +NewLSBcolor.
Таким образом, изображение FACEFULL содержит теперь три встроенных в него QR-кода (в компонентах RED, GREEN и BLUE) в соответствии с тем порядком, по которому формировался цветной QR-код.
Полный вид цветных слоев для пустого контейнера представлен на рис. 3, а. На рис. 3, b показан новый цветной слой LSB для заполненного контейнера, на котором отчетливо виден встроенный цветной QR-код. В таблице (рис. 3, с) изображены цветные битовые слои ИЛ, а в таблице (рис. 3, d) — весовые значения этих битовых слоев. На рис. 3, e показана разница в слоях между пустым и заполненным контейнерами.
Если выделить битовые слои каждой из компонент RED, GREEN и BLUE в отдельности, то графическая картина будет содержать все 24 бинарных слоя, которые показаны на рис. 4.
На завершающем этапе процедуры встраивания QR-кодов в цветное ИЛ сформируем компактное пред-
Слои пустого контейнера
LSB
с d
Рис. 3. Восемь цветных битовых слоев изображения лица для пустого (а) и заполненного (b) контейнеров. Номера цветных
битовых слоев (с) и их весовые значения (d). Разница в слоях между пустым и заполненным контейнерами (e) Fig. 3. Eight color bit slices of the face image for empty (a) and filled (b) containers. The numbers of the colored bit slices (c) and their weight values (d). The difference in slices between empty and filled containers (e)
ставление полной лицевой информации — графической, биометрической и документальной. При этом цветное ИЛ (контейнер) сохраняет во встроенном в него цветном QR-коде основную биометрическую информацию с необходимыми документальными данными, обеспечивая универсальность представления и повышенную степень защиты всей информации. Также отметим, что цветной QR-код может быть использован самостоятельно для передачи содержащейся в нем информации. Цветные QR-коды могут иметь структуру [12, 13], в состав которой входят полные ИЛ и документальная информация. Такие QR-коды можно использовать, когда возникает необходимость сохранения графических и документальных данных о людях в течение длительных периодов их жизни. Заметим, что в одно изображение-контейнер можно встроить до трех цветных QR-кодов, что в сумме составит 9 бинарных QR-кодов и при этом практически текстура области лица не изменится. Это можно оценить по результату встраивания трех цветных QR-кодов, показанному на рис. 5, общее число встроенных бинарных QR-кодов будет 9. Заметим, что и в этом случае текстура заполненного контейнера практически остается такой же, как у пустого.
Возможны разные способы применения рассмотренного метода. Основное его достоинство — обычно в биометрических базах ИЛ, биометрические и документальные данные хранятся в разных каталогах, что с течением времени приводит к их потере и/или затруднениям в хранении и поиске.
В табл. 2 представлен псевдокод алгоритма доступа к трем цветным битовым слоям цветного изображения. Алгоритм основан на использовании матричной процедуры по модулю 2, процедуры вычитания выделенных цветных битовых слоев и учете значений весовых множителей в слоях.
Выделяемые слои могут быть прочитаны и изменены путем их замещения другими данными. Представленный алгоритм был использован в задаче встраивания трех цветных QR-кодов, показанных на рис. 5.
Сравнения текстур контейнеров
В разделе «Встраивание биометрической и документальной информаций в цветные изображения лиц» было показано, что отличие между пустым и заполненным контейнерами видно только в слоях, содержащих
Рис. 5. Входное изображение лица со встроенными в него тремя цветными QR-кодами Fig. 5. The original image of the face with three color QR codes embedded in it
Таблица 2. Алгоритм доступа к цветным слоям цветного изображения Table 2. Algorithm for accessing a color slice of a color image
Вход Цветное изображение Матрица I размером M х N х 3
Выход Матрица битовых слоев Матрица B размером M х 3N х 3
1 Формируем нулевую матрицу B = [ ] и задаем число циклов T = 3;
2 Начало цикла: задаем начальное значение параметра цикла: s = 1;
3 Выделяем слои LSB из матрицы I, так, что LSB (s) = mod (I, 2), где LSB (s) — трехслойная матрица размером M х N х 3;
4 Сохраняем матрицу LSB (s) в матрице B так, что B = [LSB (s) A];
5 Вычитаем из матрицы I матрицу LSB (s) так, что I = I - LSB (s);
6 Увеличиваем параметр s на единицу так, что s = s + 1;
7 Конец цикла: если s < T, уменьшаем вдвое уровневые значения матрицы I так, что I = I/2 и переходим к пункту 3, иначе к пункту 8;
8 Результаты Матрица битовых слоев: B = [LSB (3) LSB (2) LSB (1)]; Остаток матрицы I = I - [4 х LSB (3) 2 х LSB (2) LSB (1)].
320 x 240 x 3
320 x 240 x 3
Максимум фазовой корреляции
~240
Размер изображения лица в пикселах
Рис. 6. Сравнение текстур изображений лиц пустого и заполненного контейнера Fig. 6. Comparison of textures of images of faces of an empty and filled container
QR-коды. Теперь продемонстрируем, что текстура ИЛ со встроенными в него QR-кодами, также не отличается от текстуры входного изображения. На рис. 6 показаны ИЛ пустого и заполненного контейнеров из рассмотренных в работе примеров. Знаком «звездочка» в центре правого глаза показано, что эти ИЛ отвечают требованиям ISO по лицевой биометрии. На рис. 6 видна абсолютная разность между двумя цветными изображениями, как графическими объектами или числовыми матрицами. Очевидно, что отличие связано только с различием текстуры обоих изображений в области LSB (рис. 3).
Для сравнения представлен графический результат фазовой корреляции между ИЛ для пустого и заполненного контейнеров. Коэффициент корреляции составил значение 0,985. Это означает, что встроенный цветной QR-код не повлиял на изменение внешнего вида изображения. Отметим, что фазовая корреляция очень чувствительна даже к самым незначительным (почти
невидимым) изменениям текстуры изображений и, поэтому часто используется для сравнения изображений по текстуре [14].
Заключение
Представлен новый быстрый метод формирования биометрического мультимедийного файла, состоящего из цветного изображения лица со встроенным в него цветным QR-кодом. При этом цветной QR-код содержит биометрические данные о лице, а также документальную информацию о человеке, которому принадлежит это лицо. Встраивание реализуется путем одновременного замещения трех слоев LSB в компонентах RED, GREEN и BLUE цветного изображения лица цветным QR-кодом, что обеспечивает удобство и простоту реализации встраивания. Показано, что встроенный QR-код не обнаруживает факта своего существования в мультимедийном файле, что будет
интересным для задач, связанных с хранением и передачей конфиденциальной информации. В работе представлены оригинальные графические иллюстрации с соответствующими описаниями и разъяснениями, что упрощает понимание метода, предлагаемых решений и алгоритма, реализующего метод. Кроме того, предлагаемые решения обладают целым рядом качественных характеристик, представленных и подробно рассмотренных в работе. Так, улучшение графических данных изображений лиц достигается возможностью корректировки входного цветного изображения до размеров и требований стандартов по биометрии. А решения по лицевой биометрии обладают повышенной уни-
версальностью и высокой репрезентативностью, что достигается совместным их представлением на общей координатной сетке ключевых точек лица. В совокупности, все отмеченные факторы позволят расширить рамки применения предложенного мультимедийного файла не только в биометрии, но и в цифровой антропометрии, криминалистике, медицинских информационных системах и других приложениях. Так, например, алгоритм формирования биометрических мультимедийных файлов может быть использован в системах автоматической регистрации людей на линии пограничных переходов (е-ЬоМег), создания биометрических баз и регистрационных данных.
Литература
1. Gaikwad A.M., Singh K.R. Embedding QR code in color images using halftoning technique // Proc. of the 2015 International Conference on Innovations in Information, Embedded and Communication Systems (ICIIECS). 2015. https://doi.org/10.1109/ ICIIECS.2015.7193016
2. Mukherjee S., Singh A., Dutta P. An adaptive data hiding technique based on QR code // Proc. of the 2019 International Conference on Recent Innovations in Electrical, Electronics & Communication Engineering (ICRIEECE). 2019. P. 1-5.
3. Ms. D Betteena Shery Fernando, Parthiban A., Rajesh R., Vinithra M. Steganography of messages encrypted with QR code // IJSART. 2021. V. 7. N 3. P. 116-122.
4. Kukharev G.A., Kaziyeva N., Tsymbal D.A. Barcoding technologies for the tasks of the facial biometrics: state of the art and new solutions // Pattern Recognition and Image Analysis. 2018. V. 28. N 3. P. 496509. https://doi.org/10.1134/s1054661818030124
5. Kaziyeva N., Kukharev G., Matveev Y. Barcoding in biometrics and its developmen // Lecture Notes in Computer Science. 2018. V. 11114. P. 464-471. https://doi.org/10.1007/978-3-030-00692-1_40
6. Кухарев Г.А., Матвеев Ю.Н., Казиева Н. Способ встраивания биометрической информации в цветное изображение лица и устройство для осуществления способа. Патент RU2713762C1. Бюл. 2020. № 4.
7. Garateguy G.J., Arce G.R., Lau D.L., Villarreal O.P. QR images: optimized image embedding in QR codes // IEEE Transactions on Image Processing. 2014. V. 23. N 7. P. 2842-2853. https://doi. org/10.1109/TIP.2014.2321501
8. Arce G.R., Garateguy G., Wang S.X., Lau D.L. Method to store a secret QR code into a colored secure QR code. Patent US10152663B2. 2018.
9. Кухарев Г. А., Мауленов К.С., Щеголева Н.Л. Способ встраивания биометрической информации в цветное изображение лица и устройство для его осуществления. Патент RU2771789C1. Бюл. 2022. № 14.
10. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014. P. 18671874. https://doi.org/10.1109/CVPR.2014.241
11. Lugaresi C., Tang J., Nash H., McClanahan Ch., Uboweja E., Hays M., Zhang F., Chang Ch.-L., Yong M.G., Lee J., Chang W.-T., Hua W., Georg M., Grundmann M. MediaPipe: A Framework for Building Perception Pipelines // ArXiv. 2019. arXiv:1906.08172. https://doi.org/10.48550/arXiv.1906.08172
12. Кухарев Г.А., Казиева Н. Алгоритмы формирования цветных QR-кодов для задач биометрии // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 5. С. 955-958. https://doi.org/10.17586/2226-1494-2019-19-5-955-958
13. Кухарев Г.А., Казиева Н., Щеголева Н.Л. Способ формирования цветного QR-кода по изображениям лиц и устройство для его осуществления. Патент RU2714741C1. Бюл. 2020. № 5.
14. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. М.В. Хитрова. СПб.: Политехника, 2013. 388 с.
References
1. Gaikwad A.M., Singh K.R. Embedding QR code in color images using halftoning technique. Proc. of the 2015 International Conference on Innovations in Information, Embedded and Communication Systems (ICIIECS), 2015. https://doi.org/10.1109/ ICIIECS.2015.7193016
2. Mukherjee S., Singh A., Dutta P. An adaptive data hiding technique based on QR code. Proc. of the 2019 International Conference on Recent Innovations in Electrical, Electronics & Communication Engineering (ICRIEECE), 2019, pp. 1-5.
3. Ms. D Betteena Shery Fernando, Parthiban A., Rajesh R., Vinithra M. Steganography of messages encrypted with QR code. IJSART, 2021, vol. 7, no. 3, pp. 116-122.
4. Kukharev G.A., Kaziyeva N., Tsymbal D.A. Barcoding technologies for the tasks of the facial biometrics: state of the art and new solutions. Pattern Recognition and Image Analysis, 2018, vol. 28, no. 3, pp. 496-509. https://doi.org/10.1134/s1054661818030124
5. Kaziyeva N., Kukharev G., Matveev Y. Barcoding in biometrics and its developmen. Lecture Notes in Computer Science, 2018, vol. 11114, pp. 464-471. https://doi.org/10.1007/978-3-030-00692-1_40
6. Kukharev G.A., Matveev Yu.N., Kazieva N. Method of embedding biometric information into a color image of a face and a device for realizing the method. PatentRU2713762d, 2020. (in Russian)
7. Garateguy G.J., Arce G.R., Lau D.L., Villarreal O.P. QR images: optimized image embedding in QR codes. IEEE Transactions on Image Processing, 2014, vol. 23, no. 7, pp. 2842-2853. https://doi. org/10.1109/TIP. 2014.2321501
8. Arce G.R., Garateguy G., Wang S.X., Lau D.L. Method to store a secret QR code into a colored secure QR code. Patent US10152663B2, 2018.
9. Kukharev G.A., Maulenov K.S., Shchegoleva N.L. Method for embedding biometric information in a color image of a face and a device for its implementation. Patent RU2771789C1, 2022. (in Russian)
10. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 18671874. https://doi.org/10.1109/CVPR.2014.241
11. Lugaresi C., Tang J., Nash H., McClanahan Ch., Uboweja E., Hays M., Zhang F., Chang Ch.-L., Yong M.G., Lee J., Chang W.-T., Hua W., Georg M., Grundmann M. MediaPipe: A Framework for Building Perception Pipelines. ArXiv, 2019, arXiv:1906.08172. https://doi.org/10.48550/arXiv.1906.08172
12. Kukharev G.A., Kaziyeva N. Algorithms of color QR codes formation for biometry tasks. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 5, pp. 955958. (in Russian). https://doi.org/10.17586/2226-1494-2019-19-5-955-958
13. Kukharev G.A., Kazieva N., Shchegoleva N.L. Method of forming color QR-code based on images of faces and device for its implementation. PatentRU2714741C1, 2020. (in Russian)
14. Kukharev G.A., Kamenskaia E.I., Matveev Iu.N., Shchegoleva N.L. Methods for Processing and Recognizing Facial Images in Biometrics Problems. Ed. by M.V. Khitrov. St. Petersburg, Politehnika Publ., 2013, 388 p. (in Russian)
Авторы
Казиева Назым Магидулловна — PhD, старший преподаватель, Евразийский национальный университет имени Л.Н. Гумилева, Астана, 10000, Республика Казахстан, sc 57203633843, https://orcid. org/0000-0002-7559-1795, kaznaz@list.ru
Кухарев Георгий Александрович — доктор технических наук, профессор, профессор, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), Санкт-Петербург, 197376, Российская Федерация, sc 18037842200, https://orcid.org/0000-0003-2188-2172, gakukharev@etu.ru Мауленов Калыбек Сапарулы — преподаватель, Костанайский региональный университет имени А. Байтурсынова, Костанай, 110000, Республика Казахстан, sc 57239186500, https://orcid.org/0000-0003-4147-3843, k_maulenov@inbox.ru
Authors
Nazym M. Kaziyeva — PhD, Senior Lecturer, L.N. Gumilyov Eurasian National University, Astana, 10000, Republic of Kazakhstan, sc 57203633843, https://orcid.org/0000-0002-7559-1795, kaznaz@list.ru
Georgy A. Kukharev — D.Sc., Full Professor, St. Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, sc 18037842200, https://orcid.org/0000-0003-2188-2172, gakukharev@etu.ru
Kalybek S. Maulenov — Lecturer, A. Baitursynov Kostanay State University, Kostanay, 110000, Republic of Kazakhstan, sc 57239186500, https://orcid.org/0000-0003-4147-3843, k_maulenov@inbox.ru
Статья поступила в редакцию 20.05.2024 Одобрена после рецензирования 13.06.2024 Принята к печати 19.07.2024
Received 20.05.2024
Approved after reviewing 13.06.2024
Accepted 19.07.2024
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
